Quarante ans de délibérations de la Cnil
Analyse thématique de l’évolution d’un corps de doctrine
p. 249-280
Texte intégral
1Cette contribution se propose d’utiliser les techniques de recherche de l’information pour décrire et explorer la doctrine de la Commission nationale informatique et libertés (Cnil) et son évolution dans le temps. Le développement de l’informatique a en effet conduit à la démultiplication des moyens de collecte et de conservation d’informations. Ces collections numériques prennent aujourd’hui portent sur des types de documents toujours plus variées (textes d’articles de journaux, d’articles scientifiques, blogs, tweets, images…). L’organisation de l’information ainsi recueillie fait donc depuis plusieurs décennies maintenant l’objet d’importants efforts de recherche et de nombreuses techniques ont été proposées pour structurer et interroger les données.
2Dans le même temps, l’usage accru de l’informatique a aussi conduit au développement de réglementations spécifiques relatives à la protection des données et des personnes physiques concernées par ces collectes comme le Règlement général sur la protection des données (RGPD). L’application de la réglementation ne se limite toutefois pas à la lecture des seuls textes réglementaires. Ceux-ci n’édictent en la matière que des principes généraux dont l’abstraction volontaire implique une interprétation autorisée pour établir la conformité d’un traitement particulier. La conformité d’un traitement peut ainsi être établie au regard de décisions comme les délibérations de la Cnil. En quarante ans d’existence, la Commission a ainsi produit un grand nombre de textes de nature variée pour former un vaste corps de doctrine qui ne se laisse pas appréhender aisément. Or, la maîtrise de ce corpus doctrinaire est fondamentale pour l’application de la réglementation.
3C’est pourquoi les délibérations de la Cnil ont été catégorisées au moyen d’un modèle probabiliste d’apprentissage non supervisé, l’allocation de Dirichlet latente (LDA) proposée par David Blei Andrew Ng et Michael Jordan1. Ces modèles thématiques (topic models) probabilistes se fondent sur un modèle génératif des documents pour en faire ressortir les traits ou thèmes saillants. Ils reposent sur un modèle de mélanges finis où chaque document peut appartenir à plusieurs classes de thèmes, chaque classe manifestant une de ses différentes composantes.
4Cette contribution s’organise en trois parties. La première présentera tout d’abord la réglementation relative au traitement de données à caractère personnel (DCP). La deuxième partie introduira ensuite les modèles LDA en les comparant à d’autres méthodes d’extraction de thèmes. Enfin, la troisième partie présentera l’analyse du corpus des délibérations de la Cnil et son évaluation.
La réglementation relative au traitement de données à caractère personnel
L’émergence des réglementations relatives au traitement de DCP
5Les développements techniques vont souvent de pair avec l’apparition de nouveaux risques. Le développement de l’informatique et son adoption par les États dans l’après-guerre ont ainsi fait naître des profondes craintes quant aux effets sur les libertés individuelles découlant de possibilités alors inédites de collectes et de traitement d’information. À partir des années 1970, l’informatisation des administrations a donc progressivement conduit en Europe et ailleurs à l’adoption de réglementations spécifiques sur le traitement de données à caractère personnel comme la Bundesdatenschutzgesetz en Allemagne fédérale ou encore la Loi informatique et liberté (LIL) en France. L’adoption de ces réglementations s’est de plus accompagnée de la création d’autorités de contrôle pour veiller à leur application comme la Cnil en France. Le processus s’est ensuite poursuivi au niveau des instances européennes avec, notamment, la directive 95/46/CE de 1995 puis le RGPD adopté en avril 2016 et entré en application le 25 mai 2018. La protection des données a de plus été élevée au rang de droit fondamental de l’UE par la ratification des traités de Nice (2001) et de Lisbonne (2007).
6Ces réglementations visent toute information permettant d’identifier une personne physique, soit un identifiant, tel qu’un nom, un numéro d’identification, des données de localisation, un identifiant en ligne, ou un ou plusieurs éléments spécifiques propres à son identité physique, physiologique, génétique, psychique, économique, culturelle ou sociale (art. 4 du RGPD). La réglementation ne s’applique donc pas seulement aux données directement identifiantes mais aussi aux données permettant l’identification indirecte, notamment par croisement ou recoupement. De ce fait, la réglementation s’applique virtuellement à toute collecte de données. En effet, différentes études ont ainsi montré combien l’entropie des propriétés des individus rendait chaque individu quasi sûrement unique et, de ce fait, identifiable et traçable même en l’absence de données directement identifiantes. Et ces propriétés font aujourd’hui l’objet d’une exploitation toujours plus poussée à des fins mercantiles, de surveillance ou criminelles.
7La réglementation sur les DCP ne concerne donc pas seulement les traitements réalisés dans le secteur public. En effet, le développement du marketing a, dès les années 1960, conduit à des collectes de DCP à des fins de profilage. Et ces collectes sont depuis allées en s’intensifiant, particulièrement avec l’avènement d’internet. La publicité tire ainsi un secteur économique florissant et très structuré autour de courtiers de données ou encore de régies publicitaires et de bourses en ligne. Cette marchandisation accrue des DCP a conduit à la rédaction d’un nouvel acte législatif européen pour adapter le cadre juridique à cette nouvelle donne. Le règlement ne bouleverse toutefois pas tant les grands principes de la réglementation que ses modalités d’application. Le RGPD marque ainsi le passage d’un régime de déclaration préalable à un régime de responsabilisation des responsables de traitement accompagné d’une extension du champ d’application de la réglementation ainsi qu’un alourdissement des sanctions.
Les grands principes de la réglementation
8Le traitement de DCP est interdit sauf s’il est conforme aux exigences posées par la réglementation. Les grands principes de la réglementation sont au nombre de cinq :
9limitation de la finalité : les données doivent être traitées de façon compatible avec une finalité précise ;
- minimisation des données : seules les informations strictement nécessaires à la réalisation de la finalité doivent être traitées ;
- limitation de la conservation : une fois la finalité réalisée, les informations doivent être détruites ou anonymisées ;
- information : les personnes doivent être informées des traitements de données les concernant ;
- protection dès la conception (privacy by design) : la protection des personnes et la sécurité des données doivent être intégrées dès la conception du traitement.
10L’information des personnes est le principe cardinal de la réglementation. Il renvoie au principe d’autodétermination informationnelle qui veut que les personnes doivent être en mesure de décider de l’utilisation des informations les concernant. De ce principe découlent tous les autres. L’autodétermination informationnelle a émergé dans les années 1960 à la suite de travaux de juristes comme Alan Westin ou Wilhelm Steinmüller et Bernd Lutterbeck.
11Les trois notions fondamentales pour circonscrire le champ d’application de la LIL et du RGPD sont :
- données à caractère personnel ;
- traitement ;
- finalité.
12En effet, la réglementation s’applique à :
- tout traitement (informatique ou autre) dont la finalité nécessite le recueil d’informations permettant d’identifier directement ou indirectement les personnes physiques sur lesquelles ces informations ont été collectées ;
- lorsque les personnes physiques concernées résident ou lorsque le responsable de traitement est établi sur le territoire de l’UE.
13La loi impose de plus que :
- la finalité soit déterminée, explicite et légitime ;
- les données collectées soient proportionnées et pertinentes au regard de la finalité du traitement ;
- les données soient collectées et traitées de manière licite, loyale et transparente.
14La réglementation définit ces différentes notions et d’autres comme anonymisation ou pseudonymisation ainsi que les différents agents de la protection des données. Toutefois, il est à noter que les actes législatifs tels que le RGPD ou la LIL ont ceci de particulier qu’ils ne comprennent qu’un nombre limité d’articles (respectivement 72 et 99). Ils comptent peu d’interdictions qui peuvent toutes faire l’objet d’exceptions. La question traitement de données y est abordée de façon très générale et seuls certains traitements (biométrie, profilage) font l’objet de dispositions spécifiques. La réglementation ne propose donc qu’un cadre (littéralement) très abstrait qui peut donner lieu à de multiples interprétations lors de son application à des cas concrets. Toute la difficulté est alors d’établir la conformité d’un traitement au regard des principes édictés la réglementation.
La Cnil
15La Cnil est une autorité administrative indépendante crée par la loi 78-17 du 6 janvier 1978. Elle veille notamment à la conformité des traitements de DCP au regard de la réglementation en application. Elle est composée d’un collège pluraliste de 18 personnalités élues ou nommées issues de différentes institutions (parlement, hautes juridictions…) et de cinq personnalités qualifiées. La Cnil élit son président parmi ses membres et se réunit périodiquement lors de séances plénières (pour traiter les demandes d’avis, d’autorisation…) ou en formation restreinte (pour traiter du contentieux). Les membres de la Cnil sont de plus assistés par près de 200 agents.
16La loi confère à la Commission un pouvoir de contrôle et de sanction administrative et pécuniaire. Elle lui confère aussi un pouvoir réglementaire qui se manifeste par des normes simplifiées, des avis, des actes réglementaires uniques, des méthodologies de référence entre autres décisions prises en réunions plénières. Ces différents textes forment la doctrine de la Cnil.
17Les décisions de la Cnil, aussi appelées délibérations, permettent d’établir la (non-)conformité de traitements spécifiques. Elles sont accessibles sur la plateforme de diffusion de documents administratifs data.gouv.fr. La première délibération date du 7 décembre 1979 et plus de 18 000 décisions ont été publiées depuis. Le corpus permet donc d’embrasser près de quarante années de traitements de DCP et dans un temps marqué à la fois par une intensification et une diversification de leur usage. Au travers des délibérations se dessinent ainsi les évolutions qu’ont connues le traitement de données à caractère personnel et le cadre juridique applicable en la matière.
Les modèles thématiques
18Par sa taille et sa diversité, le corpus des délibérations de la Cnil ne se laisse pas facilement appréhender. C’est pourquoi le corpus a été analysé au moyen de modèles thématiques. L’expression « modèles thématiques » désigne un ensemble de modèles statistiques visant à faire ressortir des thèmes, des sujets ou encore des concepts de collections de documents pour décrire, organiser et requérir ces collections. Ces modèles reposent sur le postulat que les documents ont une structure inobservée (latente) et que cette structure peut être inférée à partir des cooccurrences des mots contenus dans les documents. Le but est alors d’obtenir par exemple des classes ou des dimensions permettant de faire ressortir la composition latente des documents.
19Différentes approches sont envisageables pour la caractérisation de ces espaces latents. Pour les besoins de l’exposé, on distinguera deux types de méthodes, les méthodes de classification et les méthodes de réduction de la dimension des données2 :
- la classification utilise l’information sur la similarité des documents pour les regrouper de façon signifiante. L’appartenance des documents aux classes peut être unique ou multiple ;
- la réduction de dimensions cherche plutôt à faire ressortir des traits saillants des documents comme des thèmes.
20La classification s’apparente à une représentation en dimension réduite, toutefois les classes ne manifestent pas nécessairement un trait, la similarité entre documents en combinant généralement plusieurs. Les modèles thématiques comme la LDA combinent les deux approches dans le sens où les documents peuvent appartenir à plusieurs classes qui correspondent à différents traits apparaissant dans le corpus. Chaque document se voit assigner différents poids mesurant la force de l’appartenance à une classe ainsi que leur position dans l’espace réduit des dimensions. Dans ce qui suit, l’espace latent que l’on souhaite faire ressortir est celui des catégories de traitement, soit des classes liant données, opérations sur ces données et finalité de ces opérations.
21Il est toutefois à noter que, quelle que soit la méthode utilisée, si l’objet est de dégager des thèmes, les classes peuvent manifester d’autres caractéristiques des textes comme des registres ou des tournures. Comme on le verra, certaines classes peuvent caractériser des vocabulaires propres aux délibérations en général et ne pas manifester une catégorie de traitement en particulier. De ce point de vue les traits constitutifs de l’espace latent dépendent aussi fortement de la préparation du corpus. D’autres classes peuvent relever d’un bruit de fond sans réellement faire sens, la cooccurrence n’étant pas toujours sémantiquement informative. Ainsi les textes issus du web comme les différents types de posts contiennent souvent des citations d’autres posts, ce qui conduit à gonfler le nombre des cooccurrences sans pour autant transmettre plus d’information sur les thèmes. Un autre point important est la détermination de l’hyperparamètre K du nombre de classes souhaité. Celui-ci doit être en général déterminé à l’avance3. Un K trop petit peut conduire à des thèmes trop larges mélangeant plusieurs distributions. Au contraire, un K trop grand peut conduire à des thèmes trop précis pour être interprétables. C’est pourquoi différentes mesures ont été proposées pour déterminer la pertinence et la cohérence des classes.
22Les modèles thématiques regroupent un vaste ensemble de méthodes dont la LDA n’est qu’une représentante parmi d’autres. Afin d’en expliquer les ressorts et les spécificités, la présentation de la LDA sera précédée par la présentation de deux autres modèles thématiques : l’indexation sémantique latente (LSI) et l’indexation sémantique latente probabiliste (pLSI). On verra ainsi que, au-delà de leur diversité, ces différentes approches ont pour point commun de chercher à représenter le corpus comme le produit de deux matrices de rang réduit manifestant d’une part la position du document dans l’espace latente des thèmes et, d’autre part, la position du vocabulaire dans ce même espace.
Préliminaires
23 est un corpus de D documents indexés par d. Il y a V termes distincts dans le vocabulaire
indexé par v. N souscrit désigne la taille d’un ensemble (par exemple, Nd désigne le nombre de mots dans un document d). Le nombre de dimensions K de l’espace latent des traits est indexé par k et zn désigne la classe du ne mot.
24La relation entre les documents et le vocabulaire est encodée par la matrice de cooccurrences de dimension D × V contenant le nombre de fois où le terme v apparaît dans le document d.

25Il est à noter que, dans ce qui suit, l’ordre des colonnes et donc des mots dans le document n’est pas pris en compte. Chaque document est pris comme un sac de mots dont les positions sont considérées comme interchangeables. Dans le cas de la LDA, le postulat permet de mobiliser le théorème de De Finetti dans la dérivation du modèle. En effet, selon ce théorème les éléments d’un ensemble fini de variables aléatoires sont considérés comme interchangeables si leur distribution jointe est invariante aux permutations. Soit la permutation π sur les entiers {1, … , N}, alors :

La distribution multinomiale
26La distribution multinomiale est une distribution discrète multivariée de K vecteurs d’entiers non négatifs. Elle est paramétrée par un vecteur θ de probabilités (0 ≤ pk < 1 et ). Elle a pour expression :

27où Γ désigne la fonction . La distribution est une généralisation de la distribution binomiale pour K catégories et donne la probabilité d’occurrence de la catégorie k pour n tirages indépendants. Dans les cas où X ne peut prendre que les valeurs 0 ou 1, elle est parfois désignée sous le nom de distribution catégorique.
La distribution de Dirichlet
28La distribution multinomiale est une distribution continue multivariée paramétrée par un vecteur α de K réels positifs. Elle a pour expression :

29Le paramètre α mesure l’éparpillement de la variable. Un cas particulier est la distribution de Dirichlet symétrique où tous les α sont identiques. Cette paramétrisation correspond à la situation où l’on ne dispose pas d’information a priori pour favoriser une composante par rapport à une autre.
30Une des propriétés de la distribution de Dirichlet est d’être conjuguée aux distributions catégoriques et multinomiales. Si une observation suit une distribution catégorique ou multinomiale et si l’a priori sur la distribution des paramètres suit une distribution de Dirichlet, alors la distribution postérieure est aussi une distribution de Dirichlet. Cette propriété est souvent utilisée en statistique bayésienne car elle permet d’obtenir une expression analytique qui permet de calculer les probabilités postérieures sans avoir à recourir à une méthode d’intégration numérique. Ainsi, l’espérance d’une variable suivant Dirichlet-multinomial vaut .
L’entropie de Shannon
31L’entropie de Shannon est une mesure de la quantité d’information d’une variable aléatoire X. Elle a pour expression :

où b peut être n’importe quelle base (2, e, 10, …). L’entropie est définie comme l’espérance de l’information 1/p(x) contenue par chaque x de l’ensemble d’événements X. L’information est mesurée par l’inverse de la probabilité d’occurrence selon l’idée que, plus un événement est rare, plus il contient d’information. Elle peut aussi être interprétée comme le degré d’incertitude d’un système.
32Différentes mesures peuvent être dérivées de l’entropie comme l’entropie croisée entre deux lois de probabilité p(x) et q(x) issu du même ensemble d’événements X:

33En base 2, l’entropie croisée mesure le nombre de bits moyen nécessaires pour identifier un événement si la distribution des événements est basée sur une loi de probabilité q, relativement à une distribution de référence p.
La divergence du Kullback-Leibler
34La divergence du Kullback-Leibler mesure combien une distribution diffère d’une autre :

en calculant l’espérance de la différence logarithmique entre P(x) et Q(x). Elle mesure le gain d’information si on utilise Q(x) plutôt que P(x). La divergence du Kullback-Leibler est aussi appelée entropie relative. Elle est liée à l’entropie croisée [7] par la relation suivante :

L’indexation sémantique latente (LSI)
35La LSI (Semantic Latent Indexing) est une méthode algébrique de réduction des dimensions. Elle est par de nombreux points similaire à l’analyse des composantes principales ou l’analyse factorielle des correspondances. La LSI vise en effet à factoriser la matrice de cooccurrences en matrices de dimensions réduites au moyen d’une décomposition en valeurs singulières4 :

36Les matrices U et V projettent respectivement les documents et les termes dans l’espace des notions dégagées par la décomposition en valeurs singulières. Autrement dit, ils donnent les coordonnées des documents et des termes dans l’espace des traits latents. La matrice de départ est donc exprimée par la somme de matrices de rang 1 pondérées par les valeurs singulières σk. Les valeurs singulières σ1 > σ2 > … > σK > 0 représentent la longueur des semi-axes de l’hyper-ellipse qui enveloppe tous les vecteurs de la matrice et leur carré est proportionnel à la variance expliquée par les différents axes. Les matrices sont donc pondérées par leur importance relative dans l’explication de la matrice de départ.
37La LSI repose donc sur des fondements identiques à ceux de l’AFC. La LSI se distingue toutefois l’AFC par la façon dont les lignes et les colonnes de X sont standardisées. Les cellules xd,k sont en effet pondérées par l’importance relative du terme dans le document et sa distribution entre les documents. En effet, la distribution des termes d’un corpus est généralement très asymétrique, la plupart des mots n’apparaissant que très rarement et, réciproquement, peu de mots apparaissant fréquemment. D’autre part, les termes sont plus ou moins répandus d’un document à l’autre. Ce type de pondération a pour nom tf-idf (term frequency – inverse document frequency).
td − idf = td × idf
38La pondération vise à faire ressortir les mots les plus fréquents dans chacun des documents tout en pénalisant ceux qui apparaissent dans de nombreux documents. Différentes pondérations pour les lignes et les colonnes sont envisageables :

entre autres possibilités. df désigne la fréquence des documents, soit le nombre de documents dans lesquels le mot wn apparaît.
Les modèles de mélanges finis (FMM)
39L’expression « modèles de mélanges finis » (finite mixture modeling) désigne une classe de modèles probabilistes de classification permettant de généraliser différentes méthodes probabilistes comme la régression en présence de groupes inobservés. Les FMM postulent que les observations peuvent être réparties en classes mutuellement exclusives de proportions différentes. Les classes sont caractérisées par un vecteur de paramètres (moyennes, variances, proportions, paramètres de régression…) propres à chaque classe. Le modèle a pour expression à la somme convexe suivante :

40Les FMM englobent différents modèles comme les classes latentes qui correspondent au cas où f(·) est une distribution multinomiale. De même, la LDA et la pLSI sont des cas particuliers modèles de mélanges finis où les documents peuvent appartenir à plusieurs classes et où les proportions prises par ces classes varient en fonction des documents. La pLSI repose sur le modèle suivant pour la génération de (w, d) :
- tirage d’un document d de la distribution multinomiale p(d) ;
- tirage d’un thème k ∈ {1, … ,K} en se basant sur la distribution des thèmes δdi = p(z = k|d) ;
- tirage d’un terme v pour le mot w en se basant sur p(w = v|z = k).

41La formulation [15] a l’interprétation géométrique suivante. Selon le modèle pLSI, la distribution p(k|d) des termes conditionnée aux documents est une combinaison convexe de la distribution p(w|k) de la distribution des termes. La formulation [16] permet, elle, de faire le lien avec la LSI : les probabilités peuvent être vues comme la projection des documents et des termes à l’instar des matrices U et V. De même, la distribution p(k) est similaire à la matrice diagonale ∑ ce qui fait la pLSI une version probabiliste de la LSI. Comme pour les FMM, les paramètres du modèle pLSI peuvent être estimés par le maximum de vraisemblance en utilisant l’algorithme EM (Espérance-Maximisation).
L’allocation de Dirichlet Latente (LDA)
42Comme précédemment, la LDA vise à résumer l’information contenue dans la matrice de cooccurrence en deux matrices de dimensions réduites projetant les documents et les termes dans l’espace des traits :
- proportion de chaque trait dans chaque document ;

- proportion de chaque terme dans chaque trait.

43Les matrices ont une interprétation géométrique similaire aux matrices U et V en ce qu’elles représentent les positions des documents et les termes du vocabulaire dans un espace sémantique latent. La différence est qu’ici, la factorisation est obtenue en se fondant sur un modèle probabiliste explicite reposant sur un modèle génératif décrivant le processus générant les documents5. Le modèle génératif au fondement de LDA peut être décrit comme une succession de tirages aléatoires hiérarchisés.
1. pour k = 1, … ,K :
(a) φ(k) ~ Dir (β)
2. pour tous les documents d ∈ D:
(a) θd ~ Dir (α)
(b) pour tous les mots wd,n du document :
i. zd,n ~ Cat (θd)
ii. wd,n ~ Cat (φzd,n)
44Les tirages sont réalisés d’abord au niveau global, puis pour chaque document et, enfin, pour chacun des mots de chaque document6 :
- globalement,
- tirage des probabilités des termes v de chaque thème k : la distribution des termes de chaque thème est modélisée par une distribution multinomiale ϕ(k) tirée d’une distribution de Dirichlet de paramètre β,
- puis, pour chaque document,
- tirage des probabilités des thèmes : la distribution des thèmes dans chaque document d est modélisée par une distribution multinomiale θd tirée d’une distribution de Dirichlet de paramètre α,
- puis, pour chaque position (indice) de mots de chaque document,
- tirage du thème de chaque mot : le thème zdn de chaque mot du document est tiré de la distribution des thèmes du document,
- tirage des mots : pour chaque indice du document, un mot est tiré de la distribution multinomiale associée au thème retenu.
45Ainsi, pour chaque entrée de ndn de la matrice de cooccurrence, on tire un thème de la distribution θd des thèmes du document puis on tire un mot de la distribution du thème k sélectionné à l’étape précédente.
46Le modèle repose sur l’intuition que chaque document est constitué de plusieurs thèmes. Ces thèmes apparaissent dans chaque document dans des proportions différentes (étape 2a). Chaque mot de chaque document est tiré dans un des thèmes possibles du document (étape 2[b]i), le thème étant lui tiré de la distribution des thèmes propres à chaque document (étape 2[b]ii). Les documents sont donc tirés indépendamment dans un mélange de distributions multinomiales. Les composantes du mélange (proportions des thèmes) sont communes à tous les documents (étape 1a) mais les proportions du mélange de composantes sont tirées aléatoirement pour chaque document. Ainsi, chaque document est composé des différentes classes mais dans des proportions différentes 7.
47La LDA vise à s’affranchir des limites de la pLSI. En effet, le modèle pLSI nécessite l’estimation des probabilités p(z|d) des thèmes pour chaque document et p(d) = 0 pour un document en dehors du corpus. Ces probabilités sont donc propres à un corpus et les résultats y sont contingentés. De plus, la taille K × D de p(z|d) à estimer croît linéairement avec D ce qui comporte un risque de surajustement (ou de surapprentissage). La LDA contourne le problème en adoptant un point de vue bayésien. Les poids de mélange des thèmes dans chaque document sont traités comme une variable aléatoire latente et non comme des paramètres à estimer. Ainsi, les matrices donnant les probabilités d’observer les classes dans les documents et les probabilités des termes dans les classes ne sont calculées qu’une fois les paramètres du modèle ont convergé.
Tableau 1. Notations
w | un mot v d’un vocabulaire ![]() |
scalaire |
w | un document d comportant Nd mots (w = {w1, … ,wNd}) | vecteur de longueur Nd |
D | un corpus de D documents (![]() |
matrice de dimension D × V |
α | a priori sur les proportions du mélange des thèmes dans les documents | scalaire ou vecteur |
θ : p(z|d) = m) | θd ~ Dirichlet (α) est la distribution des thèmes (probabilité d’occurrence d’un thème dans un document d) | matrice de dimension D × k |
β | a priori sur les proportions du mélange des mots dans un thème | scalaire ou vecteur |
Φ : (p (t|z) = k)) | φz ~ Dirichlet (β) est la distribution des mots (probabilité d’apparition d’un mot conditionnellement à un thème) | matrice de dimension V × K |
48LDA repose sur le modèle de mélange suivant :

49On retrouve ici le modèle de mélange défini en (14). Chaque composant p(w = t|z = k) est constitué d’une distribution multinomiale sur les termes ayant pour proportion p(z = k). Toutefois, la LDA modifie le modèle en conditionnant les proportions des thèmes au document auquel le mot appartient.
50De fait du postulat d’interchangabilité des mots d’un document (2), la vraisemblance complète d’un document (distribution jointe des variables observées et latentes) vaut

où p(wd,n|zd,n, ϕ) est la probabilité du mot n se trouvant dans le document d conditionnellement au thème z du mot. La vraisemblance d’un document est obtenue en intégrant les variables inobservées de (20) et en sommant les z

51Enfin, la vraisemblance du corpus est obtenue par le produit des probabilités marginales des documents

52Pour définir les composants de (20), on utilise la loi de Dirichlet comme a priori sur θ et ϕ car elle est conjuguée à la loi multinomiale. La distribution p(θd|α) des thèmes dans les documents est donc donnée par (voir [17]) :

53Le composant p(z|θ) de la distribution jointe désigne l’assignation des mots d’un document à un thème qui dépend de la distribution θd. Chaque mot est ainsi associé à un indice z ∈ {1, … , K}. La probabilité de z peut être exprimée pour tous les documents par

avec nd,k,+ le nombre de fois où la classe k a été assignée à un mot du document d.
54La distribution p(ϕ|β) des termes dans les thèmes est elle donnée par (voir[18]) :

55Enfin, la probabilité d’observer w conditionnellement à z et ϕ est donnée par :

où n+,k,v désigne le nombre de fois où la classe k a été assignée au terme v dans le corpus.
56On obtient alors

Estimation du modèle
57La somme sous l’intégrale dans (30) complique considérablement l’inférence. C’est pourquoi différentes méthodes ont été proposées pour estimer les paramètres du modèle LDA. Parmi elles, on peut notamment citer :
- l’inférence variationnelle bayésienne8 ;
- échantillonnage de Gibbs (Collapsed Gibbs sampling)9 ;
- CVB0 (Collapsed Variational Bayes)10.
58Concernant le choix de la méthode d’estimation, l’étude comparative réalisée par Arthur Asuncion et al.11 indique que l’important n’est pas tant l’algorithme d’inférence/apprentissage des paramètres mais plutôt les hyperparamètres α et β utilisés lors de l’estimation. En effet, les hyperparamètres α et β peuvent être fixés a priori ou estimés. Ils peuvent aussi être identiques (symétrie) ou différents (asymétrie). Selon Hanna Wallach, David Mimno et Andrew McCallum12, des a priori asymétriques sur les α produisent des résultats plus stables à la différence de l’asymétrie des β.
Évaluation du modèle
Perplexité du modèle
59L’hyperparamètre K doit être fixé a priori. Afin de déterminer le K produisant le meilleur ajustement, les différents modèles estimés pour différents K peuvent être comparés au moyen de la perplexité. Cette mesure consiste à estimer les paramètres sur une portion du corpus puis à calculer la moyenne géométrique

sur le reste du corpus où nj,d désigne le nombre d’occurrence du terme j dans le document d et p(w), sa vraisemblance. (31) nécessite donc d’évaluer p(w) pour les documents omis et plusieurs méthodes plus ou moins coûteuses en temps CPU sont envisageables13. Cette approche peut de plus servir de base à la validation du modèle par validation croisée en répétant cette opération un nombre donné de fois.
60La perplexité permet donc de mesurer si un modèle statistique s’ajuste bien à de nouvelles données. Elle est fonction de l’entropie croisée (7) :

où (x) désigne les probabilités empiriques de x et l’entropie croisée. L’entropie croisée mesure le nombre moyen de bits supplémentaires nécessaires pour coder les événements de l’ensemble X si on utilise q(x) (-ie : les probabilités issues du modèle) à la place de la distribution empirique
). La perplexité mesure la prédictibilité de nouvelles observations par le modèle. Comme l’entropie dont elle est dérivée, elle mesure l’incertitude attenante à ces observations (ou la perplexité dans laquelle elle laisse celui qui la contemple…). Ce faisant, plus la perplexité est faible, meilleur est le modèle. Toutefois la perplexité n’est pas toujours corrélée au jugement humain14.
Évaluation et interprétation des classes
61L’objet de la LDA est de dégager les thèmes d’un corpus de documents. Toutefois les classes résultant de l’estimation peuvent varier en cohérence, voire s’avérer difficilement interprétables, ce qui est parfois le signe d’un nombre de classes insuffisant. D’autre part, certaines classes peuvent paraître cohérentes sans pour autant être interprétables comme des thèmes en ce qu’elles manifestent plutôt d’autres aspects des documents. Le cas le plus courant correspond à des classes marquées par un vocabulaire propre au domaine du corpus ou au corpus lui-même.
62Différentes mesures ont été proposées pour estimer la cohérence des classes. Par exemple, David Newan et al. utilisent l’information mutuelle ponctuelle (PMI)15

désigne la liste des M mots les plus fréquents dans la classe k,
désignent les probabilités d’observer les mots wm et wl et
désigne la probabilité d’observer les mots dans un même document du corpus. Les probabilités
peuvent être estimées à partir d’une source externe au corpus comme Wikipedia ou Google 2-grams.
63La mesure proposée par David Mimno et al.16 n’utilise, elle, que les cooccurrences du corpus :

64D(w, w’) désigne le nombre de documents contenant les mots w et w’. Cette mesure repose sur l’idée que plus des termes apparaissent conjointement, plus le thème est cohérent. ϵ permet de lisser les comptes et ainsi d’éviter que le numérateur soit zéro ce qui est fréquent du fait de l’éparpillement de la matrice de cooccurrence. Les auteurs utilisent ϵ = 1 mais une valeur plus petite, par exemple ϵ = 1/D, semble toutefois préférable17.
65Pour évaluer le résultat du modèle, Loulwah AlSumait et al.18 ont proposé un score pour distinguer les classes insignifiantes (junk topic) des autres. Ce score est une combinaison pondérée de trois mesures :
- une mesure d’uniformité qui mesure la dissimilarité entre ϕ(k) et la distribution

où tous les mots du vocabulaire sont considérés comme équiprobables. Cette mesure des mots dans les classes repose sur l’idée que, mieux une classe est définie, plus la distribution de ϕ(k) sera concentrée autour de quelques mots ;
- une mesure de vacuité qui mesure la dissimilarité entre ϕk) et la distribution marginale des mots prédite par le modèle.

66Cette mesure repose sur l’idée que, plus la distribution des mots de la classe sera proche de la distribution marginale, moins elle sera signifiante ;
- une mesure de communalité des classes qui mesure la dissimilarité entre θ(k) et la distribution

67qui donne une mesure de la dispersion des thèmes dans le corpus.
68Ces dissimilarités peuvent, entre autres possibilités, être calculées avec la divergence de Kullback-Leibler (8).

69L’interprétation des classes peut être réalisée en examinant les probabilités postérieures ϕk,v qui donnent les probabilités d’observer les termes du vocabulaire conditionnellement aux différentes classes. Plus la probabilité est forte et plus le mot est caractéristique de la classe. Les mots les plus saillants peuvent donc être extraits en triant les termes par leurs probabilités et en examinant ceux ayant la probabilité la plus forte. Une variante de cette approche consiste à calculer le score suivant19 :

70puis à inspecter les termes ayant le score le plus fort20.
Analyse thématique des délibérations de la Cnil
71Le corpus des délibérations est disponible au téléchargement sur la page de la Cnil21 du site data.gouv.fr. Il se présente sous la forme d’un fichier xml contenant les délibérations rendues par la Cnil entre 1979 et début 2017 et compte 18 551 décisions. Chaque document comprend :
- un identifiant ;
- la date de la délibération ;
- le titre de la délibération ;
- le texte de la délibération ;
- la nature de la délibération.
72La documentation indique que les délibérations adoptées avant le 3 mai 2102 ont été publiées dans leur version mise à jour au plus tard le 4 mai 2012. D’autre part, les délibérations adoptées postérieurement au 3 mai 2012 portent la mention de leur date de publication effective. De plus, pour une raison inconnue, 1 074 délibérations portent la date du 31 décembre 2016. Comme le montre le graphique 1, le nombre annuel de délibérations a d’abord été relativement stable puis a progressivement décru à partir de la seconde moitié des années 1990 avant de croître fortement après 2004. Cette année marque en effet la traduction dans le droit français de la directive européenne 95/46/CE sur la protection des données. La majeure partie de cette croissance est due aux demandes d’autorisation et, plus particulièrement, aux demandes d’autorisation de transfert de données en dehors de l’UE, la directive ayant fortement renforcé le contrôle de ces derniers22.
Fig. 1. Nombre de délibérations de la Cnil par an

73Le champ nature de la délibération compte 76 occurrences différentes et ne semble pas avoir fait l’objet d’une standardisation. La graphie des catégories peut ainsi varier (norme simplifiée, Norme simplifiée, NORME SIMPLIFIÉE, NORME_SIMPLIFIEE). Surtout, elles procurent un niveau de détail très variable (Avis, Avis conforme, Avis favorable, Avis défavorable, Avis défavorable. Avis favorable avec réserves). D’autre part, le champ distingue les autorisations des transferts des autres demandes d’autorisation. Toutefois, il est apparu que certaines délibérations classées comme demandes d’autorisation correspondaient dans les faits à des demandes d’autorisation de transfert. 291 délibérations sont de plus sans appellation.
Préparation du corpus
Préparation du vocabulaire
74Les documents ont été lemmatisés avec l’analyseur morpho-syntaxique TreeTagger. Ont été conservés les verbes, les noms, les adjectifs, les abréviations ainsi que les occurrences n’ayant pas pu être étiquetées. En effet, l’analyseur syntaxique a connu quelques ratés, notamment du fait de l’absence d’informations sur le formatage des documents originaux comme les alinéas.
75La matrice obtenue à partir de la lemmatisation est éparse et compte 0.001 de cooccurrences supérieures à zéro, la plupart des mots n’apparaissant que rarement à l’échelle du corpus (55 % n’apparaissent qu’une seule fois). Il a donc été nécessaire de procéder à une réduction du vocabulaire. En effet, une matrice trop éparse alourdit les calculs et aussi peut rendre plus difficile la définition des classes. Le parti pris ici a toutefois été de ne pas trop réduire le vocabulaire et d’identifier ex post les mots hors de propos au regard des paramètres du modèle. Une opinion répandue dans la littérature est que la suppression des mots rares n’a qu’un impact limité sur le résultat. Pourtant, Chuang et al.23 montrent que la suppression de mots rares peut conduire à la disparition de classes pertinentes. De plus, les délibérations de la Cnil portent généralement sur des cas concrets dont le vocabulaire peut être très spécifique au traitement de données envisagé. Une sélection trop drastique faisait courir le risque d’une perte d’information pertinente pour la classification et de sous-estimer le nombre de thèmes tout en les rendant plus hétérogènes. Il a donc semblé préférable, dans un premier temps, de ne pas trop émonder le vocabulaire afin de pouvoir comparer les résultats à ceux issus d’un vocabulaire plus réduit en s’appuyant, par exemple, sur des pondérations de type tf-idf présentées plus haut. En s’inspirant du coefficient d’agrégation utilisé en analyse de réseau, seuls les mots apparaissant au moins trois fois et dans au moins trois documents ont été conservés.
Sélection des délibérations
76Les autorisations de transfert constituent une catégorie à part de délibération dans le sens où elles se caractérisent par des textes courts ne faisant mention que du responsable de traitement, des données concernées et de leur destination. Elles ont donc été exclues du corpus car elles ne recèlent que peu d’informations sur la doctrine de la Cnil.
77Pour finir, l’analyse porte donc sur 10 297 délibérations, soit 55 % du total et sur un vocabulaire comportant 10 639 termes.
Résultats
Description des classes
78Les résultats sont issus d’un modèle d’un modèle à 120 classes. Ce nombre est suffisant pour permettre une première exploration du corpus même si, au regard des différents indicateurs utilisés et de l’évaluation qualitative des résultats, un nombre supérieur de classes semble nécessaire pour rendre compte pleinement des composants des délibérations.
Fig. 2. Densité des θ des deux classes les plus probables de chaque document

79Les délibérations apparaissent relativement monothématiques. Au regard des probabilités θ des deux classes prévalantes (fig. 2) de chaque document, un large nombre de délibérations apparaissent concentrées autour d’un seul thème. Ainsi, pour 25 % d’entre elles, la probabilité postérieure d’appartenance au thème le plus probable dépasse .9 (et, pour 70 %, elle dépasse .5). On peut toutefois noter une certaine dispersion qui semble pour partie imputable au nombre insuffisant de classes. Cette concentration illustre le fait que la Cnil est appelée à se prononcer sur des traitements spécifiques ou sur des catégories de traitements précis. Ce qui renvoie aux modalités propres de l’application de la réglementation relative aux DCP. En effet, la réglementation ne définit que des principes généraux et la conformité de chaque traitement doit être établie au cas par cas.
80Par voie de conséquence, les délibérations de la Cnil portent sur des traitements très diversifiés. Comme le montre la fig. 3, la distribution de p(k) est très dispersée. Toutefois, derrière cette diversité, on trouve la prévalence des délibérations relatives au domaine de la santé. En effet, 8 des 10 classes les plus probables concernent des autorisations dans le domaine de la recherche médicale. Le domaine de la santé représente 11 des 20 classes les plus importantes si on y adjoint le domaine médico-social.
Fig. 3. Probabilité d’observer les classes dans les documents

Fig. 4. Nuage des mots les plus saillants dans le corpus des délibérations de la Cnil

81Parmi les 20 premières classes, on trouve aussi :
- des demandes d’avis provenant de collectivités locales concernant différents traitements de DCP portant sur leurs administrés (élections, foncier, fiscalité…). La classe se caractérise par les lemmes suivants24 : impot, habitation, taxe, ccid, 9151, fiscal, prud'homme, municipal, mairie, commune, foncier, electeur, electoral ;
- des demandes d’autorisation de mise en œuvre de dispositifs d’alerte professionnelle. La classe se caractérise par les lemmes suivants 25 : alerte, au004, corruption, anticoncurrentielles, signalement, dispositif, ethique, discrimination ;
- des demandes d’autorisation de mise en œuvre de dispositifs biométriques. La classe se caractérise par les lemmes suivants : gabarit, veineux, doigt, biometrique, reconnaissance, lecteur, empreinte ;
- des demandes d’autorisation de transfert de données principalement dans le domaine bancaire ;
- ainsi que trois classes correspondant aux délibérations en elles-mêmes (voir infra).
82La prévalence du domaine médical peut aussi être attestée par le nuage des mots les plus saillants dans le corpus au regard du modèle (fig. 4). Le graphique manifeste le poids des centres de recherche dans le domaine (CH[R]U, APHP, Institut Pasteur…) et les laboratoires pharmaceutiques. Le lemme societe ne se limite toutefois pas aux seuls laboratoires et désigne des entreprises opérant dans de nombreux secteurs d’activité.
83De façon moins marquée, d’autres types de traitements transparaissent aussi dans ce nuage de mots :
- les traitements des services de la statistique publique (SSM). L’Insee tient une part prépondérante dans ces différentes classes, principalement pour ce qui relève de l’organisation des recensements et de la réalisation de ses enquêtes auprès des ménages. Les enquêtes de la statistique publique relatives au domaine de la santé ou du médico-social comme celles diligentées par la Direction de la recherche, des études, de l’évaluation et des statistiques (Dress) occupent aussi une part non négligeable de ces délibérations ;
- les demandes d’avis ou d’autorisation émanant du ministère de l’Intérieur ou du ministère de la Justice pour la mise en place de différents fichiers de police (empreintes, infractions, antécédents judiciaires, auteurs d’infractions terroristes), dans le cadre de l’activité des tribunaux de justice ou relatives aux détenus ;
- la lutte contre la fraude (bancaire ou aux allocations), le blanchiment d’argent (en relation avec une entreprise terroriste dans des délibérations plus récentes).
84Parmi les autres classes de traitements, on peut notamment citer les traitements des mutuelles, les DRM ou encore les fichiers utilisés pour le versement de réparations, notamment en application du décret 2000-657 du 13 juillet 2000 instituant une mesure de réparation pour les orphelins dont les parents ont été victimes de persécutions antisémites sous le régime de Vichy.
85Enfin, on notera la quasi-absence de délibérations portant sur des traitements de SHS pour qui les DCP constituent pourtant la matière première. Au regard des délibérations, la Cnil semble avoir été peu sollicitée par des équipes de recherche de ces disciplines à une exception près cependant, la démographie. L’Institut national d'études démographiques (Ined) apparaît ainsi dans une trentaine de décisions. On peut aussi trouver des traitements similaires à ceux réalisés en SHS comme les enquêtes par questionnaires réalisées par la statistique publique26. Toutefois, ces délibérations ne sont pas nécessairement transposables dans un contexte universitaire. En effet, les SSM opèrent dans un cadre juridique différent, à la fois plus contraint mais bénéficiant aussi de certaines facilités. Plus contraint car la statistique publique est encadrée par la loi 51-711 du 7 juin 1951 sur l’obligation, la coordination et le secret en matière de statistiques. Mais ces contraintes sont corrélatives aux dispositions réservant l’accès à certaines données aux SSM, en particulier l’Insee, et les délibérations portent donc sur des traitements inaccessibles aux sciences sociales27. D’autre part, la statistique publique bénéficie de différentes dispositions spécifiques ou de l’avis du Comité du label du Comité national de l’information statistique. Néanmoins, même si elles sont loin de couvrir le spectre de l’ensemble des traitements en SHS, le corpus comprend des délibérations utiles pour leur mise en conformité, par exemple dans le cas de collecte de l’origine des personnes.
Évolution des classes dans le temps
86Comme le montre la figure 5, l’apparition des thèmes n’est pas constante dans le temps 28. On notera tout d’abord là aussi la rupture au milieu des années 2000 avec la transposition de la directive 95/46/CE dans le droit français. Ainsi, les probabilités moyennes cumulées de nombreuses classes cessent de croître aux alentours de cette date. De plus, les catégories de traitements les plus saillantes varient dans le temps ainsi que les responsables de traitement concernés. Si, dans un premier temps, les délibérations concernent pour une large part les traitements issus du secteur public29, leur prévalence tend progressivement à s’estomper.
Fig. 5. Évolution des probabilités moyennes d’observer les classes dans les documents


87Les délibérations des années 1980 concernent, entre autres :
- les traitements de DCP par les collectivités locales ;
- le traitement de DCP par les entreprises ;
- l’organisation du système de santé ;
- l’utilisation du NIR ;
- les prestations sociales ;
- le traitement de DCP par les organismes d’assurances et les mutuelles ;
- ou encore l’organisation du recensement par l’Insee.
88Celles des années 1990 concernent, elles,
- l’assurance maladie ;
- l’accompagnement social ;
- mais aussi internet (réseau international ouvert dénommé « internet ») même si leur nombre croît surtout dans les deux décennies suivantes.
89Les années 2000 voient notamment le développement des délibérations portant sur
- la biométrie ;
- la coordination des soins ;
- la mise en place de systèmes d’alerte professionnelle ;
- la publication de normes simplifiées et d’autorisations uniques ;
- la mise en place de systèmes d’information géographique (cadastre, surveillance de flottes de véhicules) ;
- les enquêtes de la statistique publique ;
- mais aussi le prononcé de sanctions.
90Les années 2010 marquent le développement des délibérations relatives à la recherche médicale. On notera aussi les demandes de labellisation ainsi que les sanctions à l’encontre d’entreprises comme Google.
Évaluation du modèle
91Au regard de la mesure CUMass (fig. 6), les classes présentent des degrés variables de cohérence. Toutefois, rares sont celles pouvant être qualifiées de totalement incohérentes. Le retour au texte montre en effet que les classes moins homogènes sont souvent constituées d’une catégorie de traitement à laquelle s’agrègent quelques représentants d’une ou de plusieurs autres catégories de traitements, ce qui pourrait être la marque d’un nombre de classes insuffisant. La mesure de cohérence CUCI n’a pas été testée car elle pose le problème de la constitution du corpus de référence. Surtout, en utilisant par exemple une source comme Wikipedia, la mesure reposerait sur un vocabulaire général alors que le vocabulaire des délibérations relève d’un registre très particulier qui est celui du droit.
Fig. 6. Mesure de cohérence CUMass

Fig. 7. Dissimilarités

92Les différentes mesures proposées par Loulwah AlSumait et al.30 se sont révélées utiles pour identifier les distributions propres au corpus. Comme le montre le graphique 7, trois classes se retrouvent côte à côte en étant à la fois très répandue parmi les délibérations (DKL(θ(k), Ωℬ)) tout en présentant un vocabulaire spécifique (DKL(ϕ(k), Ωu)) et que l’on retrouve dans de nombreux documents (DKL(ϕ(k), Ωv)). Ces trois classes sont plus particulièrement marquées par les noms figurant dans les délibérations. Ainsi, parmi les mots les plus saillants de ces classes, on trouve les noms des trois Présidents ayant rendu le plus de décisions :
- l’ancien directeur du quotidien Le monde Jacques Fauvet qui a présidé la Cnil de 1984 à 1999 ;
- le sénateur du Nord Alex Türk qui a présidé la Cnil de 2002 à 2011 ;
- la conseillère d’État Isabelle Falque-Pierrotin qui préside la commission depuis 2011.
93Ces classes sont donc aussi caractéristiques des périodes auxquelles les décisions ont été rendues. L’examen des classes plus éloignées sur l’axe (DKL(ϕ(k), Ωv)) a permis d’identifier deux autres classes qui, tout en étant très spécifiques, ne constituent pas non plus des catégories de traitements de DCP. La première fait plutôt référence aux données traitées et, particulièrement, aux données directement identifiantes (prénom, nom, date, naissance, adresse, numéro de téléphone, sexe…). La seconde fait plutôt référence aux traitements réalisés dans des administrations publiques (direction, départemental, général, affaire, agent, service…). Les classes voisines concernent des autorisations dans le domaine de la recherche médicale.
94Le traitement automatique de contenus propose aujourd’hui un large éventail de possibilités. Et, parmi elles, la LDA s’est progressivement imposée comme une méthode de choix. Son application au corpus des délibérations de la Cnil a ainsi permis de faire ressortir différents traits des décisions prises par la Commission comme leur diversité et leur spécificité. Au fil des décennies, la Cnil a été saisie au sujet de nombreuses catégories de traitements comme en atteste le nombre de classes. Toutefois, chaque décision porte sur un type de traitement circonstancié au regard notamment de la finalité du traitement et de la qualité de son responsable. Les délibérations apparaissent ainsi dans l’ensemble plutôt monothématiques du fait de la concentration des probabilités d’observer les classes dans les documents. Cela renvoie aux modalités propres à l’application de la réglementation sur les DCP qui n’édicte que des critères de conformité auxquels les traitements doivent satisfaire, la conformité proprement dite devant être établie au regard des caractéristiques de chaque traitement.
95L’examen dans la durée de la diversification des catégories de traitements permet aussi d’appréhender la diffusion de l’informatique et l’utilisation grandissante des données personnelles tant dans le public que dans le privé. On notera toutefois que les premières délibérations concernaient plutôt le secteur public. En effet, même si la LIL avait dès le départ une portée générale, le contexte de son élaboration a fait que son application concerna d’abord plutôt les traitements réalisés par les administrations publiques. La part des entreprises n’a depuis fait que croître, notamment du fait des demandes d’autorisation de transfert. D’autre part, on peut aussi noter une prévalence du domaine de la santé à partir du milieu des années 2000 et la transposition dans le droit français de la directive 95/46/CE. Enfin, on notera la quasi-absence des sciences sociales à l’exception de la démographie, faute de saisines.
96La LDA s’est donc révélée une méthode efficace pour décrire et explorer le corpus des délibérations. Telle que formulée par David Blei et al.31, la LDA repose toutefois sur différentes hypothèses restrictives comme l’interchangeabilité des documents ou l’indépendance des thèmes qui ne permettent pas d’intégrer au modèle certains aspects de la génération des documents. C’est pourquoi de nombreuses extensions au modèle LDA original ont été proposées pour s’affranchir de ces limites et proposer des modèles plus complexes de génération de documents.
97Ainsi certaines classes, tout en étant signifiantes, ne peuvent être interprétées comme des thèmes parce qu’elles relèvent d’un vocabulaire propre au corpus où à une partie de celui-ci. Cette propriété peut être intégrée au modèle en voyant les documents comme une combinaison32 :
- d’un mélange de thèmes ;
- d’une distribution d’arrière-fond pour les mots propres au corpus ;
- d’une distribution pour les mots propres à un document.
98De plus, des thèmes distingués par le modèle sont parfois liés33. Ainsi, plus d’une dizaine de classes différentes concernent les autorisations dans le domaine de la recherche médicale. C’est pourquoi plusieurs approches ont été proposées pour dégager les relations que différentes peuvent entretenir entre elles. Par exemple, John Lafferty et David Blei34 modifient le modèle pour intégrer une structure de corrélation entre les thèmes. David Blei et al.35 organisent les thèmes en les rattachant aux branches d’un arbre hiérarchique. Enfin, l’occurrence des thèmes n’est pas forcément constante dans le temps. David Blei et John Lafferty36, proposent le modèle temporel dynamique (DTM) qui reformule le modèle de la LDA afin d’y intégrer la dimension temporelle.
Notes de bas de page
1David M. Blei, Andrew Y. Ng, Michael I. Jordan, « Latent Dirichlet Allocation », Journal of Machine Learning Research, 3, 2003, p. 993-1022.
2Steven P. Crain, Ke Zhou, Shuang-Hong Yang, Hongyuan Zha, « Dimensionality Reduction and Topic Modeling : From Latent Semantic Indexing to Latent Dirichlet Allocation and Beyond », dans Charu C. Aggarwal, Cheng Xiang Zhai (dir.), Mining Text Data, Boston, Springer, 2012, p. 129-161.
3Toutefois, certaines méthodes de classification permettent d’optimiser K conjointement aux autres paramètres comme l’allocation de Dirichlet latent hiérarchique.
4Christopher D. Manning, Prabhakar Raghavan, Hinrich Schütze, Introduction to Information Retrieval, New York, Cambridge University Press, 2008.
5Elles différent aussi en ce que les coordonnées ne sont pas projetées dans un repère orthonormé mais dans un simplex de probabilité.
6Ou, plus exactement, pour chaque position de mot, c’est-à-dire pour chacun des indices du vecteur de la matrice d’occurrences correspondant au document. On notera de plus que si la position des termes est fixe, elle est arbitraire du fait du postulat d’interchangeabilité des mots.
7La distribution se concentre généralement autour de quelques thèmes. Les probabilités d’observer un thème dans un document sont donc pour la plupart faible, voire proche de l’ϵ de la machine.
8David M. Blei, Andrew Y. Ng, Michael I. Jordan, « Latent Dirichlet Allocation », art. cité.
9Thomas L. Griffiths, Mark Steyvers, « Finding Scientific Topics », Proceedings of the National Academy of Sciences, 101/1, 2004, p. 5228-5235.
10Yee W. Teh, David Newman, Max Welling, « A Collapsed Variational Bayesian Inference Algorithm for Latent Dirichlet Allocation », dans Bernhard Schölkopf, John C. Platt, Thomas Hoffman (dir.), Advances in Neural Information Processing Systems, 19, Boston, MIT Press, 2007, p. 1353-1360.
11Arthur U. Asuncion et al., « On Smoothing and Inference for Topic Models », dans Proceedings of the Twenty-Fifth Conference on Uncertainty in Artificial Intelligence, Montréal, AUAI Press, 2009, p. 27-34.
12Hanna M. Wallach, David Mimno, Andrew McCallum, « Rethinking LDA : Why Priors Matter », dans Proceedings of the 22Nd International Conference on Neural Information Processing Systems, NIPS’09, Vancouver, Curran, 2009, p. 1973-1981.
13Hanna M. Wallach et al., « Evaluation Methods for Topic Models », dans Léon Bottou, Michael Littman (dir.), Proceedings of the 26th International Conference on Machine Learning (ICML), Montréal, Omnipress, 2009, p. 1105-1112.
14Jonathan Chang et al., « Reading Tea Leaves : How Humans Interpret Topic Models », dans Proceedings of the 22Nd International Conference on Neural Information Processing Systems, NIPS’09, Vancouver, Curran, 2009, p. 288-296.
15David Newman, Jey Han Lau, Karl Grieser, Timothy Baldwin, « Automatic Evaluation of Topic Coherence », dans Human Language Technologies : The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, HLT ’10, Los Angeles, Association for Computational Linguistics, 2010, p. 100-108.
16David Mimno, Hanna M. Wallach, Edmund Talley, Miriam Leenders, Andrew McCallum, « Optimizing Semantic Coherence in Topic Models », dans Proceedings of the Conference on Empirical Methods in Natural Language Processing, EMNLP ’11, Édimbourg, Association for Computational Linguistics, 2011, p. 262-272.
17Keith Stevens, Philip Kegelmeyer, David Andrzejewski, David Buttler, « Exploring Topic Coherence over Many Models and Many Topics », dans Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, EMNLP-CoNLL ’12, Jeju Island, Association for Computational Linguistics, 2012, p. 952-961.
18Loulwah AlSumait, Daniel Barbará, James Gentle, Carlotta Domeniconi, « Topic Significance Ranking of LDA Generative Models », dans Wray Buntine, Marko Grobelnik, Dunja Mladenić, John Shawe-Taylor (dir.), Machine Learning and Knowledge Discovery in Databases, Berlin/Heidelberg, Springer, 2009, p. 67-82.
19David M. Blei, John D. Lafferty, « Topic Models », dans Ashok Srivastava, Mehran Sahami (dir.), Text Mining : Classification, Clustering, and Applications, Londres/Boca Raton, Chapman & Hall/CRC (Mining and Knowledge Discovery Series), 2009.
20Ibid.
21Voir https://www.data.gouv.fr/fr/organizations/cnil/, consulté le 17 janvier 2019.
22Comme on le verra après, les proportions apparaissant sur le graphique sont sous-estimées car des délibérations classées comme des autorisations (sans plus de précisions) concernent des autorisations de transfert.
23Jason Chuang, Margaret E. Roberts, Brandon M. Stewart, Rebecca Weiss, Dustin Tingley, Justin Grimmer et Jeffrey Heer, « TopicCheck : Interactive Alignment for Assessing Topic Model Stability », dans Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Denver, Association for Computational Linguistics, 2015, p. 175-184.
24Le sigle CCID signifie Chambre communale des impôts directs. 9151 est une référence à la décision de la Cnil 91-51 du 25 juin 1991 relative à l’application Taxe d’habitation de la Direction générale des impôts qui proscrit tout rapprochement ou interconnexion entre le fichier nominatif de la taxe d’habitation qui est transmis aux communes et d’autres applications, afin d’éviter la constitution d’un fichier de population comprenant des données fiscales pour prévenir d’éventuels détournements de finalité.
25au004 désigne l’autorisation unique AU-0004 qui a pour objectif d’encadrer les dispositifs d’alertes professionnelles en conformité avec les dispositions de la loi 2016-1691 du 9 décembre 2016 relative à la transparence, à la lutte contre la corruption et à la modernisation de la vie économique dite « loi Sapin II ».
26Les rares délibérations concernant des traitements de sciences sociales sont d’ailleurs associées à certains traitements réalisés par des SSM.
27L’échantillon-maître qui constitue la base actuelle de l’Insee est ainsi alimenté par le recensement complété par le fichier des logements neufs (BLSN). Le tirage de l’échantillon de l’enquête Emploi repose, lui, sur des données issues de fichiers d’imposition de la DGFIP.
28Le graphique reprend l’approche utilisée par (Griffiths et Steyvers, 2004) pour détecter les tendances dans les thèmes. Elle consiste à calculer la moyenne des θd,k par an pour chaque classe. Le graphique projette les valeurs cumulées afin de mieux faire ressortir les tendances.
29Le vote de la loi est en partie la conséquence d’un fichier appeléSafari conçu par l’Insee. De plus, dans les années 1970, le coût des machines informatiques réservait encore ce type d’équipements aux administrations et à quelques grandes entreprises.
30Loulwah AlSumait et al., « Topic Significance Ranking of LDA Generative Models », art. cité.
31David M. Blei, Andrew Y. Ng, Michael I. Jordan, « Latent Dirichlet Allocation », art. cité.
32Chaitanya Chemudugunta, Padhraic Smyth, Mark Steyvers, « Modeling General and Specific Aspects of Documents with a Probabilistic Topic Model », dans Bernhard Schölkopf, John C. Platt, Thomas Hoffman (dir.), Advances in Neural Information Processing Systems, 19, op. cit., p. 241-248.
33Ces distinctions très marquées entre les classes sont en partie le produit des a priori sur les paramètres qui conduisent à forcer le contraste en concentrant la masse de la distribution sur un nombre limité de termes.
34John D. Lafferty, David M. Blei, « Correlated Topic Models », dans Yair Weiss, Bernhard Schölkopf, John C. Platt (dir.), Advances in Neural Information Processing Systems 18, Boston, MIT Press, 2006, p. 147-154.
35David M. Blei, Michael I. Jordan, Thomas L. Griffiths, Joshua B. Tenenbaum, « Hierarchical Topic Models and the Nested Chinese Restaurant Process », dans Proceedings of the 16th International Conference on Neural Information Processing Systems, NIPS’03, Whistler, MIT Press, 2003, p. 17-24.
36David M. Blei, John D. Lafferty, « Dynamic Topic Models », dans Proceedings of the 23rd International Conference on Machine Learning, ICML ’06, Pittsburgh, ACM, 2006, p. 113-120.
Auteur
-
Thomas Soubiran
Ceraps, UMR 8026 – Université de Lille/CNRS

Le texte seul est utilisable sous licence Creative Commons - Attribution - Pas d'Utilisation Commerciale - Pas de Modification 4.0 International - CC BY-NC-ND 4.0. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Enfermements. Volume II
Règles et dérèglements en milieu clos (ive-xixe siècle)
Heullant-Donat Isabelle, Claustre Julie, Bretschneider Falk et al. (dir.)
2015
Une histoire environnementale de la nation
Regards croisés sur les parcs nationaux du Canada, d’Éthiopie et de France
Blanc Guillaume
2015
Enfermements. Volume III
Le genre enfermé. Hommes et femmes en milieux clos (xiiie-xxe siècle)
Isabelle Heullant-Donat, Julie Claustre, Élisabeth Lusset et al. (dir.)
2017
Se faire contemporain
Les danseurs africains à l’épreuve de la mondialisation culturelle
Altaïr Despres
2016
La décapitation de Saint Jean en marge des Évangiles
Essai d’anthropologie historique et sociale
Claudine Gauthier
2012
Enfermements. Volume I
Le cloître et la prison (vie-xviiie siècle)
Julie Claustre, Isabelle Heullant-Donat et Élisabeth Lusset (dir.)
2011
Du papier à l’archive, du privé au public
France et îles Britanniques, deux mémoires
Jean-Philippe Genet et François-Joseph Ruggiu (dir.)
2011