Version classiqueVersion mobile
OpenEdition Books

Invariants et variabilités dans les sciences cognitives

 | 
Jacques Lautrey
, 
Bernard Mazoyer
, 
Paul Van Geert

Cinquième partie: Méthodologie et modélisation

Extraction d'invariants et prise en compte de la variabilité dans les réseaux de neurones artificiels

Frédéric Alexandre

Texte intégral

1Le connexionnisme a pour but l'étude et le développement de modèles informatiques de réseaux de neurones artificiels (RNA) que nous présenterons ici. Nous montrerons que ces modèles permettent de réaliser des opérations intéressantes de traitement statistique de l'information pouvant participer à des fonctions de décision et nous discuterons le lien entre ces opérations et l'extraction d'invariants. Nous verrons par ailleurs pourquoi ces modèles sont souvent associés à des propriétés de robustesse, dans la mesure où ils offrent encore de bonnes performances même dans des situations où l'information à traiter est dégradée ou incomplète ainsi que dans le cas où on leur demande d'effectuer une décision par généralisation, à partir d'un ensemble restreint de cas similaires. Nous nous demanderons s'il s'agit ici d'une définition satisfaisante de la variabilité.

2Aussi, si l'on parle à leur propos d'invariants et de variabilité, on peut être tenté de dire que ces modèles sont bien équipés pour manipuler ces phénomènes importants de la cognition ou en rendre compte. Puis, en creusant un peu plus ce problème, on se rend compte que la question n'est pas aussi facile qu'il y paraît à première vue. Nous allons tenter de développer cette réflexion ici, en présentant tout d'abord les aptitudes intrinsèques des RNA face à ces phénomènes ainsi que leurs limitations, puis en proposant de nouvelles voies de recherche pour les dépasser.

L'extraction et la représentation des invariants par les RNA

L'activation et l'apprentissage du neurone artificiel

3Avant de parler de réseaux de neurones artificiels (voir Rumelhart & McClelland, 1986 ; Hertz, Krogh & Palmer, 1991 pour d'excellentes introductions), il convient tout d'abord de parler du neurone artificiel : il s'agit d'une unité de calcul simple, recevant des entrées numériques d'autres unités semblables et effectuant des calculs à partir de ces entrées pour évaluer une sortie qui sera à son tour intégrée comme entrée d'autres unités. Considérons un neurone Ni, recevant en entrée les activités de n autres neurones Νj, avec j ϵ {1,...,n}, l'influence de ces activités étant pondérée par des poids Wij, aussi appelés coefficients synaptiques par analogie avec la synapse, connexion entre deux neurones.

4La loi de fonctionnement du neurone Ni, peut donc se représenter par une fonction f qui évalue l'activité ei, du neurone Νien fonction des activités des neurones connectés en entrée Nj et des poids Wij.

5ei= f(ej, Wij)jϵ {1,...,n}

6Cette valeur numérique ei sera à son tour reçue comme entrée d'autres neurones. L'existence de ces connexions directionnelles (en reprenant l'analogie évoquée plus haut, une connexion a un neurone présynaptique et un neurone postsynaptique) permet de comprendre les rôles particuliers que peuvent jouer certains neurones artificiels dans un RNA. En effet, certains neurones peuvent recevoir des valeurs numériques de l'extérieur du réseau et y introduire ainsi certaines données du monde extérieur. En retour d'autres neurones artificiels peuvent envoyer leur activation à l'extérieur du réseau, en guise de sortie vers le monde extérieur.

7Comme nous l'illustrerons plus loin, définir un RNA consiste à spécifier cette loi de fonctionnement pour les neurones artificiels utilisés et à décrire le schéma de connectivité entre ces neurones (quel neurone est entrée ou sortie de quel autre ; lesquels reçoivent des entrées du monde extérieur, lesquels y envoient leur sortie).

8La forme précise de cette loi de fonctionnement peut donc changer d'un modèle de RNA à un autre, mais nous pouvons déjà expliquer à ce stade comment cette loi permet au neurone Ni de représenter un invariant du monde extérieur et donc au RNA associé de manipuler et combiner des invariants. En effet, cette loi permet au neurone artificiel de refléter, par son activité, une fonction évaluée à partir d'activation d'autres neurones, ce qui, en cascade, revient à une fonction de tout ou partie des paramètres introduits dans le réseau par le monde extérieur. C'est dans cette mesure que l'on peut dire qu'un neurone artificiel est, au sein du réseau, une représentation interne d'un certain phénomène calculé à partir de données du monde extérieur. C'est l'activité correspondant à cette même représentation interne qui est à son tour intégrée par les neurones successifs dont certains, effectuant une sortie vers le monde extérieur, proposent une réponse du réseau, elle aussi établie à partir des entrées du réseau.

9À un niveau macroscopique, définir la loi de fonctionnement de chaque neurone, l'architecture (le plan de connectivité) du réseau et ses paramètres internes (principalement les valeurs des poids des connexions Wij) revient à spécifier complètement la fonction du réseau (c'est-à-dire les réponses qu'il produira pour un ensemble d'entrées donné). Nous montrerons par les exemples qui suivent que certains modèles de RNA permettent d'obtenir des réponses intéressantes, correspondant à des fonctions bien précises de traitement statistique de ces entrées. À un niveau plus microscopique, nous montrerons que les représentations internes évaluées par chaque neurone et participant à l'évaluation globale de la fonction du réseau correspondent en fait à l'extraction d'invariants du monde extérieur que nous chercherons à qualifier plus précisément. Auparavant, il reste à expliquer comment cette représentation interne peut être amenée à correspondre à un invariant. C'est le rôle de l'apprentissage.

10En effet, en plus de ces propriétés originales de calcul numérique et distribué, les RNA se distinguent également par une troisième propriété fondamentale : l'adaptativité qui les rend capables d'apprendre ou encore de modifier leur comportement à partir de leur expérience, de manière à remplir au mieux la tâche qui leur incombe.

11Ici aussi, ce phénomène peut prendre des formes diverses selon le RNA concerné. Cependant deux points peuvent être déjà notés. D'une part, pour tous les modèles évoqués ici, l'apprentissage consiste à définir des critères de modifications des poids Wij permettant d'extraire, à partir d'exemples, les invariants utiles à la tâche réalisée. D'autre part, tous les mécanismes d'apprentissage que nous allons voir reposent sur la même loi : la loi de Hebb (1949).

12Δ Wij= k.ei.ej

13Cette loi qui, dans sa forme la plus simple, propose de modifier un poids (Δ Wij) en fonction de la coactivation des neurones pré- et postsynaptiques est donc à la base de l'apprentissage de tous les réseaux que nous allons voir. Il est également à noter que les fondements biologiques de cette loi ont été établis (Beaugé, 1995).

14Ces éléments fondamentaux étant introduits, nous pouvons donc maintenant rapidement passer en revue certains RNA, parmi les plus étudiés, et établir leur fonction ainsi que les invariants du monde extérieur qu'ils permettent d'extraire.

Les réseaux directs à couches

15Pour les réseaux directs à couches, de type perceptron (Rosenblatt, 1958), la loi de fonctionnement de leurs unités s'écrit comme la somme des entrées, pondérée par les coefficients synaptiques, pour laquelle une fonction à seuil g détermine le niveau d'activité du neurone Ni.

16Dans l'espace des entrées ej et pour des formes simples de g, cette équation représente une frontière plane séparant cet espace en deux parties et, pour une entrée donnée ej, l'activité du neurone Ni, indique simplement de quel côté de la frontière se trouve cette entrée.

17Des réseaux à couches de tels neurones sont généralement utilisés dans des tâches de classification (discrimination) ou d'approximation de fonctions (régression), où l'apprentissage consiste à positionner les frontières portées par les neurones de manière à réaliser au mieux la classification. Pour cela, dans le cadre d'un apprentissage supervisé, le calcul de l'erreur entre l'activité réelle et l'activité désirée des neurones permet de modifier leurs poids et par là même, la position des frontières séparatrices. Ainsi, ces frontières, qui sont les invariants du monde extérieur utiles pour cette tâche, sont extraites par apprentissage et représentées par les poids des neurones.

Les cartes auto-organisatrices

18Dans le cas des cartes auto-organisatrices (Kohonen, 1988 ; et d'une manière similaire pour les modèles de sa théorie de la résonance adaptative, Grossberg, 1987), la loi de fonctionnement des unités qui les composent s'écrit :

19Autrement dit, le neurone Ni, calcule une distance entre son vecteur poids et l'entrée ej qui lui est soumise. Le vecteur poids (et à travers lui le neurone Ni) peut ainsi être vu comme une entrée virtuelle, ou encore un prototype ou un représentant d'une telle entrée.

20L'apprentissage non supervisé consiste, pour une entrée donnée, à sélectionner le (ou les) neurone(s) le(s) plus proche(s) de cette entrée et à en modifier les poids de manière à le(s) rendre encore plus proche(s) de cette entrée. Devant une distribution de données, présentées en entrée, un ensemble de neurones se répartit donc de manière à représenter au mieux cette distribution, en se plaçant au centre des groupes de données les plus significatifs. Ainsi ces neurones deviennent des représentants ou des prototypes de ces classes de données. Selon un autre point de vue, ils effectuent une opération de filtrage en définissant, par leurs poids, des filtres prototypes des configurations d'entrées les plus représentatives. Selon tous ces points de vue, il s'agit bien d'invariants de la distribution des données qui ont été ainsi extraits par apprentissage.

Les réseaux récurrents

21Dans les réseaux récurrents, comme le modèle de Hopfield (1982), les connexions ne sont pas destinées à recueillir les entrées, qui sont fournies une par une aux neurones, mais à interconnecter totalement les neurones entre eux. La loi de fonctionnement de ces neurones, similaire à celle des réseaux directs, apprend alors des configurations du réseau (et non pas des entrées), comme des états stables. Ensuite, devant un état initial quelconque, le réseau sait osciller de manière à converger vers l'état stable appris le plus proche. Ces états stables appris sont aussi appelés prototypes et peuvent être vus comme des invariants de configuration du réseau, utilisé comme mémoire associative, ou mémoire adressable par son contenu.

Discussion

22Nous avons tout d'abord montré comment des techniques d'apprentissage permettaient à des unités de calcul simples, les neurones artificiels, de répondre sélectivement à certains événements perceptifs clés (certaines configurations du monde extérieur), qui sont justement ceux qui peuvent impliquer des changements dans la prise de décision. Selon nous, ces configurations correspondent aux invariants du monde extérieur. Certains neurones répondant sélectivement à l'apparition de ces invariants, nous obtenons ainsi, par apprentissage, une représentation interne du monde où ces événements particulièrement intéressants sont représentés. Il reste alors à les combiner en vue d'une décision globale relative à la tâche d'analyse de l'information souhaitée. C'est ici que l'architecture des RNA joue un rôle important.

23Nous avons montré ici comment des RNA simples, destinés à des opérations de traitement statistique de données, pouvaient en extraire par apprentissage et représenter en leur sein les invariants permettant de réaliser ces opérations de filtrage, de classification, de mise en correspondance ou d'association. Plus généralement, il est possible de faire un recensement précis des liens entre les architectures choisies et les fonctions de traitement de données émulées (Bougrain, 2000). Partant de ces modèles élémentaires, plusieurs auteurs (Kohonen, 1988 ; Grossberg, 1987 ; Rubner & Schulten, 1990) ont souligné la proximité entre ces opérations statistiques et l'extraction, par le système nerveux des êtres vivants, des invariants du monde extérieur qui leur permettent de se créer une représentation interne du monde extérieur. On cite ainsi volontiers les cellules sélectives à l'orientation des stimuli visuels perçus du cortex visuel et les filtres similaires obtenus par les cartes auto-organisatrices de Kohonen.

24S'il est ainsi possible de s'accorder pour souligner l'importance primordiale de cette notion d'invariants, aussi bien pour la cognition que pour le traitement statistique de données et pour admettre, en première approximation, une certaine similarité entre les mécanismes biologiques et statistiques aussi bien pour la représentation que pour l'extraction de ces invariants, il est difficile de se satisfaire pleinement aujourd'hui de ces lois mathématiques pour modéliser ces phénomènes cognitifs.

25En effet, les connaissances sur ces phénomènes cognitifs, et en particulier sur les mécanismes biologiques sous-jacents, permettent maintenant de préciser la nature de ces invariants et de ne plus les réduire à la simple extraction de primitives perceptives. Plus précisément, l'étude du comportement de populations de neurones (Koechlin, 1996) indique que, pour décider de leur activation, les neurones ne se fondent pas seulement sur l'information montante (feed-forward) qui leur parvient de l'extérieur ou des couches inférieures, mais aussi sur le comportement de leurs voisins obtenu par des connexions latérales ou encore d'indices assimilables à des intentions, des motivations ou d'autres informations sensorimotrices provenant d'autres aires corticales par des liens récurrents (feed-back).

26Cette nouvelle vue sur la nature des invariants ainsi construits, par intégration d'informations de nature différente, a plusieurs conséquences. Au niveau cognitif et comportemental, elle indique que les invariants qui structurent la cognition ne sont pas simplement perceptifs, mais qu'ils se fondent également sur d'autres aspects de la représentation interne, comme les croyances, les représentations motrices, les motivations, etc. On pourrait y retrouver là la notion d'affordance (Gibson, 1979). Au niveau neuronal, cela met au premier rang l'unité fonctionnelle de la population neuronale (plutôt que le neurone isolé) pour représenter les invariants, avec l'idée de synchronisation entre neurones ou encore d'intégration progressive de l'information dans le temps (d'abord feed-forward, puis latérale, puis récurrente) qui donne une dimension temporelle à l'invariant, mais aussi un aspect dynamique bien supérieur à la simple image du filtre.

27Au niveau de la modélisation, ces indices épars restent à être intégrés de manière cohérente et opératoire dans des modèles informatiques. Les modèles formels issus des mathématiques n'ont pas su donner pour le moment des règles d'apprentissages permettant d'intégrer des informations de nature et d'échelle temporelle différentes, provenant de liens typés (feed-forward, latéraux et récurrents). Plusieurs modèles d'inspiration biologique ont été proposés dans ce sens (Frezza-Buet, 1999) et restent à être précisés.

La prise en compte de la variabilité par les RNA

28Pour parler du comportement des RNA vis-à-vis de la variabilité, il convient tout d'abord de définir la notion de variabilité. Si l'on s'intéresse à la variabilité du signal d'entrée, on dira sûrement alors que les RNA savent bien prendre en compte ce type de variabilité. Il n'en sera certainement pas de même si l'on s'intéresse à la variabilité de l'expression des stratégies.

La variabilité du signal d'entrée

29La prise en compte de ce type de variabilité renvoie à une des propriétés les plus connues des RNA, la robustesse, qui peut se décliner de différentes manières. Pour des modèles avec des sorties discrètes (Hopfield, Kohonen, perceptrons utilisés en discrimination), on constate généralement que des entrées proches donnent lieu à des sorties identiques ou proches. Selon les modèles, on parlera de bassins d'attraction, de propriétés topologiques ou encore de généralisation. Dans le cas de modèles à sorties continues (perceptrons utilisés en régression), on observe aussi des sorties obtenues par interpolation à partir d'exemples proches vus au cours de l'apprentissage. Tous ces phénomènes donnent des réseaux robustes à l'introduction de bruit ou d'imprécisions dans les données qui leur sont fournies en entrée.

La variabilité des réponses

30En revanche, ces mêmes réseaux sont peu capables de rendre compte de variabilité de l'expression de réponses et plus généralement de stratégies, que l'on peut ranger sous le terme de vicariances (Gibson, 1979). Cela peut s'expliquer par le fait que les réseaux sont généralement construits pour la réalisation d'une seule fonction et non pas pour l'articulation de plusieurs, ce qui pourrait donner lieu à plus de souplesse. Lors de la réalisation d'une unique fonction, la seule variabilité observée en sortie correspond généralement à l'utilisation d'une fonction aléatoire qui permet l'exploration d'une partie de l'espace des solutions.

31L'alternative consiste à étudier des réseaux modulaires (Alexandre, 2001) dont l'architecture même peut donner lieu à l'expression de comportements plus différenciés, comme on l'observe par exemple dans des modèles comme les mixtures d'experts (Jacobs et al., 1991). Dans ce domaine, la principale limitation tient au type de fonctions réalisées par ces réseaux. On reste en effet au niveau de fonctions élémentaires de traitement de données (ex. : classification) et on évite le plus souvent des tâches plus complètes et plus réalistes mettant en œuvre plusieurs fonctions (ex. : exploration de l'environnement nécessitant localisation, reconnaissance de lieux, planification, etc.), pour lesquelles le deuxième type de variabilité mentionné ici s'exprimerait mieux. Aussi, sans qu'il soit encore possible de préjuger des compétences des RNA sur ce point, l'avancement dans ce domaine se confond avec le développement de réseaux modulaires pour de telles tâches plus cognitives et plus écologiques (Alexandre, 2001). Là aussi, les RNA d'inspiration biologique ont ouvert la voie, mais il reste encore beaucoup de progrès à faire pour la mise au point de réseaux capables de produire de tels comportements dynamiques et, qui plus est, de travailler sur leur variabilité.

Bibliographie

Références bibliographiques

Alexandre, F. 2001. « Approche modulaire et architecture dédiée pour l'implantation de réseaux neuromimétiques complexes ». Colloque Interdisciplinaire en Sciences Cognitives. Lyon, ARCo'2001.

Beaugé, L. 1995. « Définition de mécanismes de mémorisation pour les systèmes neuromimétiques ». Thèse de doctorat de l'Université Henri Poincaré, Nancy I.

Bougrain, L. 2000. « Étude de la construction par réseaux neuromimétiques de représentations interprétables ». Thèse d'Université. Nancy I.

Frezza-Buet, H. 1999. « Un modèle de cortex pour le comportement motivé d'un agent neuromimétique autonome ». Thèse de doctorat de l'Université Henri Poincaré, Nancy I.

Gibson J. J. 1979. The ecological approach to visual perception. Boston, Houghton Mifflin.

Grossberg, S. 1987. « Competitive Learning : From Interactive Activation to Adaptative Resonance ». Cognitive Science, 11 : 23-63.

Hebb, D. O. 1949. The organization of behaviour. New York, Wiley.

Hertz, J., A. Krogh & R. Palmer. 1991. Introduction to the theory of neural computation. Reading MA, Addison Wesley.

Hopfield, J. J. 1982. « Neural networks and physical systems with emergent collective computational abilities ». In Proceedings of the National Academy of Sciences. Académie des Sciences USA, 79 : 2554-2558.

Jacobs, R. Α., M. I. Jordan, S. J. Nowlan & G. E. Hinton. 1991. « Adaptive mixtures of local experts ». Neural Computation, 3 : 79-87.

Koechlin, É. 1996. Représentation et processus cognitifs dans le cortex cérébral, Décision et dynamique d'activation bayesienne dans les populations de neurones corticaux. Thèse de doctorat de l'École des hautes études en sciences sociales, Paris.

Kohonen, T. 1988. Self-Organization and Associative Memory. Berlin, Springer, Verlag.

Rosenblatt, F. [1958], 1989. « The perceptron : a probabilistic model for information storage and organization in the brain ». In J. A. Anderson & E. Rosenfeld (eds). Neurocomputing : Fundations of Research. Cambridge MA, The MIT Press : 89-92.

Rubner, J. & K. Schulten. 1990. Development of feature detectors by self-organization. Biological cybernetics, 62 : 193-199.

Rumelhart, D. E. & J. L. McClelland. 1986. Parallel Distributed Processing : Exploration in the Microstructure of Cognition. Cambridge MA, The MIT Press.

Auteur

Frédéric Alexandre est directeur de recherche au LORIA-INRIA à Nancy, et responsable de l'équipe CORTEX

© Éditions de la Maison des sciences de l’homme, 2002

Conditions d’utilisation : http://www.openedition.org/6540

Acheter

Volume papier

Chargement

Unavailable