1Les théories de l’apprentissage, de l’adaptation et du codage, que ce soit pour la description de systèmes naturels ou artificiels, tournent autour d’une notion de complexité, qui peut prendre des formes variées : information au sens de Shannon, risque bayésien, longueur de description minimale, complexité algorithmique. Que l’approche soit probabiliste ou non, il s’agit toujours de formaliser une idée intuitive générique, celle du rasoir d’Occam : le bon système (de codage, d’inférence) est celui qui exprime (modélise) de la manière la plus simple possible la richesse des données considérées (stimuli, observations). Cette recherche de complexité minimale peut s’appuyer sur l’identification de lois de conservation, de règles de symétrie, de propriétés invariantes, de régularités statistiques.

2Dans le contexte de la perception et de l’encodage (ou construction de représentations neuronales) de stimuli, une approche théorique maintenant classique est celle qui fait un large usage des probabilités et de la théorie de l’information de Shannon. Ce point de vue fait notamment suite aux travaux précurseurs du physiologiste et physicien Hermann von Helmholtz au xix^e siècle, des psychologues de la Gestalt (théorie de la forme) au début du xx^esiècle, et, dans les années 1950-60, du psychologue Fred Attneave et du biologiste Horace Barlow. Plusieurs aspects complémentaires sont en jeu : (1) ce qui est perçu, la forme, se distingue fortement d’une situation de référence, le fond, non porteur d’information utile ; (2) cette situation de référence peut se caractériser soit d’un point de vue purement formel, par une hypothèse a priori (par exemple, l’absence de structure, de régularités), soit de façon empirique, par les propriétés (géométriques, statistiques...) généralement présentes dans les stimuli « naturels ». À titre d’exemple, au milieu de points distribués au hasard sur un plan, la présence d’une suite de points strictement alignés « sautera aux yeux », ce qui peut se formaliser – et être exploité en vision artificielle – en constatant que la probabilité d’un tel alignement serait très faible si tous les points étaient aléatoirement répartis (Désolneux et al. 2000).

3Une conséquence importante pour le codage neuronal est qu’un système sensoriel doit encoder les stimuli en extrayant ces propriétés communes à la plupart des stimuli. Ainsi, selon ce point de vue, un « codage optimal » dans les premières couches du système visuel doit être un codage spécifiquement adapté aux régularités statistiques des « images naturelles ». Cette adaptation à notre environnement serait le fruit, en partie de l’adaptation de la structure du système visuel au cours de l’évolution, et en partie celui du développement épigénétique, une finalisation du codage neuronal fonction des stimulations visuelles juste après la naissance. Attneave et Barlow ont ouvert la voie à la formalisation de ces idées avec les outils de la théorie de l’information, donnant lieu à de nombreux travaux depuis les années 1980, tant théoriques qu’expérimentaux.

4Formellement, l’expression la plus simple de l’adaptation optimale du codage à l’environnement est le principe InfoMax (Linsker, 1988), qui suppose que le système neuronal maximise une quantité d’information au sens de Shannon, l’information mutuelle entre stimuli et activité neuronale. Dans un cadre probabiliste, l’information mutuelle, positive ou nulle, caractérise la dépendance statistique entre deux variables, et n’est nulle qu’en l’absence de corrélations entre ces variables. Elle quantifie l’information que l’une donne sur l’autre (à quel point l’observation de l’une permet de prédire l’état de l’autre).

5On peut montrer que l’information mutuelle est une moyenne, sur l’ensemble des stimuli, d’un coût d’inférence, ou risque bayésien (cf. Clarke et Barron 1990 ; Haussler et Opper 1997 ; Bonnasse-Gahot et Nadal 2012) : maximiser l’information mutuelle revient à optimiser les performances moyennes dans la tâche d’inférence que constitue l’identification du stimulus. Ce principe d’optimisation du codage neuronal est encore lié à d’autres critères de codage et d’inférence statistique. Ainsi, un autre critère de qualité avancé par Barlow est celui de la minimisation de la redondance. L’idée est que, pour le décodage, c’est à dire l’utilisation par d’autres aires du cerveau de l’information encodée, il est a priori plus efficace d’avoir des unités codantes portant des informations complémentaires, indépendantes – le temps nécessaire à une prise de décision serait trop long s’il fallait mesurer des corrélations entre unités pour trouver l’information pertinente. Un critère de qualité de la représentation neuronale est alors le peu de redondance entre unités. La minimisation de la redondance au sens de Barlow est équivalente à l’analyse en composantes indépendantes (ACI), technique introduite indépendamment dans les années 1980 en traitement du signal. Par ailleurs, on a montré (Nadal & Parga 1994) que la maximisation de l’information a pour conséquence la minimisation de la redondance (ou ACI), de sorte que le critère InfoMax inclut celui de la minimisation de redondance. D’un point de vue algorithmique, l’ACI peut alors être effectuée par un algorithme de maximisation de l’information (Bell & Sejnowski 1995).

6Un cas particulier d’intérêt fort pour les neurosciences est celui du codage par population : un grand nombre de neurones est mobilisé pour l’encodage d’une catégorie de stimuli, chaque neurone ayant une certaine spécificité pour un domaine limité de l’espace des stimuli. Ce type de code semble être employé massivement par le système nerveux, aussi bien dans les aires sensorielles que motrices. Des exemples classiques sont le codage d’orientations dans le cortex visuel primaire, le codage de directions dans le cortex moteur, ou, de manière plus sophistiquée, le codage de visages familiers. L’information est distribuée entre les neurones, et peut être extraite (décodée) par une moyenne appropriée sur l’ensemble des activités de la population. L’analyse des performances typiques et optimales de ce type de code débouche sur un lien peu connu entre information mutuelle (au sens de Shannon) et information de Fisher. Cette dernière quantité intervient de manière naturelle – et fondamentale – dans le contexte de l’estimation de paramètres à valeurs continues (par opposition à valeurs discrètes). Elle caractérise l’erreur la plus petite qu’on puisse espérer obtenir (au sens de la minimisation de l’erreur quadratique) dans l’estimation du paramètre à partir d’observations dont la loi de probabilité dépend de ce paramètre.

7Dans la limite d’un grand nombre de neurones (grand comparé à la dimension du stimulus encodé, ce qui est notamment le cas pour un codage par population), on trouve que l’information mutuelle s’exprime en fonction de l’information de Fisher (Clarke & Barron 1990 ; Brunel & Nadal 1998). Dans une telle limite, qui est une limite de fort rapport signal sur bruit, le critère informationnel devient essentiellement équivalent à un critère de minimisation d’erreur d’estimation (noter que ceci est faux dans la limite inverse de fort bruit). L’information de Fisher se prête plus facilement à des interprétations qualitatives des conséquences de l’optimisation du codage. On déduit ainsi de la maximisation de l’information que l’activité neuronale doit être très sensible à de petites variations de stimulus, là où c’est important : dans le domaine de l’espace des stimuli où ceux-ci sont très fréquents, s’il s’agit de stimuli continus (comme une orientation, Brunel & Nadal 1998), là où les stimuli sont les plus ambigus, s’il s’agit de la perception de catégories (e.g., identification de visages familiers, perception de phonèmes, etc., Bonnasse-Gahot & Nadal). Ainsi le fait qu’un neurone réponde fortement ou pas à un stimulus n’est pas nécessairement un aspect important ; ce qui est significatif est de savoir si l’activité de ce neurone change notablement ou pas lorsqu’on varie légèrement le stimulus. Une conséquence générale est que caractériser les neurones par les stimuli auxquels ils répondent le plus fortement (l’approche standard depuis Hubbel et Wiesel) ne fournit qu’un aspect partiel – et, dans certains cas, secondaire – du rôle des neurones.

Bibliographie