Version classiqueVersion mobile
OpenEdition Books

Économie et cognition

 | 
Bernard Walliser

L’apprentissage dans les jeux

Jean-François Laslier

Texte intégral

Introduction

1En alternant de manière répétée l’action et l’observation, nous apprenons simultanément quel est notre environnement et comment celui-ci nous permet d’utiliser nos possibilités d’action. Cet apprentissage est progressif par définition, et le comportement d’un individu en train d apprendre évolue même si l’environnement reste stable. Un degré de complexité supplémentaire apparaît dans les situations où le résultat de l’action d’un individu dépend non seulement de son environnement matériel, mais aussi des actions des autres, ce qu’il est convenu d’appeler les situations de « jeu ». Le fait qu’un joueur est en train d’apprendre a dès lors pour conséquence de transformer l’environnement social de chacun des autres joueurs. Dans le cas où tous les joueurs apprennent, on aura affaire à une théorie de l’apprentissage considérant que l’objet de l’apprentissage (l’environnement) évolue de manière endogène.

  • 1 Contrairement aux jeux non coopératifs, dans les « jeux coopératifs », la spécification des action (...)

2Le terme de « jeu non coopératif » (ou « jeu de stratégie ») désigne une situation dans laquelle interviennent plusieurs agents suivant des modalités spécifiées, et telle que le résultat de l’action d’un agent peut dépendre des actions effectuées par les autres agents. Cette définition est extrêmement large, elle indique que la théorie des jeux ne s’assigne a priori guère de limites dans la variété et la complexité des interactions sociales qu’elle envisage d’étudier. Elle souligne aussi les traits distinctifs de cette théorie qui s’impose de décrire les situations réelles en indiquant de manière précise la liste des « joueurs » et les modalités de leurs interactions, en particulier les actions à la disposition de chacun d’eux, le déroulement temporel des rencontres éventuelles entre les joueurs, leur état d’information et de connaissance, ainsi que le résultat final de l’interaction pour chaque joueur1

3Une première section exposera la théorie de l’apprentissage dans les jeux non répétés – comment les joueurs apprennent au cours d’une partie – et une seconde section abordera l’apprentissage dans les jeux répétés – comment les joueurs apprennent d’une partie à l’autre. La première partie nous permettra de décrire l’approche « rationnelle » de l’apprentissage et les forces et faiblesses du recours à l’hypothèse de rationalité parfaite pour l’étude de cette question. Nous comprendrons alors pourquoi ce qu’il est usuellement convenu d’appeler la théorie de l’apprentissage dans les jeux ne s’exprime pas dans cette structure, mais suppose au contraire la répétition à l’identique d’un jeu « de base » joué par des acteurs à rationalité limitée. Ces idées seront généralement exposées à l’aide d’exemples.

L’apprentissage dans les jeux non répétés

4Le premier exemple (Jeu 1) est un cas sans apprentissage, mais qui resservira dans la suite. Il met en présence deux joueurs (Anne et Bertrand), qui jouent simultanément et sans pouvoir se consulter. Anne a deux choix possibles : « haut » et « bas », et Bertrand a deux choix lui aussi : « gauche » et « droite ». Les gains d’Anne et Bertrand sont indiqués dans le tableau 1.

Tableau 1 – Jeu 1

Bertrand : gauche

Bertrand : droite

Anne : haut

(15,10)

(0,0)

Anne : bas

(5,0)

(5,20)

5Ce tableau se lit de la manière suivante : si Anne joue en haut et Bertrand joue à gauche, elle gagne 15 euros et lui 10. Notons que si Anne joue en bas, elle se garantit 5 euros alors qu’en jouant en haut, elle peut obtenir 15 euros, mais prend le risque de ne rien obtenir du tout ; son choix dépend donc de ce qu’elle pense que Bertrand choisira. Quant à Bertrand, il aimerait de même savoir ce que choisit Anne pour décider quoi faire. Dans le vocabulaire de la théorie des jeux, ce système possède deux « équilibres de Nash purs ». Anne peut jouer en haut et Bertrand à gauche ; chacun joue alors une meilleure réponse à ce que fait l’autre, ce qui est la définition formelle de l’équilibre de Nash. Anne peut aussi jouer en bas et Bertrand jouer à droite, et chacun à nouveau joue sa meilleure réponse. On voit que les équilibres sont des systèmes cohérents d’actions et de croyances sur les actions des autres. D’une part (premier équilibre), Anne peut jouer en haut en pensant que Bertrand joue à gauche et Bertrand jouer à gauche en pensant qu’Anne joue en haut. D’autre part (deuxième équilibre), Anne peut jouer en bas en pensant que Bertrand joue à droite et Bertrand jouer à droite en pensant qu’Anne joue en bas.

6Il est clair que cette situation est suffisamment complexe pour qu’aucune issue ne s’impose, et des individus placés dans une telle situation seraient certainement bien embarrassés pour prendre une décision sans plus d’information. Un peu de coordination supplémentaire leur serait utile.

7Considérons maintenant un jeu un peu plus compliqué (Jeu 2), toujours entre Anne et Bertrand, lequel se déroule en deux étapes. Dans la première étape, Anne peut décider de tout arrêter, auquel cas elle gagnera 10 euros et Bertrand ne gagnera rien, ou elle peut décider de jouer (deuxième étape) le jeu décrit précédemment.

8Supposons qu’Anne décide de ne pas prendre les 10 euros qu’on lui offre et de jouer le Jeu 1, alors il est évident qu’elle n’a pas l’intention de jouer en bas dans le Jeu 1, puisque jouer en bas lui rapporte 5 euros de manière certaine. C’est donc qu’elle a l’intention de jouer en haut. Au contraire, le renoncement de Anne aux 10 euros est parfaitement compatible avec l’idée qu’elle va jouer en haut en pensant que Bertrand va jouer à gauche. On voit ici comment Bertrand apprend de la première action d’Anne quelle va être sa seconde action. Ce phénomène est typique de l’apprentissage dans les jeux non répétés : les actions sont aussi des signaux envoyés ; les joueurs apprennent aux autres et apprennent des autres.

9On voit aussi dans cet exemple simple que l’apprentissage repose sur la rationalité des acteurs. La théorie générale classiquement mobilisée pour ce genre de situation suppose que les agents sont parfaitement rationnels, savent que les autres le sont, et ainsi de suite. Un équilibre est ainsi fondamentalement vu comme une construction « éductive » (ou « divinatoire »), constituée à la fois des actions et des croyances des joueurs, les croyances justifiant les actions et les actions confirmant les croyances. Afin de montrer les limites de cette approche, nous allons étudier un troisième exemple. Ce troisième exemple est plus simple, en un sens, que les précédents car les joueurs ne se trouvent jamais dans la situation embarrassante caractéristique du Jeu 1 où ils devaient choisir simultanément mais indépendamment l’un de l’autre.

10Le troisième exemple (Jeu 3) appartient à la classe des « jeux finis sous forme développée à information complète ». Un tel jeu est défini par un arbre, constitué de nœuds et de branches, et menant d’un « nœud initial » correspondant à la racine à des « nœuds terminaux » correspondant aux feuilles. Chaque nœud est ainsi relié, directement ou indirectement, de manière unique, au nœud initial. À chaque nœud non terminal est associé un joueur, le joueur qui « a la main » en ce nœud. Les branches partant d’un nœud sont autant d’actions disponibles pour le joueur qui a la main en ce nœud. À chaque nœud terminal est associée la liste des paiements qu’obtiennent les joueurs. Une première manière de définir un déroulement possible du jeu consiste à décrire l’action choisie au nœud initial par le joueur ayant la main en ce premier nœud, puis l’action choisie au nœud qui découle de cette première action par le joueur ayant la main en ce deuxième nœud, et ainsi de suite. Une telle suite d’actions est appelée une « trajectoire ». Une autre manière de définir le déroulement du jeu est de spécifier pour chaque joueur l’action qu’il prendrait à chacun des nœuds où il aurait la main, si ces nœuds venaient à être atteints. Une telle liste exhaustive d’actions conditionnelles est appelée une « stratégie ».

11Le Jeu 3 est appelé le jeu de la confiance répétée, les protagonistes en seront à nouveau Anne et Bertrand.

Figure 2 – Jeu de la confiance répétée (Jeu 3)

12Initialement, Anne a la main avec deux actions disponibles. Soit elle « arrête la première fois », soit elle « continue la première fois ». Si elle arrête la première fois, le jeu se termine, elle gagne 20 euros et Bertrand ne gagne rien. Si elle continue la première fois, elle passe la main à Bertrand. La seconde fois, Bertrand peut « arrêter la seconde fois » ou « continuer la seconde fois ». Si Bertrand arrête la seconde fois, le jeu se termine et il gagne 1 euro et Anne ne gagne rien. Si Bertrand continue la deuxième fois, il passe la main à Anne. La troisième fois, Anne peut « arrêter la troisième fois » ou « continuer la troisième fois ». Si Anne arrête la troisième fois, le jeu se termine, elle gagne 1 euro et Bertrand ne gagne rien. Si elle continue la troisième fois, elle passe la main à Bertrand. La quatrième fois, Bertrand peut « finir méchamment » ou « finir gentiment ». Si Bertrand finit gentiment, le jeu s’arrête et les deux joueurs gagnent 30 euros chacun. Si Bertrand finit méchamment, le jeu se termine aussi et il gagne 31 euros et Anne ne gagne rien.

13Le concept de base pour ce genre de jeux est celui d’« équilibre parfait en sous-jeux ». Le jeu étant fini, certains nœuds ne sont suivis que par des nœuds terminaux. C’est exactement le cas dans l’exemple pour un nœud, celui où Bertrand doit prendre la quatrième décision. En un tel nœud, le problème de décision n’est guère interactif : Bertrand fait son choix seul et le jeu se termine. La maximisation des paiements de Bertrand indique qu’il choisit de finir méchamment. Cela peut être anticipé par le joueur qui a la main au nœud précédent, à savoir Anne. Ici, Anne choisit d’arrêter au troisième coup, anticipant qu’elle ne gagnerait rien en continuant et préférant gagner 1 euro. Anticipant cela, Bertrand, au deuxième coup, préfère lui aussi arrêter, anticipant qu’il ne gagnera rien à continuer et préférant gagner 1 euro. Anticipant cela, Anne au premier coup préfère arrêter, anticipant qu’elle ne gagnera rien à continuer et préférant gagner 20 euros.

14Ce raisonnement par anticipations itérées permet de « résoudre » les jeux finis sous forme extensive à information complète. À partir de tout nœud non terminal, il sélectionne une branche (en général une seule) et fournit ainsi la « marche à suivre ». Le déroulement du jeu ainsi obtenu à partir du nœud initial est une trajectoire d’équilibre parfait en sous-jeu. Dans l’exemple, la trajectoire d’équilibre parfait en sous-jeu est constituée de la seule branche « arrêter la première fois » que Anne a choisie. Conceptuellement, l’équilibre parfait en sous-jeu ne se réduit pas à ce seul chemin parcouru, il comprend aussi les chemins non parcourus comme le chemin élémentaire « finir méchamment » qui part du quatrième nœud ; ce chemin n’a pas été parcouru car son point de départ n’a pas été atteint. Mais ces chemins non parcourus sont essentiels car ils justifient la trajectoire parcourue.

15Par définition, un tel équilibre possède la propriété que les choix d’actions ne viennent jamais infirmer les anticipations, actions et anticipations étant simultanément « rationnelles ». Il est clair que les raisonnements croisés d’équilibre parfait peuvent être tenus au début du jeu. Dans la suite, il n’y a alors pas d’apprentissage pour la bonne raison que tout ce qui était prévu se confirme et qu’il n’y a donc rien à apprendre. Dans ces jeux, subsiste-t-il néanmoins une place pour l’apprentissage ? Puisque, par définition, on n’apprend que du passé, le joueur qui a la main initialement n’est, au départ, pas en mesure d’apprendre. Ultérieurement, la seule possibilité d’apprentissage est le fait qu’un joueur qui doit prendre une décision à un nœud non terminal sait que les actions des autres joueurs l’ont amené à ce nœud. Sur le chemin d’équilibre parfait, ce n’est pas une surprise, mais en dehors du chemin d’équilibre, cette observation peut lui offrir la possibilité d’inférer le comportement ultérieur de certains joueurs ; et avoir une idée du comportement futur des joueurs peut l’aider à choisir son action. Donc, la question de l’apprentissage se pose hors de l’équilibre.

16Considérons ainsi l’action de Bertrand au deuxième coup (c’est-à-dire la première fois qu’il a la main). Son comportement d’équilibre parfait est, comme on l’a vu, d’arrêter le jeu et d’empocher 1 euro, en anticipant rationnellement qu’Anne va l’arrêter s’il lui passe la main. Ce raisonnement n’utilise pas l’information, pourtant disponible, qu’Anne vient justement de délaisser 20 euros pour passer la main à Bertrand. Cette information indique à Bertrand qu’Anne avait probablement, en prenant sa décision au premier nœud, l’espoir de gagner finalement plus de 20 euros. Donc Anne n’avait certainement pas l’intention d’arrêter au troisième coup. Si Anne est toujours dans cette disposition d’esprit, elle continuera donc au troisième coup. En tout état de cause, il est difficile à Bertrand de maintenir l’hypothèse qu’Anne va arrêter au troisième coup (pour gagner 1 euro) alors qu’elle a continué au premier (renonçant à en gagner 20).

17En pratique, des situations semblables à celle décrite dans le jeu ci-dessus sont fréquentes. Des individus agissant séquentiellement ont intérêt à coopérer jusqu’à la fin du projet mais, quitte à ce que la coopération se brise, chacun a un léger avantage à décider de la rupture avant les autres. Dès lors, il n’est pas parfaitement rationnel que la coopération s’installe, quelle qu’en soit la durée : en effet, celui qui aura coopéré le plus longtemps regrettera de ne pas avoir trahi un peu avant les autres. A contrario, que la coopération ne se mette pas du tout en place peut parfaitement être rationalisé sur la base de raisonnements rigoureux.

18Cependant, l’observation montre que les individus initient fréquemment de telles coopérations et les font perdurer, à la satisfaction générale. Ce phénomène peut être reproduit, contrôlé et quantifié en laboratoire. On utilise en général le jeu dit du « millepattes » (centipede game en anglais) qui est de la même classe que le jeu précédent. Dans ce jeu (Jeu 4), deux joueurs se partagent un gâteau dont la taille augmente avec le temps et ont alternativement la possibilité d’arrêter le jeu à leur avantage. S’ils font durer la partie jusqu’à la fin, ils gagnent tous les deux beaucoup plus que si le jeu est arrêté rapidement. Cependant, l’enchaînement des paiements des deux joueurs est tel que chacun préférerait arrêter avant que l’autre ne le fasse. L’équilibre parfait du jeu commande donc un arrêt immédiat. Le fait même que le jeu ne s’arrête pas dans les premiers coups signale aux joueurs la possibilité qu’il dure, justifie cette possibilité et permet des gains importants. Bien entendu, cet apprentissage ne saurait porter sur la fin du jeu. Peut-être même vaut-il mieux ne pas trop penser à cette fin de jeu : Bertrand finira-t-il gentiment ?

  • 2 Les paiements sont en dollars américains de 1990.
  • 3 La prédiction d’équilibre parfait en sous-jeu est fausse à 99 % !

19Voici quelques statistiques sur les expériences menées par Richard McKelvey et Thomas Palfrey (1992) dans un jeu du mille-pattes à six pattes. L’arbre de jeu2 est décrit par la figure3 Le tableau 2 indique la probabilité d’un joueur de sortir à chacun des six coups. Seuls 1 % des joueurs sortent immédiatement3 mais, parmi ceux qui sont arrivés au sixième coup, 85 % sortent.

Tableau 2 – Probabilités d’arrêt observées dans un mille-pattes

Tableau 2 – Probabilités d’arrêt observées dans un mille-pattes

Figure 3 – Jeu du mille-pattes à six pattes (Jeu 4)

  • 4 Voir Fudenberg et Tirole (1991).

20Les exemples précédents sont des jeux à information complète et parfaite. Le long d’un chemin d’action, dans un jeu sous forme extensive, chaque joueur voit son état d’information se modifier. Il apprend par exemple qu’un autre joueur vient de faire telle action plutôt que telle autre. En cas d’information imparfaite, c’est-à-dire si certains éléments pertinents de l’environnement (matériel ou social) sont aléatoires, le joueur obtient aussi des informations directes sur ces facteurs. Le joueur révise alors ses croyances d’une part sur le contexte physique (j’apprends qu’il pleut parce que je vois les gouttes tomber ou des gens portant des parapluies) et, d’autre part, sur les intentions des autres joueurs (les clients vont arriver, c’est le moment d’augmenter les prix des parapluies !). La notion d’équilibre séquentiel est la notion la plus utile pour rendre compte, dans un cadre strictement rationnel, de la manière dont les joueurs dans un jeu sous forme extensive avec information imparfaite font évoluer leurs croyances et leurs actions au cours du jeu4 Mais interpréter les actions des autres joueurs en présence d’incertitude probabiliste n’est pas forcément facile et plusieurs interprétations cohérentes mais incompatibles peuvent être également possibles.

L’apprentissage dans les jeux répétés

21Nous nous intéressons maintenant à la répétition indéfinie du même jeu dit « jeu de base ». Celui-ci peut être statique, comme le premier exemple, ou comporter plusieurs étapes, comme dans les exemples suivants. L’important est que l’on y apprenne au fur et à mesure des parties successives du même jeu. C’est dans ce cadre que s’est développée la théorie des jeux évolutionniste et que s’expriment les théories de l’apprentissage non strictement rationnel.

22Plus exactement, la théorie des jeux évolutionniste conçoit la rationalité des joueurs comme essentiellement adaptative, au sens où ces derniers réagissent aux informations passées en ajustant les paramètres de leurs règles de comportement. En fait, comme on l’a vu dans la section précédente, la rationalité classique s’accommode parfaitement du raisonnement par induction arrière (backward induction) qui déduit ce que je dois faire des hypothèses que je peux formuler sur ce qui peut survenir dans le futur. Mais elle ne s’accommode pas aussi bien du raisonnement par induction avant (forward induction) qui déduit ce que je dois faire de ce que j’ai observé dans le passé. La raison de cette asymétrie est évidente : un état d’équilibre est une spéculation cohérente sur les actions de protagonistes rationnels. Il est généralement possible (les théorèmes d’existence de la théorie des jeux le montrent avec un grand degré de généralité) d’imaginer un ou plusieurs futurs cohérents en ce sens. Mais intégrer les actions passées dans une telle cohérence impose des contraintes supplémentaires et se révèle parfois impossible.

23Les modèles comportementaux de l’apprentissage spécifient des règles d’amélioration plus que d’optimisation, les règles de comportement étant conçues de façon à déplacer l’action vers les utilités croissantes, le plus souvent de manière incrémentale. De plus, les règles de comportement (à présent explicites) incorporent la possibilité de déviations aléatoires des actions de leur cours normal, ce qui permet d’explorer de temps à autre les conséquences d’actions qui ne seraient pas normalement entreprises. On touche ici à la question du compromis exploration-exploitation, question déjà délicate dans le simple domaine de la décision individuelle. On peut vouloir délaisser la perspective de gains connus et immédiats pour tester de temps en temps des actions innovantes dont l’efficacité est mal connue.

24D’une manière générale, les modèles de l’apprentissage doivent se positionner par rapport à plusieurs principes ; Lesourne et al, (2002) en distingue cinq : satisfaction, rencontre, information, évaluation, décision. Par rapport au modèle de rationalité pure, ces modèles paraissent d’abord pertinents pour l’étude des seules populations animales et végétales, qui s’adaptent à leur environnement et le modifient. Il en va de même cependant pour les situations dans lesquelles on pense que les joueurs, pour une raison ou une autre, ne mobilisent que de faibles capacités de compréhension. Ainsi Jean-Jacques Rousseau, voulant décrire l’évolution de la sociabilité dans l’espèce humaine, imagine-t-il des sauvages peu raisonneurs, mais saisissant les possibilités d’action immédiate. Tout va très bien tant qu’il s’agit, par essais et erreurs, de s’adapter à un environnement fixe. De le même manière, tout se passe bien pour apprendre à collaborer tant que la collaboration n’entre pas en conflit avec l’intérêt personnel. Mais, comme l’a bien vu Rousseau, les choses se compliquent fortement s’il y a possibilité de conflit.

Voilà comment les hommes purent insensiblement acquérir quelque idée grossière des engagements mutuels, et de l’avantage de les remplir, mais seulement autant que pouvait l’exiger l’intérêt présent et sensible ; car la prévoyance n’était rien pour eux, et loin de s’occuper d’un avenir éloigné, ils ne songeaient pas même au lendemain. S’agissait-il de prendre un cerf, chacun sentait bien qu’il devait pour cela garder fidèlement son poste ; mais si un lièvre venait à passer à la portée de l’un d’eux, il ne faut pas douter qu’il ne le poursuivit sans scrupule, et qu’ayant atteint sa proie, il ne se souciât fort peu de faire manquer la leur à ses compagnons.
Il est aisé de comprendre qu’un pareil commerce n’exigeait pas un langage beaucoup plus raffiné que celui des corneilles ou des singes, qui s’attroupent à peu près de même. (Rousseau 1755)

25Un premier type de modèle considère l’apprentissage comme un phénomène cognitif individuel reposant sur les croyances individuelles et la capacité des individus à agir optimalement suivant leurs croyances. Ainsi, on peut supposer que l’agent se souvient des fréquences auxquelles les différentes stratégies ont été utilisées par ses partenaires/adversaires dans les parties précédentes et croit que, dans la partie prochaine, ceux-ci vont tirer au sort leurs stratégies suivant ces fréquences. Si tous les individus se comportent ainsi, on obtient le modèle de base de cette catégorie, modèle dit de fictitious play. Il s’agit d’un modèle de rationalité partielle. D’une part, comme dans les modèles éductifs, on suppose que les individus sont capables de trouver la meilleure réponse aux stratégies des autres joueurs. D’autre part, on accepte que les individus aient des croyances erronées : chaque joueur croit que les autres jouent statistiquement comme par le passé alors qu’en fait ils jouent une meilleure réponse que celle prévue par cette statistique.

  • 5 Par souci de simplification nous confondons ici les notions d’action et de stratégie pure.

26Un second type de modèle raisonne en termes de populations, chaque joueur rencontrant aléatoirement des partenaires pour jouer le jeu de base. Même si l’adaptation individuelle est brutale (s’il n’y a par exemple que deux actions individuellement possibles), chacun baigne dans un environnement où les actions sont utilisées dans des proportions plus ou moins grandes. Formellement, ces proportions définissent des stratégies mixtes, terme habituellement employé pour signifier qu’un joueur tire au sort l’action5 qu’il utilise, avec des probabilités qu’il choisit. Trois interprétations des mêmes modèles formels sont généralement possibles. On peut d’abord imaginer que chaque « individu » vit indéfiniment et essaye les différentes actions disponibles de manière aléatoire, mais avec des fréquences qu’il fait évoluer dans le temps, en ayant tendance à utiliser de plus en plus fréquemment les actions efficaces et en délaissant progressivement celles qui ne le sont pas (apprentissage comportemental individuel). Il est ensuite possible de considérer que chaque « individu » est porteur d’une et une seule stratégie et qu’il ne vit pas indéfiniment, mais se reproduit (à l’identique sauf mutation) en relation avec l’efficacité de sa stratégie (apprentissage comportemental collectif). Une troisième interprétation est souvent possible, où l’imitation remplace la reproduction : les individus peuvent changer de stratégies en ayant tendance à adopter les stratégies de leurs congénères les plus en réussite (apprentissage comportemental mimétique).

27Dans tous les cas, il est clair que la rationalité des joueurs est ici conçue comme essentiellement adaptative, au sens où ces derniers réagissent aux informations passées en ajustant les paramètres de leurs règles de comportement, et s’avère donc très différente de la rationalité classique. Un bon exemple de ces modèles est l’apprentissage par renforcement. Un individu a une propension à utiliser la stratégie x qui est croissante avec l’efficacité de x dans le passé. Cet apprentissage est typiquement comportemental et ne nécessite pas que l’individu ait conscience de jouer un jeu. L’apprentissage par renforcement suppose que chaque joueur détermine un index de la performance passée de chaque stratégie et détermine son choix en favorisant les stratégies les plus performantes. Le modèle de base est la règleprobabiliste de renforcement cumulatif (« CPR »). Introduite par Bush et Mosteller (1955), cette règle a été utilisée selon différentes variantes pour rendre compte de données expérimentales par Roth et Erev (1995) et elle est étudiée du point de vue théorique par Laslier, Topol et Walliser (2001). Par définition, la règle CPR consiste à choisir la stratégie x avec une probabilité proportionnelle à l’utilité cumulée totale que x a rapportée dans le passé à l’individu. On voit qu’elle réalise un certain compromis entre exploration et exploitation puisque, d’une part, toute stratégie pure possède à chaque instant une probabilité non nulle d’être réutilisée – même si elle semble peu efficace – (exploration) et que, d’autre part, les stratégies efficaces sont renforcées et utilisées de plus en plus souvent (exploitation).

28Les modèles de l’apprentissage dans les jeux répétés étant dynamiques dans leur conception, leur théorisation comprend l’étude de certaines dynamiques explicites et des concepts de stabilité des équilibres.

29La dynamique la plus standard est la « dynamique de replication », une dynamique déterministe dans l’espace des stratégies mixtes qui exprime précisément que le taux de variation instantané de la fréquence d’utilisation p(x) d’une stratégie x est proportionnel à la différence entre le paiement actuel de la stratégie x et le paiement actuel moyen des stratégies utilisées. L’équation peut s’écrire :

t(x) = υpt(x) [u(x, pt)-u(pt, pt)]

30Dans cette expression, p’(x) est la fréquence d’utilisation de la stratégie x à la date t, υ est une constante et u(x, pt) désigne le paiement (ou utilité) moyen obtenu par l’usage de la stratégie x dans un environnement caractérisé par les fréquences pt. Par définition :

31et u(pt, pt) est le paiement moyen en date t :

32Le concept de stabilité le plus connu est celui de « stabilité évolutionnaire ». Une stratégie x est évolutionnairement stable si elle vérifie la propriété suivante. Dans une situation où x est seule jouée, l’apparition en faible proportion ℰ d’une stratégie alternative y a pour conséquence de créer un milieu de la forme :

(1-ԑ) x+ԑy

33avec ε petit. Dans ce milieu légèrement perturbé, la stratégie alternative y fait-elle mieux que le standard x ? Si oui, y peut prospérer et on dit que y déstabilise x. Au contraire, si x ne peut être déstabilisé par aucun y, on dit que x est évolutionnairement stable.

34La théorie de l’apprentissage dans les jeux répétés a apporté, à des niveaux différents, trois enseignements principaux.

  • 6 Voir Weibull (1995), Samuelson (1997) Fudenberg et Levine (1998).
  • 7 Si x et y sont deux stratégies du même joueur, on dit que x domine y si x fait mieux que y pour le (...)

35Le premier enseignement est une réponse à la critique d’hyperrationalité souvent exprimée à l’encontre de la théorie des jeux classique. En effet, les processus dynamiques d’apprentissage individuel ou collectif faiblement rationnel ont souvent – mais pas toujours – la propriété de converger plus ou moins rapidement vers des états stationnaires qui sont précisément les équilibres de la théorie fondée sur une rationalité forte6 L’apprentissage réactif et myope, par essais et erreurs, peut souvent aboutir au même résultat que la réflexion logique. Dans cette veine, il suffit d’hypothèses relativement faibles sur la dynamique d’apprentissage pour démontrer que celle-ci élimine à long terme l’usage de stratégies « dominées », un critère de rationalité classiquement considéré comme peu exigeant7 Cependant, cette réponse à la critique d’hyperrationalité doit elle-même être prise avec précaution. Dans l’exemple présenté plus haut du jeu de la confiance répétée, on a vu que la considération de l’équilibre parfait en sous-jeu pouvait ne capturer qu’imparfaitement certaines intuitions sur l’apprentissage en cours de partie et ne correspondait guère aux observations réelles. Or, on peut montrer que dans ce genre de jeux, l’équilibre parfait en sous-jeu correspond précisément à l’élimination itérative des stratégies dominées. La stabilité évolutionnaire fait donc ici exactement la même chose que l’équilibre parfait en sous-jeu. Cependant, l’hyperrationalité peu plausible des raisonnements conditionnels croisés des agents superintelligents est remplacée par des temps de convergence tellement grands qu’ils perdent tout réalisme. Plus important, le comportement de moyen ou long terme peut être qualitativement très différent du comportement d’équilibre. Le problème provient du fait de ne s’intéresser qu’à des notions d’équilibre (ou de stabilité) au lieu de s’intéresser à des processus temporels de convergence dont on puisse étudier les trajectoires et pas seulement les limites.

36Deuxième enseignement : bien souvent, pour que la coopération émerge, il n’est nul besoin d’une rationalité de type supérieur qui transcende l’intérêt individuel. Au contraire, une infrarationalité, adaptative et non spéculative, peut suffire à établir durablement la coordination, voire la coopération. Si on reprend le tout premier exemple donné plus haut, dans lequel il existe un problème de coordination entre deux équilibres de Nash, procurant respectivement les paiements (15,10) et (5,20), la coévolution adaptative des deux joueurs-espèces A et B résout ce problème de coordination (convergence vers l’équilibre évolutionnairement stable dont les paiements sont (15,10)). Plus intéressant encore, si on envisage de répéter le jeu de la confiance répétée, on obtient qu’à moyen terme les joueurs adaptatifs n’apprennent pas à « trahir immédiatement ». Au contraire, dans une première phase d’apprentissage, la coopération lors des premiers coups se renforce. C’est seulement dans le long (voire le très long) terme que l’environnement devient tel que la coopération dans les premiers coups ne se renforce plus. À moyen terme, la structure de coopération-défection ressemble à ce qui est observé en laboratoire : même si beaucoup de gens ne vont pas jusqu’au bout, presque personne ne stoppe immédiatement.

37Le troisième enseignement repose sur des idées qui n’ont été qu’effleurées dans ce texte. Il s’agit de la proposition selon laquelle le langage lui-même peut apparaître initialement comme un ensemble non structuré de signaux dépourvu de « signification » au sens fort, mais qu’il est efficace de suivre. Cet infralangage peut fort bien être employé par des entités très peu rationnelles. Contrairement à l’intuition et contrairement aussi à ce que pensait Rousseau, un langage guère plus raffiné « que celui des corneilles ou des singes » permet une coordination efficace. On voit que, en ne postulant pas une rationalité très sophistiquée des joueurs, ces théories évolutionnistes touchent à toute une série de questions philosophiques profondes, par exemple la question de l’émergence de capacités de communication suffisantes pour soutenir des coopérations et celle de la relation entre capacités cognitives et langagières. Les thèmes de la coévolution des espèces, de la stabilité de la coopération, de l’apparition du langage sont actuellement des interrogations brûlantes de la théorie des jeux évolutionniste et de l’apprentissage collectif.

  • 8 Voir Sugden (1986), Skyrms (1996), Young (1998).

38On peut donc retenir que la théorie de l’apprentissage comportemental dans les jeux participe de la découverte du fait que le travail du temps et la répétition de processus adaptatifs simples suffisent à créer des structures relativement complexes. Ainsi, ces théories ont conduit à quelques réflexions remarquables à propos de la genèse des conventions et des institutions8

39Mais il importe de souligner les limites actuelles de ces résultats et théories. Tout d’abord, la théorie suppose toujours un environnement structurel (actions disponibles, caractéristiques fondamentales des joueurs...) qui reste stable sur de longues périodes. Ensuite, les modèles ne sont généralement opératoires que pour des « petits » jeux ne nécessitant pas de stratégies trop complexes. Par exemple, la théorie n’a pas de pertinence opératoire réelle si elle démontre qu’on trouve nécessairement une stratégie optimale aux échecs en jouant au hasard et en renforçant les coups qui ont gagné dans le passé. La complexité combinatoire des échecs rend les théorèmes de convergence non pertinents simplement parce que les temps de convergence sont trop longs dans ce cas.

40Une analogie avec la théorie économique est ici utile. La théorie de l’auto-organisation en économie permet de comprendre comment se forment les prix sur des marchés simples et fournit une théorie de l’équilibre partiel basée sur l’existence d’agents économiques adaptatifs qui interagissent de façon répétée (Lesourne 1991, Lesourne, Orléan et Walliser 2002). Mais elle peine à fournir une théorie semblable de l’équilibre général, quand de nombreux marchés interfèrent les uns avec les autres. De la même manière, la sophistication des comportements et des langages humains nécessite une explication supplémentaire, par rapport aux constatations précédentes, qui permette d’empiler les niveaux de complexité (Lesourne 1976).

Bibliographie

Références bibliographiques

Bush R., Mosteller F. 1955. Stochastic Models for Learning. New York, Wiley.

Fudenberg D., Levine D. K.. 1998. The Theory of Learning in Games. Cambridge (É.-U.), MIT Press.

Fudenberg D., Tirole J. 1991. Game Theory. Cambridge (É.-U.), MIT Press.

Laslier J.-F., Topol R., Walliser B. 2001. « A Behavioral Learning Process in Games ». Games and Economic Behavior, 37 : 340-366.

Lesourne J. 1976. Les systèmes du destin. Paris, Dalloz.

— 1991. Économie de l’ordre et du désordre. Paris, Economica.

Lesourne J., Orléan A., Walliser B. (dir.). 2002. Leçons de microéconomie évolutionniste. Paris, Éditions Odile Jacob.

McKelvey R. D., Palfrey T. R. 1992. « An Experimental Study of the Centipede Game ». Econometrica, 60 : 803-836.

Roth A., Erev D. 1995. « Learning in Extensive Form Games : Experimental Data and Simple Dynamic Models in the Intermediate Term ». Games and Economic Behavior, 8 : 164-212.

Rousseau J.-J. 1755. Discours sur l’origine et les fondements de l’inégalitéparmi les hommes, in Ecrits politiques. Le Livre de poche, 1992.

Samuelson L. 1997. Evolutionary Games and Equilibrium Selection. Cambridge (É.-U.), MIT Press.

Skyrms B. 1996. Evolution of the Social Contract. New York, Cambridge University Press.

Sugden R. 1998. « Normative Expectations : The Simultaneous Evolution of Institutions and Norms ». In A. Benner, L. Putterman (dir.), Economics, Values, and Organizations, Cambridge (R.-U.), Cambridge University Press.

Weibull J. 1995. Evolutionary Game Theory. Cambridge (É.-U.), MIT Press.

Young H. P 1998. Individual Strategy and Social Structure, An Evolutionary Theory of Institutions. Princeton, Princeton University Press.

Notes

1 Contrairement aux jeux non coopératifs, dans les « jeux coopératifs », la spécification des actions et résultats possibles n’est pas faite au niveau individuel mais au niveau des groupes d’agents (dits « coalitions ») envisageables. Nous n’abordons pas ici la théorie des jeux coopératifs et laissons par exemple de côté une problématique classique de l’apprentissage dans les jeux coopératifs qu’est la question de la formation endogène des coalitions.

2 Les paiements sont en dollars américains de 1990.

3 La prédiction d’équilibre parfait en sous-jeu est fausse à 99 % !

4 Voir Fudenberg et Tirole (1991).

5 Par souci de simplification nous confondons ici les notions d’action et de stratégie pure.

6 Voir Weibull (1995), Samuelson (1997) Fudenberg et Levine (1998).

7 Si x et y sont deux stratégies du même joueur, on dit que x domine y si x fait mieux que y pour le joueur en question, quoi que fassent les autres joueurs.

8 Voir Sugden (1986), Skyrms (1996), Young (1998).

Table des illustrations

URL http://books.openedition.org/editionsmsh/docannexe/image/9456/img-1.jpg
Fichier image/jpeg, 17k
Légende Figure 2 – Jeu de la confiance répétée (Jeu 3)
URL http://books.openedition.org/editionsmsh/docannexe/image/9456/img-2.jpg
Fichier image/jpeg, 19k
Titre Tableau 2 – Probabilités d’arrêt observées dans un mille-pattes
URL http://books.openedition.org/editionsmsh/docannexe/image/9456/img-3.jpg
Fichier image/jpeg, 24k
Légende Figure 3 – Jeu du mille-pattes à six pattes (Jeu 4)
URL http://books.openedition.org/editionsmsh/docannexe/image/9456/img-4.jpg
Fichier image/jpeg, 28k
URL http://books.openedition.org/editionsmsh/docannexe/image/9456/img-5.jpg
Fichier image/jpeg, 13k
URL http://books.openedition.org/editionsmsh/docannexe/image/9456/img-6.jpg
Fichier image/jpeg, 13k

Auteur

Directeur de recherches de l’École polytechnique
jean.françois.laslier@shs. polytechnique.fr

© Éditions de la Maison des sciences de l’homme, 2008

Conditions d’utilisation : http://www.openedition.org/6540