Version classiqueVersion mobile
OpenEdition Books

Les méthodes d’analyse d’enquêtes

 | 
Philippe Cibois

Annexe au chapitre V : algorithme du maximum de vraisemblance

Texte intégral

1Ici encore nous proposons pour le lecteur qui veut ouvrir la « boite noire » de l’algorithme qui permet de calculer les éléments d’une régression logistique une présentation qui lui permettra d’en comprendre la logique. L’algorithme utilisé est dit du maximum de vraisemblance. Pour en comprendre la logique nous commencerons par un apologue.

Chicago

  • 1 R. A. Fisher, Contributions to Mathematical Statistics, New York, Wiley, 1950.

2Nous sommes à Chicago dans un salon de jeu où l’on parie sur la sortie d’un six aux dés. Au bout de 83 coups, le six est sorti 19 fois. Est-ce suspect aux yeux de la police des jeux ? Pour en avoir le cœur net, les inspecteurs Neyman et Pearson appliquent le test du khi-deux avec une proportion théorique de 1/6 pour le six et de 5/6 pour les autres cas. Cela donne un khi-deux à un degré de liberté de 2,3 inférieur au seuil critique à 10 % qui est de 2,7. Donc pas de dé pipé, pas d’infraction. Pourtant le commissaire Fisher se pose une question : est-ce que les données que nous avons sous les yeux ne nous conduisent pas à supposer une proportion de sortie du six différente de 1/6 et plus vraisemblable ? Pour cela il propose d’utiliser la méthode mise au point par son homonyme statisticien1.

3Dans le cas présent, le dé est peut-être truqué et la proportion de 1/5 ne serait-elle pas plus vraisemblable que celle de 1/6 ? Pour répondre à cette question on compare les probabilités de la situation observée selon les deux hypothèses.

4La probabilité de 19 sorties d’un six au jeu de dé qui aurait une probabilité inconnue θ sur 83 tirages est de kθ19 (1 – θ)83-19 k est le nombre de manières différentes d’avoir 19 événements six dans 83 tirages soit le nombre 83 ! / 19 ! (83 – 19) ! (c’est-à-dire le nombre de pascal (1983)).

51) Hypothèse 1/6 notée H6. La probabilité de l’éventualité observée dans cette hypothèse est de (1/6)19 (1 – 1/6)83-19 = 1.4045 10-20.

62) Hypothèse 1/5 notée H5. La probabilité de l’éventualité observée dans cette hypothèse est de k (1/5)19 (1 – 1/5)83-19 = 3.2910 10-20.

7Le rapport des probabilités de H5 par rapport à H6 est : k 3.2910 10-20 / k 1.4045 10-20 soit 2.3 et l’on dit donc que H5 est plus de deux fois vraisemblable que H6 puisque les rapports des probabilités sont dans ce rapport. On préférera donc H5 à H6 mais une autre hypothèse sera peut-être encore plus vraisemblable. Notons bien qu’à l’inverse de ce qui se fait classiquement où l’on teste des données par rapport à une hypothèse, ici on fait varier les hypothèses pour un jeu de données fixe.

8Le rapport des probabilités prises deux à deux est appelé rapport de vraisemblance. Par convention on prend comme dénominateur le cas le plus vraisemblable qui a pour paramètre θexact et pour probabilité θexact19 (1 – θexact)83-19. La probabilité individuelle du cas observé est fonction de θ qui est le paramètre recherché et égal à θ19 (1 – θ)83-19. Pour trouver la valeur de θ qui maximise le rapport à la valeur 1 qui sera obtenue quand θ = θexact on a à maximiser le rapport suivant :

θ19 (1 – θ)83-19  / θexact19 (1 – θexact)83-19

9ce rapport se simplifie par k et comme θexact est fixé (bien qu’inconnu), le rapport peut s’écrire :

(1 / (θexact19 (1 – θexact)83-19)) x (θ19 (1 – θ)83-19).

10Le premier terme est constant et pour maximiser le rapport, il suffit de maximiser le deuxième terme : θ19 (1 – θ)83-19. Cette quantité est appelée vraisemblance et en général nommée L (comme Likelihood, vraisemblance) :

L = θ19 (1 – θ)83-19.

11On notera que ce produit est égal au produit de tous les coups joués : les 19 de probabilité θ et les (83 – 19) de probabilité (1 – θ). Ces événements étant indépendants, la probabilité de l’ensemble est égale au produit des probabilité individuelles θ θ θ θ θ [19 fois] (1 – θ) (1 – θ) (1 – θ) [83 – 19] fois. Cette situation est générale, la vraisemblance est toujours le produit des probabilités de chacun des cas observés.

12Pour deux raisons allant dans le même sens, on ne cherche pas à maximiser cette expression mais son logarithme naturel qui rend maximum θ au même moment :
1/ parce que le calcul est plus simple : log(L) = 19 log(θ) + (83 – 19) log(1 – θ) est une expression simple à maximiser. Cette première raison est traditionnelle mais perd de sa valeur avec l’informatique ;
2/ log (L), expression appelée la log-vraisemblance, a d’autres propriétés intéressantes en rapport avec ce qu’on appelle information ou entropie. À un facteur – 2 près, la log-vraisemblance est proche du khi-deux.

13On peut maximiser directement log(L). Si un essai fait augmenter log(L), nous sommes automatiquement dans la bonne direction, si nous montons puis que la tendance s’inverse, c’est que nous sommes passés par le maximum. Cette propriété est vraie même quand plusieurs paramètres sont à explorer (sauf minimum local, il faut donc prendre au départ des valeurs proches du résultat final).

14Soit plusieurs valeurs de θ (croissantes par pas de 0,05) et ce qu’elles donnent pour log(L) :

θ

log(L)

0,10

– 50,5

0,15

– 46,4

0,20

– 44,9

0,25

– 44,8

0,30

– 45,7

0,35

– 47,5

0,40

– 50,1

15On voit que le maximum se situe pour des valeurs de θ comprises entre 0,20 et 0,30.

16Il suffit de refaire l’expérience précédente en prenant un incrément plus petit (pas de 0,01 pour θ) et une précision plus grande pour le résultat :

θ

log(L)

0,20

– 44,86

0,21

– 44,74

0,22

– 44,67

0,23

– 44,65

0,24

– 44,68

0,25

– 44,75

(inutile de continuer)

17Le maximum correspond à des valeurs situées entre 0,22 et 0,24.

18Recommençons le processus (pas de 0,005) :

θ

log(L)

0,220

– 44,670

0,225

– 44,655

0,230

– 44,651

0,235

– 44,660

0,240

– 44,679

19Le maximum correspond à des valeurs situées entre 0,225 et 0,235.

20Prenons 0,23 comme valeur a deux décimales : l’algorithme du maximum de vraisemblance nous a permis de trouver la valeur la plus vraisemblable. Évidemment, pour ce cas, il existe une méthode plus simple, la moyenne, puisque cette valeur est simplement égale à 19/83 mais l’algorithme est utilisable quand ce calcul direct n’est pas possible ce qui arrive quand on a plusieurs paramètres à estimer et que leur liaison n’est pas linéaire. C’est ce que nous allons faire maintenant avec la recherche des paramètres d’une régression logistique.

Application

21Reprenons les données du début du chapitre V où l’on veut expliquer le choix du niveau style éducatif en fonction du sexe et du niveau d’étude (données du tableau 11, chapitre V section I).

22Le calcul est fait de la manière suivante : on a ici trois paramètres à trouver, celui de l’effet féminin (le sexe masculin est de référence), l’effet du niveau supérieur (le niveau inférieur est de référence) et la situation de référence (masculin, niveau inférieur). Pour initier l’algorithme, on part des valeurs données par l’analyse tabulaire dont on a constaté qu’elles étaient toujours proches de celles données par la régression logistique. Ces valeurs sont les suivantes :
– situation de référence masc., inf. (observée) : 13,3 % ;
– effet féminin : 5,1 % ;
– effet Niveau supérieur d’études : 6,4 %.

23Puisque nous passons en régression logistique, il faut passer aux chances (pour la références) et aux rapports de chances (Odds Ratios) pour les deux effets.

24Chances de la référence : la proportion est p = 0,133 et les chances sont p / (1 – p) = 0,1534.

25Pour les deux effets, il s’agit du rapport des chances de la situation avec effet féminin, aux chances de la référence précédemment calculée.

26La proportion dans le cas féminin est égale à la référence 0,133 + l’effet féminin 0,051 = 0,184. Les chances correspondantes sont 0,184 / (1 – 0,184) = 0,2255. L’OR correspondant = 0,2255 / 0,1534 = 1,4700. Le même calcul pour l’OR de niveau supérieur donne 1,5991.

27L’algorithme consiste à calculer la vraisemblance correspondante aux données puis à faire varier un par un les paramètres : si la vraisemblance augmente, il faut continuer à faire varier les paramètres, si elle ne bouge plus car arrivée à son maximum, les paramètres sont maintenant les bons.

28Comme le tableau des données (tableau 11) a huit cases, nous n’avons que 8 situations élémentaires, chacune devant être répétée autant de fois que l’effectif de la case correspondante. Nous allons utiliser à cette fin un tableur :

Tableau 18. – Algorithme : étape initiale

ChRef

OR

OR

0,15

1,47

1,60

Nouv
Style

Fém.

Niveau
Sup.

Effectif

Produits
ChxOR

Prop.

Ln (Prop.)

Log × Eff

1

1

1

1

1

1

0

0

1

0

1

0

  31

  28

  23

  18

0,3528

0,2205

0,2400

0,1500

0,261

0,181

0,194

0,130

– 1,3440

– 1,7111

– 1,6422

– 2,0369

– 41,665

– 47,911

– 37,771

– 36,664

0

0

0

0

1

1

0

0

1

0

1

0

  94

115

  86

117

0,739

0,819

0,806

0,870

– 0,3022

– 0,1993

– 0,2151

– 0,1398

– 28,405

– 22,915

– 18,500

– 16,352

Total

512

LogVrais=

– 250,183

29En tête on trouve les 3 paramètres avec des valeurs arrondies. Ce sont les chances de la référence et les OR des deux effets féminin et niveau sup.

30Chaque ligne correspond à une ligne du tableau des données : la première ligne correspond à la case d’effectif 31 : féminin, niveau supérieur ayant choisi le nouveau style éducatif (les 1 et les 0 correspondent au choix ou au non-choix).

31La colonne « produit » correspond au produit des chances de la référence avec les effets présents. Pour la première ligne 0,15 × 1,47 × 1,60 = 0,3528.

32À partir de la formule « p issue des chances » on tire la proportion estimée = 0,3528 / 1,3528 = 0,2608.

33On fait de même pour les 4 premières lignes qui correspondent au choix du nouveau style. Pour les 4 lignes suivantes où ce choix n’est pas fait, la proportion est le complément à 1 de la ligne correspondante.

Féminin – Niveau sup. Nouveau style p = 0,2608
Féminin – Niveau sup. Ancien style p = 1 – 0,2606 = 0,7392

34Comme la vraisemblance est le produit de toutes les proportions (31 fois la première × 28 fois la seconde, etc.), la log-vraisemblance est calculée plus facilement en prenant le logarithme naturel de chaque proportion et en le multipliant par l’effectif. La somme de toutes les lignes donne la log-vraisemblance globale. Elle est négative ce qui veut dire qu’une croissance fera diminuer la valeur absolue.

35Avec les paramètres initiaux, la log-vraisemblance est égale à – 250,183.

36Nous allons faire varier les paramètres initiaux et examiner si la log-vraisemblance monte ou diminue. Si elle monte, on continue, si elle baisse, on revient en arrière.

37La situation est comparable à celle d’un randonneur qui monterait sur un dôme volcanique régulier dans le brouillard. Tant qu’il monte, il est dans la bonne direction, s’il descend, c’est qu’il est sur un flan et il doit changer de direction (équivalent de changer de paramètre). Quand dans toutes les directions, il ne monte plus, c’est qu’il est au sommet.

38Nous allons faire de même (mais le déroulement complet de l’algorithme doit être programmé). Commençons par faire évoluer le paramètre du niveau supérieur :

OR

NivSup.

Log-Vraisemblance

Début

1,60

– 250,183

– 0,01

1,59

– 250,185

Décroissance Stop

+ 0,01

1,61

– 250,182

Croissance

+ 0,01

1,62

– 250,182

Palier : Stop. Changement de paramètre

Chances

référence

Début

0,150

– 250,182

– 0,001

0,149

– 250,200

Décroissance Stop

+ 0,001

0,151

– 250,168

Croissance

+ 0,001

0,152

– 250,158

Croissance

+ 0,001

0,153

– 250,151

Croissance

+ 0,001

0,154

– 250,147

Croissance

+ 0,001

0,155

– 250,147

Palier : Stop. Changement de paramètre

OR

Féminin

Log-Vraisemblable

Début

1,47

– 250,147

– 0,01

1,46

– 250,140

Croissance

– 0,01

1,45

– 250,135

Croissance

– 0,01

1,44

– 250,131

Croissance

– 0,01

1,43

– 250,131

Palier : Stop

39Bien que les trois paramètres aient été pris en compte, l’algorithme n’est pas terminé car il faut reprendre le premier paramètre avec les valeurs des autres jusqu’à fixité des trois, puis augmenter la précision en prenant des incréments plus faibles.

40À la fin on a la situation suivante qui correspond à ce que donnent les programmes.

Tableau 19. – Algorithme : état final

ChRef

OR

OR

0,166

1,389

1,506

Nouv
Style

Fém.

Niveau
Sup.

Effectif

Produits
ChxOR

Prop.

Ln (Prop.)

Log × Eff

1

1

1

1

1

1

0

0

1

0

1

0

  31

  28

  23

  18

0,347244

0,230574

0,249996

0,166000

0,258

0,187

0,200

0,142

– 1,3558

– 1,6747

– 1,6095

– 1,9493

– 42,029

– 46,891

– 37,017

– 35,088

0

0

0

0

1

1

0

0

1

1

1

1

  94

115

  86

117

0,742

0,813

0,800

0,858

– 0,2981

– 0,2075

– 0,2231

– 0,1536

– 28,018

– 23,860

– 19,190

– 17,969

Total

512

LogVrais=

– 250,062

41À partir des valeurs de ces paramètres, on peut retrouver par les formules vues les proportions et les effets.

42L’originalité de cet algorithme du maximum de vraisemblance réside dans le fait que les estimations ne sont pas faites directement à partir des données mais en trouvant les valeurs les plus compatibles avec les données : l’algorithme fait intervenir les données à chaque étape.

Notes

1 R. A. Fisher, Contributions to Mathematical Statistics, New York, Wiley, 1950.

Table des illustrations

Légende Figure 19
URL http://books.openedition.org/enseditions/docannexe/image/1473/img-1.png
Fichier image/png, 632 octets
Légende Figure 20
URL http://books.openedition.org/enseditions/docannexe/image/1473/img-2.png
Fichier image/png, 830 octets
Légende Figure 21
URL http://books.openedition.org/enseditions/docannexe/image/1473/img-3.png
Fichier image/png, 957 octets

Acheter

Volume papier

Chargement

Unavailable