Chapitre 10
Estimations à partir de données incomplètes
p. 325-338
Texte intégral
1Nous supposons dans ce chapitre que nous disposons de données incomplètes, publiées à la suite d’un recensement ou d’une enquête sur des effectifs de migrants, de déplacements temporaires ou de navettes. Nous désirons utiliser cette information au mieux en vue d’estimer l’ensemble des flux non mesurés. Avant d’aborder les hypothèses qui permettent cette estimation, nous présentons un certain nombre d’exemples pratiques où cette estimation est nécessaire.
2Prenons d’abord le cas où les flux entre chaque couple de zones d’un territoire n’ont pas été calculés et où l’on connaît uniquement le total des immigrants vers chaque zone et le total des émigrants de chacune. Si n est le nombre de zones du territoire, on ne connaît que 2n effectifs, alors que l’on désire en estimer n2. Par exemple, en travaillant sur les 95 départements français, on conçoit que les données d’un sondage puissent nous donner 190 effectifs d’immigrants et d’émigrants, mais qu’il soit trop coûteux de calculer les 9 025 flux entre chaque couple de départements. Si une étude ultérieure nécessite la connaissance de ces 9 025 flux, comment les estimer au mieux à partir des 190 effectifs connus ?
3Prenons ensuite le cas où l’on dispose, en plus des informations précédentes, de données d’un recensement antérieur qui nous donnent les 9 025 flux entre chaque couple de départements. Cette information peut sans doute apporter une amélioration des flux estimés précédemment à partir des effectifs d’immigrants et d’émigrants. Comment, dans ce cas, utiliser cette nouvelle information ?
4Prenons enfin le cas où l’on dispose bien de 9 025 flux mesurés lors du sondage, mais où la répartition par âge n’est détaillée que pour les effectifs d’immigrants et d’émigrants de chaque zone. Il s’agit donc d’estimer la répartition par âge de chacun des 9 025 flux entre départements.
5Le problème que nous cherchons à résoudre peut donc se présenter sous des formes différentes. Nous allons d’abord chercher une solution lorsque ce problème se présente sous sa forme la plus simple, avant de traiter de cas plus complexes.
I. Estimation d’une matrice connaissant ses marges
6Nous allons d’abord traiter un cas pratique simple avant d’aborder le problème sous sa forme plus générale. Supposons que l’on connaisse les marges de la matrice représentée dans le tableau 103, où l’on suppose qu’il existe des flux internes et externes aux zones considérées.
7Comme on connaît le total des départs et des arrivées de chaque zone, il n’est pas possible de choisir arbitrairement chacun des flux entre zones. Ainsi, si l’on suppose que 11 est égal à 3, cela implique, pour que toutes les marges soient vérifiées, que :
821 = 0 et 12 = 1 d’où 22 = 1
9On voit encore que si l’on suppose 11 = 2, il y a possibilité d’estimer :
1012 = 2 21 = 1 et 22 = 0
11Toute autre valeur donnée à 11 conduit à une impossibilité. Ainsi par exemple si l’on pose 11 = 1, on voit que 21 doit être égal à 2, ce qui est une contradiction avec le fait que 21 + 22 = 1. On a donc les deux matrices possibles de flux :
12Pour choisir entre ces deux matrices, il faut faire une hypothèse supplémentaire. On suppose que chacune de ces matrices correspond à un macro-état qui est lui-même généré par des micro-états induits par les individus migrants eux-mêmes. Si l’on désigne ces cinq individus par m1, m2, m3, m4 et m5, on voit par exemple que les trois individus composant 11 dans la matrice MA peuvent être choisis de nombreuses façons différentes :
13(m1, m2, m3) ou (m1, m2, m4) ou (m3, m4, m5) etc.
14Si l’on fait l’hypothèse que chacun de ces micro-états est équiprobable, il devient possible d’estimer les probabilités des macro-états. Ainsi, le nombre de choix possibles des trois individus composant 11 est égal à :
15où le signe ! indique que l’on prend la factorielle du nombre considéré :
16Ensuite, comme il ne nous reste plus que deux individus, le nombre de choix possibles devient :
17Le dernier individu est forcément compté dans le dernier flux non nul. On voit donc qu’il y a :
18soit vingt possibilités de former à partir des cinq individus la matrice MA.
19De la même façon, il y aura :
20soit trente possibilités de former la matrice MB. On voit donc que les deux matrices n’ont pas la même probabilité d’être observées, la matrice MB ayant une fois et demie plus de chance d’être correcte que la matrice MA. Dans ce cas, on prendra comme estimation la plus probable la matrice MB.
21L’hypothèse d’équiprobabilité de chacun des micro-états est la plus vraisemblable dans le cas où l’on n’a aucune autre information sur les flux préférentiels entre zones.
22Plaçons-nous maintenant dans le cas le plus général où l’on a n zones et où l’on ne connaît que 2n nombres d’immigrants et d’émigrants de ces zones. À chacune de ces distributions de flux {ij} qui vérifient les conditions aux marges :
23on peut calculer le nombre de micro-états qui leur correspond :
24où représente le produit pour toutes les valeurs i et j. Pour trouver la distribution qui conduit au plus grand nombre de micro-états possible, il est plus simple de travailler sur le logarithme népérien de W. Comme cette fonction est monotone, son maximum correspond à celui de W.
25Dans la mesure où les flux ij sont suffisamment importants, on peut remplacer ij ! par son approximation de Stirling :
26et l’on peut alors écrire, en éliminant les termes constants :
27La solution du problème de maximisation de nW sous les contraintes précédentes conduit à l’utilisation de multiplicateurs de Lagrange :
28On montre que L est maximum si les trois systèmes d’équations suivants sont vérifiés :
29On vérifie facilement qu’un tel système a une solution très simple :
30Le flux de migrants entre i et j le plus probable est égal au produit du nombre d’émigrants de i par le nombre d’immigrants en j, divisé par le total des migrants observés.
31Notons qu’une telle solution fait intervenir simultanément les migrations internes aux zones ii et les migrations externes ij, où i ≠ j. Or on sait que les unes et les autres se produisent avec des probabilités très différentes. Dans ce cas, il est préférable de laisser de côté les migrations internes, ce qui revient à poser ii = 0. Le système s’écrit alors :
32Ce système est plus complexe à résoudre que le précédent. On peut y parvenir par approximations successives (Tugault, 1970, p. 59-68), en répartissant les effectifs marginaux des arrivées proportionnellement aux totaux marginaux des départs :
33Par construction, ces valeurs sont telles que la condition :
34soit vérifiée. C’est donc maintenant sur les totaux marginaux des départs que la condition n’est pas assurée. Appelons la somme suivante :
35Cela conduit pour assurer la cohérence des départs à une seconde itération :
36C’est alors sur les arrivées que la cohérence n’est plus assurée. On recommence donc l’opération précédente sur les arrivées :
37et ainsi de suite jusqu’à ce que l’on obtienne la convergence au degré de précision désiré.
38Cette méthode a été appliquée à titre d’exemple aux changements de classe de localité en France pour le groupe d’âges 25-34 ans en 1962. Le tableau 104 présente les effectifs réellement observés.
39Avec la méthode présentée ici, on a estimé les flux de migrants entre classes à partir des effectifs marginaux du tableau 104. Le tableau 105 donne le rapport entre les effectifs observés et les effectifs estimés, que l’on appellera « indice de liaison ».
40L’examen des résultats portés au tableau 104 montre que cette méthode estime le flux avec une bonne précision. L’écart maximal est de 20 % et concerne les flux de l’agglomération parisienne vers les grandes villes, dont l’estimation est plus faible que la valeur réelle, ou les flux de l’agglomération parisienne vers les petites villes, dont l’estimation est plus forte que la valeur réelle.
II. Généralisation de cette méthode à des cas plus complexes
1. Premier cas
41Nous allons d’abord traiter des cas de complexité croissante avant d’aborder le problème dans sa généralité.
42Supposons d’abord que l’on connaisse la matrice des flux de migrants pour l’ensemble de la population, mais que le recensement ne fournit, par sexe, que les départs et les arrivées dans les diverses zones. Soit ijk le flux de migrants que l’on cherche à estimer entre les zones i et j, migrants dont le sexe est k (masculin ou féminin).
43Utilisant toujours l’hypothèse d’équiprobabilité des différents micro-états correspondant à chaque macro-état possible, un raisonnement identique à celui du paragraphe précédent nous conduit à chercher le maximum de la quantité :
44sous les conditions suivantes :
45La première condition donne bien les arrivées par sexe dans chaque zone ; la seconde donne les départs par sexe de chaque zone ; la troisième, enfin, fournit la matrice des flux des migrants, tous sexes confondus.
46L’utilisation des multiplicateurs de Lagrange conduit à la solution suivante :
47où Aik, Bjk et Tij sont des paramètres liés aux conditions précédentes. L’application de ces trois conditions conduit aux trois systèmes d’équation suivants, qui relient Aik, Bjk et Tij :
48En partant de valeurs arbitraires et , on peut calculer les valeurs qui leur correspondent. On peut, à partir de ces valeurs et , recalculer une valeur . On continue alors l’itération en remplaçant et par et .
49Pour arrêter l’itération, il faut fixer pour chaucn des termes estimés le degré de précision que l’on désire (Willekens, 1977).
50Nous présentons à titre d’exemple l’estimation des flux de migration par sexe, en 1970, pour la Belgique divisée en grandes régions.
51Le tableau 106 donne la matrice des flux de migration pour la population totale.
52Les tableaux 107 et 108 fournissent, respectivement pour les sexes masculin et féminin, les estimations des flux de migration par la méthode donnée ici. On a porté entre parenthèses les valeurs observées de ces flux.
53Les erreurs commises sont généralement faibles, comme le montre le tableau 109.
54On voit que, dans 60 % des cas, l’erreur est inférieure en valeur absolue à 2 % de la valeur observée. Seul un cas entraîne une erreur légèrement supérieure à 6 %.
55Cette méthode peut être sans peine étendue à d’autres caractéristiques des migrants, telles l’âge, la catégorie socioprofessionnelle, la nationalité, etc.
2. Deuxième cas
56Supposons maintenant que nous ayons une estimation antérieure (par exemple, par les données de recensements précédents) de la matrice des flux que nous désirons estimer. On dispose en outre d’informations sur les totaux marginaux d’une telle matrice. Dans ce cas, on peut utiliser plusieurs méthodes.
57La méthode d’ajustement biproportionnel1 constitue une généralisation de celle utilisée précédemment. Si l’on appelle les flux estimés antérieurement, la distance entre les deux matrices peut se définir comme :
58On voit que lorsqu’on n’a aucune information sur la matrice antérieure, on peut prendre pour tout i et j, ce qui est équivalent à , et l’on retombe alors sur la quantité précédente [équation (6)] :
59En introduisant l’information sur les totaux marginaux, on doit donc minimiser cette distance, sous les contraintes suivantes :
60La résolution d’un tel système s’opère de façon toujours identique, en utilisant la méthode des multiplicateurs de Lagrange.
61Cette méthode d’ajustement biproportionnel n’est pas la seule que l’on puisse utiliser. On peut en effet définir d’autres types de distance entre les deux matrices. Parmi ces dernières, celle du χ2 est souvent choisie :
62Elle présente cependant l’inconvénient de ne pas fournir nécessairement une matrice dont tous les termes soient positifs en partant d’une matrice 0vérifiant cette propriété2. Nous ne la développerons donc pas plus avant ici.
3. Troisième cas
63Nous sommes maintenant en mesure de traiter le problème sous sa forme la plus générale, en utilisant la méthode d’ajustement biproportionnel. Il nous faut, dans ce cas, distinguer toutes les conditions possibles correspondant à des types de données différents.
64Nous cherchons à estimer les flux de migrants ijk entre les zones i et j du territoire, issus d’une catégorie k (groupe d’âges, catégorie sociale, etc.) et connaissant une estimation antérieure de ces flux , ainsi que certaines conditions marginales vérifiées par ces flux. Ces conditions marginales dépendent du type de données publiées dans le pays sur lequel on travaille. Le problème se formule alors de la façon suivante : chercher à minimiser la distance
65sous l’une ou plusieurs des conditions suivantes ;
66On peut montrer que, s’il existe une solution strictement positive, celle-ci est de la forme suivante3 :
67où et peuvent être estimés à l’aide de la procédure d’itération suivante dans les cas où l’on connaît et .
68On part des valeurs initiales suivantes :
69Pour i = j = 1, on pose , sinon on a :
70puis :
71et enfin :
72Si les valeurs obtenues de , et diffèrent de , et d’une valeur inférieure au seuil que l’on s’est donné, on peut arrêter l’estimation. Sinon, on reprend l’estimation en faisant une deuxième itération en estimant d’abord :
73puis les paramètres suivants, jusqu’à ce que l’on arrive à un niveau de convergence convenable.
74À titre d’exemple d’une telle estimation, nous examinerons le cas des données traitées par Nair (1982). Partons de la matrice des flux des non-natifs entre cinq grandes régions de l’Inde obtenus au recensement de 1971 (tableau 110).
75Nous allons essayer de voir si l’utilisation d’une telle matrice, avec la connaissance des totaux marginaux de migrants sur une période de dix ans antérieure à 1971, permet de retrouver les flux de migrants observés.
76Le tableau 111 donne la comparaison des flux estimés grâce à la méthode proposée ici avec les flux réellement observés.
77La proximité de ces flux est montrée dans le tableau 112 qui donne les rapports des flux observés avec cette méthode. Dans près de la moitié des cas, l’écart entre flux estimés et flux observés dépasse 20 %. On observe une sous-estimation des flux entre régions différentes et une surestimation des flux intra-régionaux. On pourrait dans ce cas réduire les erreurs en ne travaillant que sur la matrice des flux inter-régionaux, comme nous l’avons fait précédemment dans le cas de la France.
Conclusion
78Les méthodes d’estimation à partir des données incomplètes ont connu un développement important. Elles sont essentiellement fondées sur des modèles log-linéaires4qui permettent d’estimer les effectifs de migrants inconnus entre couples de zones à l’aide de paramètres représentant divers effets liés à la structure du tableau complet. Dans ce cas, le logarithme d’une des cellules du tableau, correspondant aux migrants entre couples de zones que l’on cherche à estimer, s’évalue sous la forme d’une somme d’effets. Ces divers effets sont estimés à partir des informations dont on dispose et de certaines hypothèses. Par exemple, si certains paramètres ne peuvent être estimés à partir des données dont on dispose, leur valeur est posée comme nulle et leur effet d’interaction est supposé absent. Ainsi, lorsqu’on ne dispose pas d’une estimation des flux , on les pose tous égaux à l’unité, ce qui, dans le modèle log-linéaire, revient à poser n .
79Si dans certains cas il est possible de formuler explicitement la solution, dans d’autres il est nécessaire d’utiliser une procédure d’itérations pour arriver à une solution, dans chaque cas particulier.
80D’autres méthodes, basées sur des critères différents (minimiser un χ2 par exemple) sont également utilisables, mais elles sont généralement plus lourdes de calculs5.
Notes de bas de page
Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
États flous et trajectoires complexes
Observation, modélisation, interprétation
Philippe Antoine et Éva Lelièvre (dir.)
2006
Biographies d’enquêtes
Bilan de 14 collectes biographiques
GRAB (Groupe de réflexion sur l'approche biographique) (dir.)
2009
Méthodes de mesure de la mobilité spatiale
Migrations internes, mobilité temporaire, navettes
Daniel Courgeau
2021
L’analyse statistique des trajectoires
Typologies de séquences et autres approches
Nicolas Robette
2021
Fuzzy States and Complex Trajectories
Observation, modelisation and interpretation of life histories
GRAB Harriet Coleman (trad.)
2009
Minorités de genre et de sexualité
Objectivation, catégorisations et pratiques d’enquête
Wilfried Rault et Mathieu Trachman (dir.)
2023