Chapitre 5 - Mésusages
p. 141-156
Texte intégral
Alibis
1La statistique est omniprésente ; nous passons notre temps à produire des statistiques, fonctions (synthèses) de nos observations. La statistique est aussi une discipline scientifique, relevant des mathématiques et son usage peut être à ce titre perçu comme gage de rigueur scientifique. Ainsi, Yoccoz (1999) indique que :
Environ 8 000 tests ont été publiés en 1997 dans la seule revue Ecology [dont] l’immense majorité porte sur des hypothèses dont on peut dire a priori – sans aucun test – qu’elles sont fausses. [Par ailleurs, toujours selon le même auteur,] certains articles parus aujourd’hui dans des revues d’écologie ressemblent fort à des articles de statistiques d’il y a quelques dizaines d’années.
2Évidemment, dire qu’une hypothèse est évidemment fausse ne ferait pas très sérieux, et si un auteur le prétend, il risque fort de se voir demander de faire un test statistique pour pouvoir être publié.
3Mais faire le test demandé est-il vraiment utile ? On peut en douter si on admet qu’un résultat non conforme à l’évidence conduirait simplement à une auto-censure et à rechercher d’où vient l’erreur. A contrario, un résultat cohérent avec une idée reçue peut très bien être présenté de façon pour le moins surprenante. En témoigne par exemple cet extrait d’une dépêche du 11 mars 200883 :
Avant d’être étendue aux cafés-restaurants en janvier 2008, l’interdiction partielle de fumer dans les lieux publics à partir du 1er février 2007 avait montré une « baisse très significative de l’exposition à la fumée dans les locaux concernés, mais pas d’effets sur la consommation de tabac et quasiment pas d’effets sur la santé », relevait un rapport remis il a deux semaines au ministère de la Santé.
Mais, selon cette même étude, l’extension de l’interdiction aux cafés et restaurants français a déjà entraîné une baisse notable des infarctus et accidents vasculaires cérébraux, de l’ordre de 15 %, surtout chez les moins de 65 ans. Une preuve de plus, s’il en fallait encore, que fumer tue.
4Bien sûr, il paraît surprenant qu’une telle baisse ait pu se produire, et a fortiori qu’elle ait pu être mesurée dans le troisième mois (mars 2008) suivant la date de la cause énoncée (janvier 2008). Si on s’en tient par exemple au fascicule intitulé « J’arrête de fumer » publié par l’INPES84 (Institut national de prévention et d’éducation pour la santé), il est annoncé, dans une liste des effets positifs de l’arrêt du tabac, qu’il faut une année pour que le risque d’infarctus du myocarde diminue de moitié et de deux semaines à trois mois pour que diminuent la toux et la fatigue. La responsabilité du tabac relative à nombre de pathologies est une chose bien acquise à présent85, mais la polémique a été vive avec même la participation, évoquée dans un précédent chapitre, de R. A. Fisher qui a proposé en 1958 une explication plausible du taux de cancer du poumon chez les fumeurs qui pourrait être dû à des facteurs génétiques ayant par ailleurs un impact sur le désir de fumer ! Cela lui a été reproché en considérant la possibilité d’un parti pris dans ce domaine particulier (Stolley, 1991).
5Il est bien possible que la présentation d’un traitement statistique affiché comme élément d’une démonstration ne soit souvent en fait qu’une illusion de rigueur venant conforter une conviction déjà acquise par ailleurs. Ceci n’implique pas que le traitement soit inadapté, cela renvoie simplement à ce qu’indiquait Feller (1940) dans la citation donnée en introduction :
[en aucun cas] une concordance des observations avec la loi logistique ne permet [de conclure] sur la nature du phénomène et des forces agissantes.
6Mais, dans ce cas, une contestation de l’interprétation ainsi proposée peut être fondée sur un traitement des mêmes données à partir d’un autre point de vue. Évidemment, à partir de chacun des points de vue, il est possible de contester les résultats des autres par une critique des statistiques qu’ils ont produites à l’appui de leurs propos et, par extension, par une critique de la statistique elle-même86. C’est ce que traduisent des citations populaires telles que celle-ci attribuée à Benjamin Disraeli :
Il y a trois sortes de mensonges : les mensonges, les gros mensonges et les statistiques.
7On se trouve alors dans une situation dans laquelle la statistique est l’outil de la polémique, situation qu’il est donc nécessaire d’identifier aussi à partir des concepts de la discipline outil.
8Mais cette identification ne résout pas la difficulté. Ce qu’il est convenu d’appeler « l’affaire Séralini » montre très bien comment la statistique est instrumentalisée par les uns et par les autres au bénéfice de leurs propres objectifs. La polémique a porté sur un article (Séralini et al., 2012) concluant, à partir des observations réalisées selon un plan d’expérience statistique, à la toxicité de maïs transgéniques. Une violente critique de ces résultats a été émise à partir d’une mise en cause de la qualité du plan d’expérience utilisé87. La revue Statistique et société, créée en 2013, a consacré deux articles de son premier numéro à cette affaire (Lavielle, 2013 ; Vélot et Morvan, 2013).
9Il ressort à mon sens de ces articles que l’insuffisance du plan d’expérience reprochée à Séralini, permet de contester la validité de la conclusion sur la nocivité des OGM. Mais, pour autant, elle ne permet pas de valider l’hypothèse contraire. Par ailleurs, les protocoles officiels utilisés pour valider cette hypothèse contraire sont eux-mêmes contestables, par exemple en limitant la durée des expériences à une période de quatre-vingt-dix jours. La valeur de cette limite est arbitraire, pouvant résulter d’un règlement européen. Elle a une conséquence directe sur la mise en place d’un plan d’expérience statistique, mais la conclusion statistique tirée de l’expérience quant à la nocivité des OGM est relative à une définition arbitraire de cette nocivité, qui n’a strictement rien de statistique.
10Cette polémique fait apparaître le flou associé à l’énoncé des résultats des tests statistiques. Ce flou relève du nom donné à l’hypothèse testée (parle-t-on de nocivité ou d’une définition particulière de la nocivité ?). Il relève aussi du fait que l’on s’en tient généralement au seul risque de première espèce (risque de rejeter à tort l’hypothèse testée) sans évoquer le risque de seconde espèce (risque de ne pas rejeter l’hypothèse testée si elle fausse). Ce risque de seconde espèce88 dépend bien sûr du degré de fausseté de l’hypothèse testée89 et les effectifs de tout plan d’expérience devraient en théorie être fixés a priori de façon à déceler un niveau défini par la question posée. Dans le cas de l’affaire Séralini, il semble que ces effectifs et la durée de l’expérience étaient largement contraints par les moyens financiers et, d’une certaine façon, l’intérêt de l’expérience est d’avoir montré le besoin d’une mise en place de protocoles construits à partir d’hypothèses bien identifiées, avec des effectifs garantissant des puissances de tests susceptibles de trouver avec de bonnes probabilités des résultats signifiants (et pas seulement significatifs).
11Ici, le signifiant relève du risque de seconde espèce, alors que le significatif relève de celui de première espèce. La différence est de taille et mériterait en général d’être mieux explicitée.
Deux articles halieutiques
12Le domaine halieutique est un de ceux où ces questions s’imposent. R. Hilborn (2006) a ainsi publié une note intitulée « Faith based fisheries » où il considère que :
Deux revues parmi les plus prestigieuses, Science et Nature, publient clairement des articles non pour leur qualité scientifique, mais pour leur potentiel publicitaire […] L’évaluation par les pairs a laissé la place à une évaluation fondée sur la croyance partisane et trop de scientifiques sont devenus des avocats.
Traduction de l’anglais : « Two journals with the highest profile, Science and Nature, clearly publish articles on fisheries not for their scientific merit, but for their publicity value […] Critical peer review has been replaced by faith-based support for ideas and too many scientists have become advocates. »
13La référence aux avocats renvoie à la métaphore du système judiciaire déjà proposée en introduction. Ici, le scientifique doit choisir entre le rôle de l’avocat – organisant la connaissance scientifique au profit d’un point de vue particulier – et celui du juge d’instruction qui énonce cette connaissance. Cette distinction est essentielle et a été par exemple explicitée par S. Garcia (2004) :
La science se veut neutre et vise à cerner la vérité dans toute sa complexité, y compris les interprétations divergentes compatibles avec les données disponibles quand le consensus est impossible (situations d’indétermination scientifique). Elle est à la base de l’action gouvernementale dans les agences de gestion et suppose souvent un devoir de réserve.
Le plaidoyer (en anglais : advocacy) vise à convaincre le public et les hommes politiques qu’une des interprétations disponibles (celle qui convient le mieux aux intérêts particuliers du plaideur) est la meilleure. Il est à la base de l’activisme de nombreuses organisations non gouvernementales, ONG environnementales ou professionnelles.
Il est possible pour un scientifique de jouer les deux rôles à deux moments différents de sa carrière. Il est dangereux de les jouer simultanément.
14Il est d’autant plus important d’expliciter lequel de ces rôles joue le scientifique qui énonce un résultat, dès lors qu’un même énoncé peut être produit dans plusieurs contextes. C’est ce qu’indique cette phrase de P. Roqueplo (1997) :
Ce qui transforme un énoncé scientifique en expertise scientifique, c’est le fait que son énonciation soit intégrée au dynamisme d’un processus de décision, et qu’elle soit formulée à l’usage de ceux qui décident. […] Cela change beaucoup de choses.
15A priori, cette discussion ne concerne pas la statistique si ce n’est que les démonstrations proposées dans les articles incriminés peuvent reposer sur l’utilisation d’outils statistiques relatifs à la collecte des données et à leur analyse. On peut donner ici en exemples deux articles (Myers et Worm, 2003 ; Worm et al., 2006) faisant tous deux appel à des méta-analyses. Une méta-analyse consiste en l’étude selon un modèle commun de données (en l’occurrence des séries chronologiques de rendements ou de captures) d’origines différentes.
16Dans le premier article, Myers et Worm (2003) étudient les séries chronologiques de rendements de pêche dans chacun des treize écosystèmes pour lesquels ils disposent de données. Ils constatent dans tous les cas une chute de l’ordre de 80 à 90 % de ces rendements dans les années qui suivent le début des exploitations industrielles. Ces tendances sont interprétées comme des décroissances dans les mêmes proportions de l’abondance des espèces pêchées. Cet article repose donc sur une hypothèse de proportionnalité entre deux variables, l’une d’entre elles (le rendement) étant un indicateur de l’autre (l’abondance).
17Bien entendu, cette proportionnalité est une hypothèse extrêmement audacieuse, dont la validité a maintes fois été remise en cause, à partir de considérations sur les comportements des pêcheurs et des poissons. Les premiers n’ont évidemment aucun intérêt à entreprendre des actions de pêche selon une procédure d’échantillonnage aléatoire simple. Ils peuvent bien au contraire tirer parti de toutes les structures d’agrégations spatiales et temporelles de la ressource pour maximiser leurs résultats. Il en résulte toute une gamme de relations possibles entre rendement et abondance bien loin d’être de simples proportionnalités. On trouvera une illustration de cette diversité dans la thèse de doctorat de François Gauthiez (1997)90.
18L’article en question a fait l’objet de plusieurs réponses démontrant son insuffisance (par exemple Walters, 2003 ; Hampton et al., 2005) dont on trouvera également les références sur un site internet créé à cette occasion91 ; mais il reste une référence encore largement citée à l’appui des déclarations relatives à la généralisation de la surexploitation par la pêche. Dans la littérature scientifique, les citations sont généralement données au début des articles, accompagnant une phrase faisant état de la surexploitation générale des ressources halieutiques92.
19Ici, l’usage de la statistique est en premier lieu descriptif, avec l’observation d’une décroissance des rendements dans un nombre important d’exploitations. Mais cette description est formulée selon un modèle offrant une interprétation de cette tendance comme une décroissance d’abondance en relation avec l’apparition des pêches industrielles. À l’appui de cette interprétation, les auteurs recourent à un modèle de régression non linéaire permettant de rendre compte d’une phase de décroissance rapide suivie d’une situation d’équilibre caractérisée par des rendements stables, très inférieurs aux rendements élevés observés au début de l’exploitation. L’équation proposée est la suivante :
Nt = N0 × ((1 – δ)e– ρt + δ)
20Selon cette formule, Nt, nommée abondance au temps t par les auteurs, tend vers δN0 lorsque t tend vers l’infini. N0 est l’abondance initiale (avant l’avènement de la pêche industrielle). L’abus de langage ici est bien entendu d’assimiler un rendement de pêche à une abondance, en le notant Nt.
21Dans leur article, Myers et Worm (2003) disposent de données de rendements qui devraient en toute rigueur être notées qt × Nt où qt est la capturabilité au temps t, capturabilité qui peut évoluer dans le temps pour de multiples raisons liées au comportement de la ressource et des pêcheurs.
22En fait, de façon tout aussi arbitraire, on peut très bien considérer pour l’analyse de ces données une adaptation du modèle logistique de croissance selon la formule suivante :
dBt / dt = rBt(1 – Bt / K) – qtft(Bt – αK)
23décrivant la dérivée de l’abondance Bt au temps t comme une fonction de paramètres r (taux intrinsèque de croissance), K (capacité de charge) et de séries chronologiques qt et ft de capturabilités et d’efforts de pêche. Il est en outre supposé qu’une certaine proportion α de la capacité de charge reste inaccessible à la pêche.
24Il est alors possible de produire par simulation une série chronologique de données selon l’équation proposée par Myers et Worm (2003) en prenant les valeurs 100, 0,1 et 0,12 pour les paramètres N0, δ et ρ. La série obtenue, en prenant comme début de la pêche l’année 1961 (l’abondance avant 1961 est donc égale à 100), est présentée dans la figure 5.1 entre 1960 et 1999.
25Une fois ces données obtenues, nous pouvons tenter de les reconstituer à l’aide de la seconde équation, en recherchant des séries chronologiques qt et ft de capturabilités et d’efforts et des valeurs adéquates pour les paramètres r, K et α.
26Cet exercice peut se faire en considérant des séries d’efforts et de capturabilités représentées par des croissances logistiques ayant chacune quatre paramètres :


27Cette recherche est très fructueuse en permettant de trouver un ajustement pratiquement parfait (r² étant supérieur à 0,999) des données. Mais le problème est qu’il n’y a pas de solution unique. Deux d’entre elles sont présentées ici (tableau 5.1) avec des niveaux de biomasse très différents liés à des valeurs différentes du paramètre α pouvant être égales à 0,01 (seul 1 % de la capacité de charge est inaccessible à la pêche) ou 0,40 (40 % de la capacité de charge est inaccessible). Pour chaque solution, les séries de biomasses, de rendements simulés et ajustés93, d’efforts et de capturabilité sont présentées (figure 5.1). La biomasse inaccessible constitue une borne inférieure en deçà de laquelle la biomasse ne peut pas être réduite. Cette borne peut être pratiquement nulle, avec α = 0,01, et dans ce cas l’évolution de la biomasse reflète assez fidèlement celle des rendements (figure 5.1, colonne de gauche), conformément à l’hypothèse faite par Myers et Worm. Tel n’est plus du tout le cas si on considère la solution avec α = 0,40 pour laquelle la biomasse ne peut devenir inférieure à 40 % de la capacité de charge. Elle se stabilise à environ la moitié de la capacité de charge (figure 5.1, colonne de droite), ce qui correspond à la valeur de biomasse à l’équilibre offrant un maximum de production, c’est-à-dire à une des définitions de ce que peut être la situation optimale pour la gestion d’un stock !
28Le fait de montrer deux solutions très différentes en termes de biomasse et d’impact de la pêche, mais toutes deux produisant des séries de rendement pratiquement identiques entre elles et pratiquement identiques à la série obtenue par simulation, signifie bien entendu qu’une infinité de solutions auraient pu être obtenues. Cela n’a pas d’autre intérêt que de montrer tout simplement qu’il n’est pas possible d’une manière générale de poser un diagnostic sur l’évolution d’un stock de poissons à partir de la seule évolution des rendements obtenus par la pêche.
29Cela peut paraître évident mais, rappelons-le, cet article bénéficie d’un taux de citation exceptionnel. Il est devenu partie intégrante d’une culture halieutique faisant état d’une situation qui peut être effectivement préoccupante (la surexploitation des ressources halieutiques) mais dont il n’offre en aucun cas une démonstration acceptable.
Tableau 5.1. Paramètres des deux modèles correspondant à l’équation.
Modèle 1 |
Modèle 2 |
|
α |
0,01 |
0,40 |
Capacité de charge K |
170 000 |
170 000 |
Biomasse initiale |
170 000 |
170 000 |
Taux intrinsèque de croissance r |
0,4 |
0,4 |
f– ∞ |
260,3 |
– 135,6 |
f+ ∞ – f– ∞ |
492,5 |
1826 |
tpf |
1962 |
1968 |
pf |
0,0845 |
0,0243 |
q– ∞ |
0,001355 |
0,001915 |
q+ ∞ – q– ∞ |
– 0,000702 |
0,000245 |
tpq |
1985 |
1978 |
pq |
0,0062 |
0,0099 |
r² |
0,9995 |
0,9999 |
dBt / dt = rBt(1 – Bt / K) – qtft(Bt – αK) avec des valeurs différentes des paramètres et conduisant à un ajustement « excellent » des données de rendement obtenues par simulation à partir de l’équation Nt = N0 × ((1 – δ)e– ρt + δ).
Figure 5.1. Données simulées par Nt = N0 × ((1 – δ)e– ρt + δ) et données reconstituées à l’aide du modèle dBt / dt = rBt(1 – Bt / K) – qtft(Bt – αK).

À gauche avec une quantité très faible de biomasse inaccessible (1 % de la capacité de charge), à droite avec une importante quantité d’une telle biomasse (40 % de la capacité de charge).
30Un second article (Worm et al., 2006) pose encore plus de questions. Il s’agit également d’une méta-analyse, portant cette fois sur un nombre beaucoup plus important de séries chronologiques de captures annuelles obtenues pour de nombreuses espèces par la pêche. Les auteurs étudient l’impact de la pêche en considérant la définition selon laquelle un stock est « effondré » (collapsed) en une année n + 1 donnée si la capture réalisée au cours de cette année est inférieure à 10 % de la capture maximale observée au cours des n années précédentes. Dès lors, ils peuvent chaque année estimer dans l’ensemble des séries disponibles la proportion de celles qui correspondent à des stocks effondrés.
31Cet article a connu un grand retentissement, bien au-delà de la communauté scientifique, comme peut le montrer une simple recherche sur internet en proposant par exemple « poissons 2048 ». Il est devenu, lui aussi un élément de la culture halieutique comme l’indique par exemple le titre « 2048, une mer déserte ? » d’un vidéo clip produit en 2010 par le WWF94.
32Ici encore, la méthodologie utilisée est statistique avec la réunion de données d’origines diverses et un traitement des séries obtenues pour calculer une première statistique consistant en la proportion, chaque année, de stocks effondrés selon la définition retenue et rappelée ci-dessus. Les auteurs proposent ensuite un ajustement de la série chronologique de ces effondrements à l’aide d’une régression non linéaire où l’espérance du pourcentage de stocks effondrés est :
y = a × xb
33où x est le nombre d’années écoulées depuis 1950 (date de début des données disponibles pour les séries les plus anciennes). Les valeurs estimées des paramètres a et b sont égales à 0,0168 et 1,8992, avec un ajustement très « satisfaisant » (r = 0,96, p < 0,0001).
34Les auteurs prolongent alors le modèle par extrapolation et « observent » qu’en 2048, soit avec la valeur x = 98 (c’est-à-dire 2048 – 1950), « 100 % des stocks seront effondrés ». C’est cette valeur 2048 qui a été retenue de cet article et qui continue d’être énoncée avec toute la légitimité scientifique que lui accorde le support prestigieux de la revue Science.
35En fait, cet article pose un nombre important de problèmes statistiques, en termes de démarche, de méthode et de communication. Ces problèmes ont été identifiés, en particulier dans deux des commentaires publiés l’année suivante (2007) par la revue Science (Wilberg et Miller, 2007 ; Hölker et al., 2007) et dans un commentaire d’A. Longhurst (2007) mis à disposition sur le site déjà cité95, créé à la suite de l’article de Myers et Worm (2003).
Définition de l’effondrement d’une ressource
36Le premier problème de méthode est lié à la définition adoptée par les auteurs pour caractériser l’effondrement d’un stock. En comparant la capture obtenue une année n au dixième de la capture maximale observée depuis le début de la série, c’est-à-dire à la valeur maximum obtenue sur un échantillon de taille n – 1, les auteurs se placent dans une situation où l’effondrement d’un stock peut être à terme un résultat certain, « même s’il n’existe pas de tendance au sein de la série des captures ». C’est ce que montrent Wilberg et Miller (2007) dans un des commentaires en rappelant que si la probabilité d’observer des valeurs très élevées, notoirement supérieures aux valeurs couramment observées, est non nulle, la probabilité d’avoir observé au moins une fois, dans le passé, une valeur supérieure à 10 fois la capture observée lors de la dernière année d’observation tend vers 1 lorsque la série chronologique s’allonge, c’est-à-dire lorsque n devient grand96. Wilberg et Miller montrent alors par des simulations que les données d’effondrements utilisées par Worm et al. peuvent très bien être reproduites à partir de séries chronologiques stationnaires obtenues avec des variables lognormales affectées d’une autocorrélation d’ordre 1, qui n’introduit pas de tendance.
37Plus généralement, cette erreur relève d’un piège classique, consistant à interpréter une observation remarquable (par exemple un maximum ou un minimum d’un échantillon) comme s’il s’agissait d’une réalisation quelconque, prise au hasard, d’une variable X. Mais la distribution d’un maximum dans un échantillon n’est pas celle d’une valeur prise au hasard dans cet échantillon97. La démarche évoquée plus haut de F. Gauthiez s’appuie explicitement sur cette différence.
38Les différences entre les distributions de la valeur maximum au sein d’un échantillon de taille n d’observations sur des variables indépendantes et de mêmes distributions sont illustrées (figure 5.2) dans le cas d’une distribution log-normale.
39Au-delà, cette question a fait l’objet de développements méthodologiques nombreux à propos du problème posé par les comparaisons multiples de moyennes98 pouvant ou non être réalisées à la suite d’analyses de variance à un facteur de variation, mises en œuvre pour tester l’égalité des espérances d’une variable pour plusieurs catégories d’une variable qualitative. Le modèle correspondant s’écrit :
Yik = mi + eik
40où Yik est la variable Y correspondant à un individu k de la catégorie i, mi est l’espérance des Yik (les variables de tous les individus d’une catégorie donnée ont donc la même espérance) et eik est un résidu, écart aléatoire propre à l’individu k de la catégorie i à l’espérance mi. On suppose en outre (sans perte de généralité sur le problème des comparaisons multiples) que le modèle est gaussien et homoscédastique (ce qui implique que les résidus suivent des lois normales d’espérances nulles et de même variance σ²) et qu’en outre ces lois sont indépendantes (ce qui est le cas si les individus ont été sélectionnés au hasard au sein des diverses catégories).
Figure 5.2. Loi log normale (espérance et variance de la normale associée égales à 1,5 et 0,75).

À gauche, densités fn(xmax) des valeurs maximales pour un échantillon de taille n (n = 4,10,15,50,100) (en gras densité f1(x / 10) / 10). On observe ainsi que les distributions de la valeur maximum pour un échantillon de 100 observations, ou de dix fois la valeur d’une observation unique ont des domaines qui se recouvrent largement. À droite, probabilité d’effondrement après n années.
41Sous ces suppositions, on peut réaliser – de façon immédiate à l’aide des logiciels statistiques – l’analyse de variance du modèle. On calcule la valeur prise par une variable de test99 qui, sous l’hypothèse (notée H0) d’égalité de toutes les espérances mi, est une réalisation d’une variable dont la distribution est une loi de Fisher avec p – 1 et n – p degrés de liberté. Si l’hypothèse H0 est fausse (les espérances mi ne sont pas toutes égales), alors la loi de la variable de test est différente, prenant des valeurs généralement plus élevées. Le test consiste donc à comparer la valeur calculée de la variable test à une valeur seuil telle que la probabilité d’observer une valeur supérieure à ce seuil est égale, si l’hypothèse testée est vraie, à une valeur α (le niveau du test, risque de première espèce100 souvent choisi égal à 5 %). Si la valeur test calculée est supérieure à la valeur seuil, chose a priori peu probable si l’hypothèse H0 est vraie, alors on décide de rejeter l’hypothèse H0, en considérant que la loi de distribution de la variable test n’est pas une loi de Fisher avec p – 1 et n – p à cause des inégalités existant entre les valeurs des mi.
42Si on considère maintenant deux des catégories prises au hasard, on peut réaliser un test de Student d’égalité de leurs moyennes101. Le problème se pose lorsqu’on fait ce test d’égalité en sélectionnant a posteriori les deux catégories dont l’écart entre les moyennes observées est le plus élevé. Dans ce cas, on va considérer la valeur maximum prise par les différences de moyennes parmi un grand nombre de comparaisons possibles (avec p catégories, il y a p × (p – 1) / 2 comparaisons deux à deux possibles). On montre alors que, même si H0 est vraie, la probabilité de rejet de l’égalité des deux moyennes observées les plus différentes est en fait beaucoup plus élevée que celle du risque de première espèce adopté. Cette difficulté a été bien identifiée au long du xxe siècle et a conduit à l’identification d’un nombre assez important de méthodes pour la résoudre (illustrant ainsi qu’il n’existe pas de solution optimale).
43Ce premier problème relève d’une difficulté méthodologique qui n’est pas immédiatement perceptible, même si la discipline statistique l’a bien identifiée, qu’elle est bien documentée et que les outils pour la surmonter sont mis à disposition dans la plupart des logiciels de traitements statistiques.
Extrapoler une tendance
44Un second problème apparaît par contre plus inquiétant. Il est posé par le choix de prolonger le modèle de régression utilisé pour représenter les données et dont l’ajustement a conduit à l’équation :
y = 0,0168 × x1,8992
45où, rappelons-le, y est la proportion de stocks effondrés et x le nombre d’années écoulées depuis 1950.
46Avec cette équation, tous les stocks seraient effondrés en 2048 ; selon les auteurs en effet :
Cette tendance est sérieusement préoccupante parce qu’elle indique l’effondrement global de tous les taxons actuellement exploités vers le milieu du xixe siècle (fondée sur l’extrapolation de la régression […] à 100 % lors de l’année 2048).
Traduction de l’anglais : « This trend is of serious concern because it projects the global collapse of all taxa currently fished by the mid 21st century (based on the extrapolation of regression […] to 100. »
47La démarche est inquiétante. Elle consiste à ériger en loi (au sens de la physique) un simple ajustement au point même de procéder à une extrapolation très largement en dehors du domaine couvert par les données. Cette erreur a été soulignée et illustrée de façon cinglante par Hölker et al. (2007) dans leur commentaire :
Pour illustrer comment une telle supposition peut être inadaptée, nous modélisons l’accroissement du taux de chômage sous la forme d’une relation exponentielle (r = 0,90 ; N = 45). L’extrapolation au-delà de la période avec des données disponibles (de 0,5 % à 9,5 % entre 1960 et 2005) conduit à prédire un taux égal à 100 % en 2056 approximativement.
Traduction de l’anglais : « To illustrate the inappropriateness of making such an assumption, we model the increase in the German unemployment rate over time (2) as an exponential relationship (r = 0.90; N = 45). Extrapolating beyond the range of observations available (0.5 to 9.5% unemployment between 1961 and 2005) projects 100% unemployment by approximately 2056. »
48On peut s’étonner du fait qu’une telle erreur ait pu passer entre les mailles du processus d’arbitrage d’une revue prestigieuse telle que Science. Une réponse est suggérée par la citation tirée de l’article de R. Hilborn (2006) sur les « Faith based fisheries » et donnée au début de ce chapitre. Ici, l’erreur aurait pu être signalée en restant dans le domaine de la démarche statistique, de façon légitime dans la mesure où le résultat exposé découle d’un mauvais usage d’un résultat issu d’un résultat statistique. Mais il faut aussi convenir que l’erreur ici commise pouvait être décelée à partir du simple bon sens, sans devoir recourir à des justifications d’ordre mathématique.
L’usage de la méta-analyse
49Un troisième problème est lié à l’usage des méthodes de méta-analyse dans ce type d’études. Il a été identifié par un écologue marin A. Longhurst (2007). L’auteur commence par une analyse de la nature des données utilisées en montrant que les jeux de données utilisées ne justifient pas pour diverses raisons (taille des écosystèmes, nature des espèces prises en compte) un regroupement en vue d’un traitement commun. Il indique ensuite que les interprétations faites par les auteurs reposent beaucoup plus sur un consensus relevant du politiquement correct102 que sur une analyse critique des données fondée sur les acquis scientifiques :
Tout ceci doit être interprété comme l’abandon de l’érudition en faveur d’un enjeu sociétal relatif à des problèmes d’environnement ; dans le cas de Worm et al., le message socialement acceptable selon lequel « la biodiversité est bonne pour vous » apparaît avoir été adopté avec un manque flagrant d’esprit critique.
Traduction de l’anglais : « All this must be interpreted as the abandonment of scholarly in favour of societal concern for environmental problems; in the case of Worm et al., the socially acceptable message that “biodiversity is good for us” appears to have been espoused with a striking lack of critical thought. »
50Cette critique est ensuite étendue au domaine de la méta-analyse, avec les possibilités de collecter des données dans des bases de données très importantes et diverses, pouvant conduire à considérer un grand nombre de cas comme s’ils étaient des réalisations de variables (ou processus) ayant la même distribution :
De plus, la disponibilité en lignes de grandes archives de données peut ne pas encourager à mener une réflexion approfondie sur la façon dont chaque nombre peut être interprété : je suggère en conséquence qu’une connaissance réduite associée à une information abondante peut être une combinaison dangereuse. C’est tout particulièrement le cas pour des scientifiques plus intéressés par des problèmes sociaux que par une analyse méticuleuse et classique de ce que nous savons (ou ne savons pas) de notre monde.
Traduction de l’anglais : « Furthermore, the on line availability of large data archives may perhaps not encourage careful thought about how the individual numbers should be interpreted: I suggest, therefore, that a little knowledge and a lot of information may be a dangerous combination. This is especially the case for scientists more concerned with social problems than with careful, old-fashioned analysis of what we know (or what we do not know) about our world. »
51Cette critique, faite par un non-statisticien, mériterait d’illustrer les présentations que l’on peut faire des méta-analyses qui peuvent parfois réunir pour une étude conjointe des données qui ne peuvent pas raisonnablement être analysées ensemble au vu de la trop large gamme de taille des « écosystèmes » (Longhurst indique ainsi que certains jeux de données ne concernent qu’une partie d’un écosystème ou au contraire en réunissent plusieurs) et des différences de nature des espèces répertoriées dans les diverses bases de données utilisées.
52En définitive, le titre qu’A. Longhurst avait proposé pour son commentaire est admirable :
Une connaissance réduite (plus une abondante information) peut constituer une très dangereuse combinaison.
Traduction de l’anglais : « A little knowledge (plus a lot of information) may be a very dangerous combination. »
53Il résume parfaitement que le fait de pouvoir réunir un nombre considérable de données pouvant être récupérées dans des bases de données d’accès convivial (l’information abondante), associé à la production d’une synthèse reposant sur une hypothèse implicite selon laquelle ces données seraient des réalisations indépendantes d’une même loi de distribution (faible connaissance), peut nous conforter dans nos illusions, en nous laissant penser avoir mis en œuvre une démarche scientifique rigoureuse.
54Comme l’indique Longhurst, la démarche doit inclure une « analyse méticuleuse et classique de ce que nous savons (ou ne savons pas) ». Cette demande trouve une application immédiate pour ce qui concerne la statistique : il faut connaître le protocole d’observation ayant conduit à collecter chaque donnée. Avec cette contrainte, le nombre de données traitables ensemble peut être nettement plus faible que prévu.
55Comme on peut l’imaginer, la méta-analyse est une méthode dont les dangers signalés ci-dessus sont déjà bien identifiés. Tel est le cas pour le « biais de publication » qui consiste à publier avec une plus grande probabilité les résultats d’expériences positives, soit parce que les auteurs jugent inutile de soumettre les résultats négatifs, soit parce que ces résultats ne sont pas acceptés par les publications.
56Un exemple d’école classique de cette situation est celui de l’essai d’un produit qui serait mis en œuvre par un grand nombre n d’équipes indépendantes ne communiquant pas entre elles. En admettant que chaque essai soit bien fait et que le produit soit sans effet (hypothèse H0 vraie), cette hypothèse d’absence d’effet sera rejetée avec une probabilité égale au risque d’erreur de première espèce α pour chaque essai. Dans ce cas, la probabilité qu’au moins un des n tests conduise à rejeter H0 est égale à 1 – (1 – α)n qui tend vers 1 lorsque n devient grand. Par exemple cette probabilité est de 0,994 si α = 0,05 et n = 100. Si les essais ayant donné un résultat significatif sont publiés avec une plus grande probabilité que les autres, alors il y a bien ce biais de publication.
57Ce problème a été pris en compte par de grandes revues qui ont décidé de ne pas publier de résultats issus d’une expérience si sa mise en place n’a pas fait l’objet d’une déclaration préalable. C’est ce que rapporte un article publié en 2004 dans le Washington Post103 :
Les revues invitent les laboratoires pharmaceutiques à enregistrer tous leurs essais […] sinon les études ne seront pas publiées ; le but est de repérer les données supprimées.
Traduction de l’anglais : « Journals insist drug manufacturers register all trials […], otherwise, studies will not be published; goal is to ferret out suppressed data. »
Éléments de discussion
58Cette présentation des mésusages pourrait sans doute être prolongée, mais on peut introduire quelques éléments de discussion à partir des exemples présentés. Il s’agissait dans certains cas d’erreurs grossières qui conduiraient à donner de mauvaises notes aux étudiants qui les commettraient. Mais il s’avère ici que les articles concernés continuent d’être cités pour illustrer les résultats déduits de ces erreurs. Bien entendu, ces erreurs ne prouvent pas que ces résultats soient faux, mais il serait nécessaire, pour les valider, de les exposer dans le cadre de démonstrations rigoureuses.
59En faisant état de ces éléments à mes collègues, nombre d’entre eux considèrent que : « Oui, bon, peut-être, ça manquait de rigueur, mais, quand même, le résultat qu’ils ont trouvé est important… »
60Je crois que cette réaction exprime deux choses :
la première est le cantonnement de la statistique à son rôle d’outil ; il a peut-être été mal employé, mais le domaine dont relève le résultat exposé n’est pas celui de l’outil et ce résultat n’est donc pas vraiment remis en cause. Ceci n’est pas faux, mais sous-tend un deuxième aspect plus préoccupant ;
la remise en cause du résultat, ou l’expression de son insuffisance, ne relève pas du domaine de l’outil, mais de celui de la thématique concernée. L’outil peut être utilisé pour construire un autre cadre, mais il ne peut pas l’être de façon autonome dans le contexte de sa propre démarche. Il doit rester appliqué, sans implication.
61Or, l’objet de ce document a été pour une large part de montrer comment une démarche fondamentalement statistique, fondée sur la critique de la distribution de la variable aléatoire dont des observations disponibles constituent une réalisation, pouvait montrer, à partir d’un cadre initial reposant sur des considérations thématiques, le besoin de reconstruction de ce cadre et contribuer ainsi à un élargissement thématique.
Notes de bas de page
83 http://lci.tf1.fr/economie/consommation/2008-03/interdiction-fumer-ventes-cigarettes-chutent-4878443.html (consulté le 14 novembre 2015).
84 http://www.inpes.sante.fr/CFESBases/catalogue/pdf/1110.pdf (p. 30, consulté le 14 novembre 2015).
85 De ce point de vue, la dernière phrase de la dépêche citée plus haut (« Une preuve de plus, s’il en fallait encore, que fumer tue ») résout le problème en considérant que cette preuve n’était pas nécessaire et que le résultat était déjà acquis.
86 En reprenant la métaphore de la justice, le fait que les avocats des parties produisent des résultats contradictoires à partir des investigations faites par le juge d’instruction n’implique pas que ce dernier ait menti.
87 La revue Food and Chemical Toxicology a retiré l’article à la suite de cette polémique, mais l’article a été republié en 2014 par la revue Environmental Sciences Europe.
88 Le risque de seconde espèce (souvent noté β) permet de définir la puissance du test, égale à 1 – β, qui évalue la capacité du test à rejeter une hypothèse erronée en fonction de l’ampleur de l’erreur.
89 Plus la différence de deux espérances est grande et plus la probabilité de ne pas la détecter à partir d’une expérience donnée est faible, mais a contrario une différence, aussi insignifiante soit-elle, pourra toujours être décelée si on augmente suffisamment le nombre d’observations.
90 L’approche de F. Gauthiez est intéressante ici par la démarche fondamentalement statistique qu’il adopte pour distinguer les distributions, dont des données de rendement sont des réalisations, selon qu’elles sont issues de pêches commerciales ou scientifiques. Il considère qu’un pêcheur commercial peut avoir un certain nombre d’opportunités de mises en œuvre d’actions de pêche et qu’il choisit celle qui donne la meilleure capture. Il considère donc que le rendement d’une action est le maximum des observations dans un échantillon d’observations indépendantes identiquement distribuées de taille n, n pouvant dépendre du comportement spatial du poisson et du savoir-faire du pêcheur. Pour un « pêcheur scientifique » dont l’objectif est de produire un échantillon aléatoire simple, la distribution dont un rendement est une réalisation est celle d’une observation unique. F. Gauthiez compare alors les espérances des distributions commerciales et scientifiques en fonction de l’abondance de l’espèce pêchée, des caractéristiques de son comportement spatial et bien sûr de la taille n de l’échantillon au sein duquel le pêcheur commercial sélectionne la valeur maximum.
91 http://www.soest.hawaii.edu/PFRP/large_pelagics/large_pelagic_predators.html
92 Au 22 janvier 2015, une consultation du site Web of Science indique que l’article a été cité 1 167 fois, dont 87 fois depuis début 2014.
93 Les ajustements quasi parfaits conduisent à ne pas pouvoir distinguer ces rendements simulés et ajustés sur la figure 5.1.
94 https://www.youtube.com/watch?v=WABL0ehloxs (consulté le 24 mars 2015).
95 http://www.soest.hawaii.edu/PFRP/large_pelagics/large_pelagic_predators.html (consulté le 24 mars 2015).
96 D’un point de vue théorique, on considère la fonction de répartition FX(x) = P(X ≤ x) qui donne la probabilité qu’une observation d’une variable X soit inférieure à une valeur donnée x. Si on considère maintenant un bruit blanc xt avec des valeurs observées pour t = 1…n, réalisations indépendantes de la variable X, alors la probabilité que le maximum observé soit inférieur à une valeur donnée x est égale à celle que toutes les observations le soient. Elle est donc égale à FX(x) à la puissance n. Si FX(x) est strictement inférieur à 1 (ce qui est le cas pour toute fonction à valeurs réelles sans borne supérieure, par exemple une loi normale ou lognormale), alors FX(x)n tend vers 0 lorsque n tend vers ∞. Cela signifie concrètement que pour tout x, la probabilité d’avoir observé au moins une fois dans le passé une valeur supérieure à 10 × x (soit 1 – FX(10 × x)n) tend vers 1 lorsque la série s’allonge.
97 C’est la différence entre ces distributions qui constitue le moteur des loteries ; si la loi de distribution des gains d’un joueur quelconque est décourageante, le découragement s’efface rapidement au vu de ce que peut donner le maximum des gains.
98 Auquel est par exemple dédié un package spécifique du progiciel statistique « R ».
99 En l’occurrence, un rapport de carrés moyens.
100 Il s’agit de la probabilité d’observer une valeur supérieure à la valeur seuil et donc de rejeter l’hypothèse testée alors qu’elle est vraie.
101 Pour deux catégories i et ir, le test de Student consiste à
comparer la valeur à la valeur seuil telle que la probabilité d’obtenir un
résultat supérieur ou égal en valeur absolue à cette valeur pour une
réalisation d’une variable de Student à
degrés de liberté est inférieure au niveau α choisi pour
le risque de première espèce. Dans la formule de calcul, le
numérateur
est la différence entre les deux moyennes observées et
le dénominateur est une estimation de la variance de l’estimation de
cette différence.
102 Bien entendu, le politiquement correct peut, selon les lieux et les audiences, sous-tendre des positions radicalement contraires.
103 http://www.washingtonpost.com/wp-dyn/articles/A6673-2004Sep8.html (consulté le 24 mars 2015).
Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Sobriété énergétique
Contraintes matérielles, équité sociale et perspectives institutionnelles
Bruno Villalba et Luc Semal (dir.)
2018
Un demi-siècle d’environnement entre science, politique et prospective
En l’honneur de Jacques Theys
Rémi Barré, Thierry Lavoux et Vincent Piveteau (dir.)
2015
Gestion durable de l’eau urbaine
Observations et échanges France-Brésil
Bernard Barraqué (dir.)
2018
Savoirs locaux en situation
Retour sur une notion plurielle et dynamique
François Verdeaux, Ingrid Hall et Bernard Moizo (dir.)
2019
Statistique et recherches interdisciplinaires
Implication d'une discipline sans objet
Francis Laloë
2016
Pour un savoir soutenable
Une théorie de l’interdisciplinarité
Robert Frodeman Alexis Galmot (trad.)
2019