Version classiqueVersion mobile

Actes des Journées européennes de la science ouverte

 | 
Open Science European Conference

Transparence des recherches en santé

Transparence des recherches en santé

Isabelle Boutron

Texte intégral

  • 1 Alessandro Liberati, « So Many Questions, so Few Answers », Bulletin of the World Health Organizat (...)

1Je voudrais commencer cette présentation en faisant référence à un article publié par Alessandro Liberati1, qui était un grand épidémiologiste, très impliqué dans la collaboration Cochrane, dans lequel il a rapporté son expérience en tant que patient atteint d’un myélome multiple. Lorsqu’il a rechuté de sa maladie, il a dû prendre une décision très difficile et décider si oui ou non il allait subir une deuxième transplantation. En tant que méthodologiste, il voulait fonder cette décision sur des preuves. Il a cherché des preuves, identifiant quatre essais contrôlés randomisés terminés. Cependant, aucun d’entre eux n’a fourni de résultats entièrement publiés. Par conséquent, il a été contraint de prendre sa décision en sachant que les informations étaient non disponibles et qu’il n’était pas en mesure de prendre une décision fondée sur des preuves.

  • 2 Association médicale mondiale, « Déclaration d’Helsinki de l’AMM – Principes éthiques applicables (...)
  • 3 U.S. National Library of Medicine, « FDAAA 801 and the Final Rule », ClinicalTrials.gov, consulté (...)
  • 4 European Medical Agencies, « Home », EU Clinical Trials Register, consulté le 16 mars 2022, https: (...)

2L’accès aux informations sur les essais cliniques est essentiel et constitue en fait une exigence éthique. Dans la Déclaration d’Helsinki2, qui énonce les principes éthiques de la recherche médicale impliquant des sujets humains, il est clairement indiqué que chaque étude doit être enregistrée, et que les auteurs ont le devoir de rendre publics les résultats de leurs recherches et sont responsables de l’exhaustivité et de l’exactitude de leurs rapports. Une législation a également été mise en place. Aux États-Unis, la FDA exige que tous les chercheurs dont les essais sont réalisés sur au moins un site américain publient les résultats de leurs essais au plus tard un an après la fin de l’étude3. Nous avons des exigences similaires en Europe avec la nécessité de publier les résultats sommaires des essais cliniques dans le Registre des essais cliniques de l’Union Européenne4.

  • 5 Thi-Anh-Hoa Nguyen et al., « Public Availability of Results of Trials Assessing Cancer Drugs in th (...)

3Néanmoins, avons-nous bien accès aux informations relatives aux essais cliniques ? Une étude a été réalisée pour évaluer la disponibilité publique des résultats des essais évaluant les médicaments anticancéreux aux États-Unis5. Tous les essais sélectionnés étaient régis par le FDA Amendments Act et étaient censés publier leurs résultats. Cependant, trois ans après la fin de l’étude, 69 % des essais n’avaient pas de résultats affichés sur le registre ClinicalTrials.gov et la moitié d’entre eux n’avaient pas de résultats accessibles au public, c’est-à-dire aucun résultat affiché ou publié.

  • 6 Ministère de l’Enseignement supérieur, de la Recherche et de l’Innovation, « Baromètre de la scien (...)

4Nous avons également accès aux données pour la France grâce au Baromètre français de la science ouverte6, dont la dernière édition a été rendue publique fin janvier 2022. Il montre que seulement 57 % des essais cliniques ayant au moins un site en France ont leurs résultats disponibles, avec quelques différences selon le promoteur : 76 % pour les essais menés par l’industrie et 31 % pour les essais menés par des universitaires.

  • 7 Nicholas J. DeVito, Seb Bacon, et Ben Goldacre, « Compliance with Legal Requirement to Report Clin (...)
  • 8 The Evidence-Based Medicine Data Lab, University of Oxford, « Who’s Not Sharing Clinical Trial Res (...)

5Une initiative et des outils très importants ont été développés par Ben Goldacre et son équipe à l’université d’Oxford7. Ils ont mis au point le TrialsTracker8, qui identifie toutes les études devant publier leurs résultats sur ClinicalTrials.gov et dans le Registre des essais cliniques de l’UE, et vérifie si elles respectent effectivement la loi. Le nombre d’essais en retard, c’est-à-dire qui auraient dû publier leurs résultats mais ne l’ont pas fait, augmente avec le temps. Le respect de ces obligations, c’est-à-dire la publication des résultats un an après la fin de l’étude, a légèrement augmenté, mais reste faible et stagne actuellement à 40 %. Quant au respect de l’obligation de publier les résultats au Registre des essais cliniques de l’UE, l’équipe a évalué 7 274 essais terminés et a constaté que seuls 49 % d’entre eux ont effectivement communiqué leurs résultats, et plus précisément 68 % pour les essais financés par l’industrie et seulement 11 % pour les essais universitaires.

  • 9 Erick H. Turner et al., « Selective Publication of Antidepressant Trials and Its Influence on Appa (...)

6Quelles en sont les conséquences ? Bien sûr, en premier lieu, il est impossible d’avoir accès aux résultats, et donc de prendre des décisions fondées sur des preuves. Cependant, on sait également que le fait que les résultats soient publiés dépend des résultats obtenus, et qu’il existe de réels biais de publication. C’est ce qu’a montré Erick Turner dans un article publié dans le New England Journal of Medicine9. Il a identifié 74 essais cliniques portant sur des traitements antidépresseurs et soumis par l’industrie pharmaceutique à la FDA en vue de l’obtention d’une autorisation de mise sur le marché. Il a recherché systématiquement les publications relatives à ces essais et a constaté que pour un tiers des essais, il n’y avait aucune publication subséquente. Il s’est ensuite penché sur les résultats de ces essais, et a découvert que lorsque les essais étaient positifs et prouvaient que le traitement était bénéfique, 97 % des essais étaient publiés. Lorsque les résultats étaient en demi-teinte, c’est-à-dire qu’il n’était pas vraiment possible de savoir si le traitement était bénéfique ou non, seule la moitié des essais a été publiée, mais avec une conclusion qui n’était pas conforme à la décision de la FDA. Lorsque les résultats étaient négatifs, c’est-à-dire qu’il n’y avait aucune preuve que le traitement avait un quelconque effet, 68 % des essais n’ont pas été publiés.

7L’auteur s’est également efforcé de procéder à une méta-analyse, résumant toutes les données, en utilisant d’abord uniquement les données relatives aux essais publiés, puis l’ensemble des données à sa disposition, que les essais aient été publiés ou non. Le fait de cantonner la méta-analyse aux données publiées a fait augmenter de 32 % l’importance de l’effet constaté, entre 11 % et 69 % selon le médicament évalué individuellement.

8Que faire ? Les méta-chercheurs essaient toujours d’inventer des solutions faciles et peu coûteuses pour améliorer la recherche. En l’occurrence, nous avons proposé d’envoyer un courriel rappelant aux participants aux essais cliniques l’obligation légale d’en publier les résultats sur ClinicalTrials.gov.

  • 10 Maruani et al.

9Nous avons identifié 379 essais qui répondent aux exigences de la FDA mais n’ont pas publié leurs résultats sur le Registre un an après la fin des essais10. Ces essais étaient randomisés. La moitié d’entre eux n’a reçu aucune relance de notre part, et l’autre moitié a reçu un e-mail présenté comme une enquête pour essayer de comprendre pourquoi ils n’avaient pas publié leurs résultats. Dans l’enquête, il leur était rappelé qu’il s’agissait d’une obligation légale et qu’une amende de 10 000 dollars par jour de retard pouvait être infligée. L’étude à six mois du pourcentage d’études dont les résultats étaient affichés a montré une augmentation de ce pourcentage en lien avec la réception de l’e-mail. L’effet de cette relance est faible, avec une augmentation de seulement 10 %. On peut toutefois imaginer que l’effet serait plus important si l’e-mail était envoyé par la FDA et non par une équipe de recherche française.

  • 11 The CONSORT Group, « CONSORT 2010 », CONSORT - Transparent Reporting of Trials, 2010, http://www.c (...)

10Lorsque les résultats sont mis à disposition par le biais d’une publication, on peut se demander si le rapport est complet. Disposons-nous de suffisamment d’informations pour être en mesure d’évaluer de manière critique les essais, d’en utiliser et d’en interpréter les résultats ? Nous disposons de lignes directrices pour la rédaction des rapports, comme la déclaration CONSORT11, qui consiste en une liste d’informations essentielles devant être systématiquement mentionnées dans le rapport d’un essai contrôlé randomisé. Ces directives sont largement approuvées par les rédacteurs en chef, qui exigent leur respect dans leurs recommandations aux auteurs.

  • 12 Agnes Dechartres et al., « Evolution of Poor Reporting and Inadequate Methods over Time in 20 920 (...)

11Dans quelle mesure la littérature sur ce sujet est-elle complète ? Cet aspect a été évalué dans le cadre d’une très vaste étude portant sur plus de 20 000 essais décrits dans la base des revues systématiques Cochrane12. Lorsque nous réalisons une revue systématique Cochrane, nous essayons toujours d’évaluer la qualité méthodologique de l’étude et nous évaluons le risque de biais. Mais pour cette étude particulière, il ne nous a pas été possible d’évaluer le risque de partialité d’un grand nombre d’essais, du fait du manque d’exhaustivité des rapports. Seul point positif, les rapports s’améliorent au fil du temps.

  • 13 Philipp Kapp et al., « Transparency and Reporting Characteristics of COVID-19 Randomized Controlle (...)

12Nous sommes actuellement en train de réaliser une vaste étude systématique, dont l’évaluation porte sur tous les essais contrôlés randomisés impliquant des traitements potentiels pour la COVID-1913. Il s’agit d’une revue ouverte dont nous mettons tous les résultats en ligne. Nous nous efforçons ici d’évaluer les indicateurs de transparence et l’exhaustivité des rapports des premiers essais inclus dans la revue au cours des 17 premiers mois de la pandémie. Les résultats montrent que ces indicateurs de transparence ne sont pas bien remplis. Seuls 55 % des essais ont été enregistrés de manière prospective. Le protocole et les plans d’analyse statistique n’étaient disponibles que dans 39 % et 29 % des essais respectivement. Néanmoins, 68 % ont rapporté une déclaration de partage des données. En ce qui concerne l’exhaustivité des rapports, les résultats sont également très décevants. Seul un tiers des essais a fourni un rapport complet sur le résultat primaire. 58 % ont fourni des informations essentielles relatives à la conduite de l’étude. La moitié a rapporté les résultats de manière adéquate et seulement 15 % ont rapporté de manière adéquate les dommages en termes de sécurité du traitement.

  • 14 Sally Hopewell et al., « Impact of Peer Review on Reports of Randomised Trials Published in Open P (...)

13Une question se pose : quel est le rôle du processus d’examen par les pairs ? Ce processus est-il en mesure d’améliorer la transparence des essais ? Cette question a été posée dans le cadre d’une étude portant sur 93 essais contrôlés randomisés publiés14, où il a été possible d’avoir accès aux premiers manuscrits soumis, aux rapports d’évaluation par les pairs et aux articles publiés, afin de comparer l’exhaustivité des rapports avant et après le processus d’examen par les pairs. On constate une relative amélioration de certains aspects méthodologiques, tels que la génération de séquences, la dissimulation de la répartition et l’aveuglement, mais d’autres aspects n’ont pas été améliorés du tout par le processus d’examen par les pairs et, dans l’ensemble, les rapports restent très médiocres, en ne fournissant des informations sur ces points importants que dans moins de 60 % des essais.

  • 15 Centre de Recherche en Épidémiologie, French Equator center, « Home », COBWEB Consort-based WEB to (...)

14Que faire ? Nous avons essayé de proposer quelques outils. Tout d’abord, nous avons développé un outil d’aide à la rédaction en ligne intitulé COBWEB15. Cet outil vise à guider les auteurs lorsqu’ils rédigent la première version de leur manuscrit en fournissant les éléments CONSORT, des explications sur ces éléments et des exemples de rapports adéquats. Il a été prouvé par des essais contrôlés randomisés que lorsque les auteurs utilisaient l’outil d’aide à la rédaction, ils produisaient un manuscrit plus complet que lorsqu’ils n’avaient pas accès à l’outil. Nous avons également développé un outil d’évaluation par les pairs en ligne, dédié aux chercheurs en début de carrière et associé à un programme de formation. Nous avons montré que lorsque les chercheurs en début de carrière utilisaient cet outil, ils étaient plus susceptibles de détecter des rapports inadéquats au cours du processus d’examen par les pairs que lors du processus habituel.

  • 16 Sylvain Mathieu et al., « Comparison of Registered and Published Primary Outcomes in Randomized Co (...)

15L’exhaustivité des rapports est importante, mais ceux-ci doivent également être précis, notamment dans leur partie « Protocole » au sein de laquelle les chercheurs doivent préciser les résultats primaires et secondaires qui seront évalués et analysés dans leurs essais. Nous nous attendrions à ce que ces résultats soient systématiquement rapportés dans les rapports publiés. Malheureusement, le biais de sélectivité dans la publication des résultats est patent16. Ainsi, dans les études ayant systématiquement comparé les résultats publiés dans le Registre, qui sont les résultats prévus dans le protocole, aux résultats rapportés dans les articles, des différences sont apparues pour un tiers des essais contrôlés randomisés, et ces différences étaient au profit des résultats statistiquement significatifs.

  • 17 Clément Lazarus et al., « Classification and prevalence of spin in abstracts of non-randomized stu (...)
  • 18 Isabelle Boutron et al., « Impact of Spin in the Abstracts of Articles Reporting Results of Random (...)

16Enfin, certains éléments indiquent que les publications sont soumises à des « effets de spin », qui se traduisent par une manière spécifique de présenter les résultats d’une étude pouvant fausser l’interprétation de ces derniers17. Les auteurs peuvent ainsi présenter des résultats de manière à convaincre le lecteur que le traitement est plus bénéfique que ne le montrent les résultats. Les preuves de ce genre de manipulations se retrouvent assez facilement dans les essais cliniques, les études d’observation et les examens systématiques, quel que soit le type d’étude. Cette situation est problématique, car les données montrent que ces manipulations peuvent avoir un impact sur la compréhension qu’ont les lecteurs de cette littérature clinique. Ce phénomène a été évalué dans le cadre d’essais contrôlés randomisés18, où nous avons demandé à des lecteurs de lire au hasard un résumé avec « effet de spin » ou le même résumé sans « effet de spin ». Nous avons constaté que les lecteurs étaient plus susceptibles de croire qu’un traitement serait bénéfique lorsqu’ils lisaient le résumé avec spin.

17Un autre sujet important est l’accès aux données individuelles des patients, tout d’abord pour pouvoir reproduire les résultats, reproduire l’analyse et vérifier si nous pouvons faire confiance aux résultats. Il est également très important de développer d’autres types de recherche et d’inclure une synthèse des travaux liés à l’essai dans la méta-analyse des données individuelles des patients. Ces types d’analyse sont très utiles, notamment pour identifier les patients les plus susceptibles de bénéficier du traitement.

  • 19 Florian Naudet et al., « Data Sharing and Reanalysis of Randomized Controlled Trials in Leading Bi (...)

18Certaines revues, telles que The BMJ et PLOS Medicine, ont une politique très ferme, en ce sens qu’elles exigent le partage des données comme condition de publication des essais cliniques dans leurs revues. Une étude dirigée par Florian Naudet, publiée dans The BMJ en 201819, a cherché à savoir s’il était réellement possible d’avoir accès à ces données. Il a sélectionné 37 essais contrôlés randomisés publiés, a demandé les données individuelles des patients à tous les auteurs, mais n’a pu accéder aux données que dans la moitié des essais.

  • 20 « Enhancing the QUAlity and Transparency Of Health Research », The EQUATOR Network, consulté le 16 (...)

19Je voudrais terminer cette présentation par une citation du professeur Doug Altman, qui était professeur de statistiques à l’université d’Oxford, fondateur du réseau EQUATOR20 et l’un des grands leaders dans le domaine de la transparence et de la méta-recherche. Il a écrit que la communauté scientifique et le grand public méritent un dossier précis et complet sur la recherche. Nous devons mettre en œuvre tous les changements nécessaires pour faire en sorte que ce soit le cas.

Pour aller plus loin

20« Du point de vue de la conformité aux textes de loi, les entreprises pharmaceutiques s’en sortent mieux que les personnels académiques parce que je pense que cela fait partie de leurs processus – il y a une loi et ils doivent la suivre – et ils ont probablement plus de personnel en interne pour pouvoir le faire. D’autre part, les chercheurs n’ont pas d’incitation à se conformer à l’obligation de publier les résultats. Cela est lié au fait qu’ils n’en voient pas l’intérêt et que certains d’entre eux estiment qu’il s’agit d’exigences administratives supplémentaires. Ils vont publier leurs résultats, alors pourquoi devraient-ils aussi les diffuser ? Il faut travailler à une meilleure compréhension au sein de la communauté et, a fortiori, proposer plus d’incitations et une plus grande reconnaissance des personnes qui se conforment effectivement à cette exigence. »

21« Toutes les parties prenantes ont un rôle important à jouer. Les institutions ont un rôle énorme dans la prise de décision par l’intermédiaire des critères qu’elles utiliseront pour accorder des promotions à leurs chercheurs, or actuellement la transparence et la recherche de qualité ne font pas partie des critères qu’elles utilisent. Elles doivent également mettre en place de forts soutiens au partage des données individuelles des patients, car cela n’est actuellement pas du tout bien organisé. Les financeurs ont un rôle essentiel. Certains essaient de mettre en œuvre certaines actions. Par exemple, les NIH demandent que soit ouvert l’accès à toutes les données individuelles des patients, de même qu’au Royaume-Uni, mais nous avons besoin de plus de reconnaissance et de soutien de la part des financeurs. »

22« Un point important à retenir est que les chercheurs veulent pratiquer une recherche de qualité. Il existe des leviers qui les encourageront à aller dans certaines directions plus que d’autres, et c’est sur ces leviers que nous devrions agir. Nous devons être très prudents dans la manière dont nous voulons changer le système et mettre en œuvre ces changements. La façon dont les choses sont mises en œuvre, et dont nos motivations seront comprises, va être très importante pour obtenir un résultat positif. »

Notes

1 Alessandro Liberati, « So Many Questions, so Few Answers », Bulletin of the World Health Organization 88, no 8 (1 août 2010): 568-69, https://doi.org/10.2471/BLT.10.030810.

2 Association médicale mondiale, « Déclaration d’Helsinki de l’AMM – Principes éthiques applicables à la recherche médicale impliquant des êtres humains », World Medical Association (blog), 15 février 2017, https://www.wma.net/fr/policies-post/declaration-dhelsinki-de-lamm-principes-ethiques-applicables-a-la-recherche-medicale-impliquant-des-etres-humains/.

3 U.S. National Library of Medicine, « FDAAA 801 and the Final Rule », ClinicalTrials.gov, consulté le 16 mars 2022, https://clinicaltrials.gov/ct2/manage-recs/fdaaa.

4 European Medical Agencies, « Home », EU Clinical Trials Register, consulté le 16 mars 2022, https://www.clinicaltrialsregister.eu/.

5 Thi-Anh-Hoa Nguyen et al., « Public Availability of Results of Trials Assessing Cancer Drugs in the United States », Journal of Clinical Oncology: Official Journal of the American Society of Clinical Oncology 31, no 24 (20 août 2013): 2998‑3003, https://doi.org/10.1200/JCO.2012.46.9577.

6 Ministère de l’Enseignement supérieur, de la Recherche et de l’Innovation, « Baromètre de la science ouverte », enseignementsup-recherche.gouv.fr, 28 janvier 2022, https://www.enseignementsup-recherche.gouv.fr/fr/barometre-de-la-science-ouverte-83405.

7 Nicholas J. DeVito, Seb Bacon, et Ben Goldacre, « Compliance with Legal Requirement to Report Clinical Trial Results on ClinicalTrials.Gov: A Cohort Study », The Lancet 395, no 10221 (1 février 2020): 361-69, https://doi.org/10.1016/S0140-6736(19)33220-9.

8 The Evidence-Based Medicine Data Lab, University of Oxford, « Who’s Not Sharing Clinical Trial Results? », EU Trials Tracker, consulté le 16 mars 2022, http://eu.trialstracker.net/.

9 Erick H. Turner et al., « Selective Publication of Antidepressant Trials and Its Influence on Apparent Efficacy », New England Journal of Medicine 358, no 3 (17 janvier 2008): 252-60, https://doi.org/10.1056/NEJMsa065779.

10 Maruani et al.

11 The CONSORT Group, « CONSORT 2010 », CONSORT - Transparent Reporting of Trials, 2010, http://www.consort-statement.org/consort-2010.

12 Agnes Dechartres et al., « Evolution of Poor Reporting and Inadequate Methods over Time in 20 920 Randomised Controlled Trials Included in Cochrane Reviews: Research on Research Study », BMJ (Clinical Research Ed.) 357 (8 juin 2017): j2490, https://doi.org/10.1136/bmj.j2490.

13 Philipp Kapp et al., « Transparency and Reporting Characteristics of COVID-19 Randomized Controlled Trials » (medRxiv, 4 février 2022), https://doi.org/10.1101/2022.02.03.22270357.

14 Sally Hopewell et al., « Impact of Peer Review on Reports of Randomised Trials Published in Open Peer Review Journals: Retrospective before and after Study », BMJ (Clinical Research Ed.) 349 (1 juillet 2014): g4145, https://doi.org/10.1136/bmj.g4145.

15 Centre de Recherche en Épidémiologie, French Equator center, « Home », COBWEB Consort-based WEB tool, consulté le 16 mars 2022, https://cobweb.clinicalepidemio.fr/.

16 Sylvain Mathieu et al., « Comparison of Registered and Published Primary Outcomes in Randomized Controlled Trials », JAMA 302, no 9 (2 septembre 2009): 977-84, https://doi.org/10.1001/jama.2009.1242.

17 Clément Lazarus et al., « Classification and prevalence of spin in abstracts of non-randomized studies evaluating an intervention », BMC Medical Research Methodology 15, no 1 (13 octobre 2015): 85, https://doi.org/10.1186/s12874-015-0079-x ; Francesco Emilio Vera-Badillo et al., « Bias in Reporting of End Points of Efficacy and Toxicity in Randomized, Clinical Trials for Women with Breast Cancer », Annals of Oncology: Official Journal of the European Society for Medical Oncology 24, no 5 (mai 2013) : 1238-44, https://doi.org/10.1093/annonc/mds636 ; Kellia Chiu, Quinn Grundy, et Lisa Bero, « “Spin” in Published Biomedical Literature: A Methodological Systematic Review », PLoS Biology 15, no 9 (septembre 2017): e2002173, https://doi.org/10.1371/journal.pbio.2002173 ; Eleanor A. Ochodo et al., « Overinterpretation and Misreporting of Diagnostic Accuracy Studies: Evidence of “Spin” », Radiology 267, no 2 (mai 2013): 581-88, https://doi.org/10.1148/radiol.12120527 ; Emmanuelle Kempf et al., « Overinterpretation and Misreporting of Prognostic Factor Studies in Oncology: A Systematic Review », British Journal of Cancer 119, no 10 (novembre 2018): 1288-96, https://doi.org/10.1038/s41416-018-0305-5.

18 Isabelle Boutron et al., « Impact of Spin in the Abstracts of Articles Reporting Results of Randomized Controlled Trials in the Field of Cancer: The SPIIN Randomized Controlled Trial », Journal of Clinical Oncology: Official Journal of the American Society of Clinical Oncology 32, no 36 (20 décembre 2014) : 4120-26, https://doi.org/10.1200/JCO.2014.56.7503.

19 Florian Naudet et al., « Data Sharing and Reanalysis of Randomized Controlled Trials in Leading Biomedical Journals with a Full Data Sharing Policy: Survey of Studies Published in The BMJ and PLOS Medicine », BMJ (Clinical Research Ed.) 360 (13 février 2018): k400, https://doi.org/10.1136/bmj.k400.

20 « Enhancing the QUAlity and Transparency Of Health Research », The EQUATOR Network, consulté le 16 mars 2022, https://www.equator-network.org/.

Auteur

Cochrane/Inserm/Université de Paris

CC-BY-4.0

Le texte seul est utilisable sous licence CC BY 4.0. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.

Lire

Open access

Acheter

Volume papier

i6doc.comdecitre.fr
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search