1Dans les essais cliniques, la problématique essentielle revient à une comparaison entre groupes afin de déterminer soit une similitude, soit une différence. Ces comparaisons sont effectuées à l’aide de tests statistiques. Ces derniers ne procurent pas une réponse définitive quant à la réalité de la différence et ne la mesurent en aucun cas (encadré 25). Ils déterminent la probabilité d’attribuer au seul hasard, en supposant que les conditions d’indépendance entre les unités expérimentales soient respectées, les différences observées.

2Le choix du test dépend de la variable considérée, de la problématique précise posée sous forme d’une hypothèse et du risque de se tromper que l’on accepte a priori.

3Généralement, on ne retient qu’une seule variable, considérée comme le critère de jugement. L’utilisation de plusieurs critères simultanément ferait appel à des méthodologies et à des analyses complexes qui sortent du cadre de cet ouvrage.

ÉNONCÉ DE L’HYPOTHÈSE

4L’hypothèse revient à formuler une affirmation résumant l’objectif de l’étude. Elle s’inscrit dans une alternative qui débouche nécessairement sur l’acceptation de l’une des deux propositions. Cette alternative est rarement équitable et symétrique : l’une des hypothèses est privilégiée, soit en raison de sa vraisemblance (le nouveau médicament est plus efficace que le placebo), soit par son « coût » (un rapport efficacité/tolérance entre les deux médicaments qui avantage l’un des deux). Cette hypothèse est appelée hypothèse nulle (H₀) et elle est concurrente de l’hypothèse alternative (H₁), sous réserve que les deux hypothèses soient simples et spécifiées.

5Dans le cadre d’un essai clinique, où l’on cherche à comparer deux interventions (ou une intervention par rapport à l’absence d’intervention représentée par le placebo), le test statistique permet d’estimer la probabilité de rejeter à tort l’hypothèse nulle si celle-ci est vraie. Ainsi, si H₀ est vérifiée par l’observation, son acceptation est associée à un faible risque d’erreur. En revanche, si H₀ n’est pas vérifiée, son rejet est conforté par une probabilité précisée par le résultat du test.

6La comparaison de deux traitements se traduit par une alternative simple : soit les deux médicaments sont similaires (A = B), soit ils sont différents (A ≠ B) et l’un des deux est supérieur à l’autre. Privilégier la similitude, soit choisir H₀ (A = B), conduit à évaluer la probabilité de se tromper en déclarant identiques les deux traitements, ce qui permet de limiter le risque de remplacer un médicament par un autre si ce dernier n’est pas meilleur. Dans cette configuration, l’hypothèse alternative est H₁ (A ≠ B).

7Inversement, un essai d’équivalence dont l’objectif est de montrer la similitude entre deux traitements, consiste à privilégier l’hypothèse de se tromper en déclarant les deux traitements différents, soit H₀ (A ≠ B) et H₁ (A = B).

NOTION DE RISQUE

8Le résultat du test donne la probabilité p que la différence observée soit due au hasard. Il est indispensable de décider au préalable, c’est-à-dire avant d’être influencé par le résultat lui-même, le seuil de décision. C’est ce que l’on appelle le risque de première espèce ou risque α (encadré 30). Au risque a de rejeter à tort H₀ s’oppose le risque β d’accepter à tort H₀, alors que c’est H₁ qui est vraie.

Encadré 30. Risques d’erreurs

9Le risque n’attribue pas la probabilité à l’événement que l’on étudie mais à la conclusion que l’on tire des mesures et calculs que l’on a effectués. Ainsi, quelle que soit la signification statistique des résultats, une faute méthodologique, même minime en apparence, par exemple un biais de recrutement, invalide complètement et définitivement le résultat de l’étude. Cela doit inciter à la prudence, non seulement lors de la préparation de l’étude, mais également lors de l’expression des résultats et de leur interprétation. En outre, sa valeur intrinsèque n’a de sens que par rapport au seuil correspondant au risque déterminé préalablement.

10Dans les tests unilatéraux, on reconnaît deux types de risque α et β (voir encadré 31). Ce dernier correspond à la puissance du test qui est égal à 1 – β. Un test puissant empêche de conclure faussement à l’inefficacité d’un traitement pourtant actif.

Encadré 31. Les différents types de risque

11Les tests bilatéraux conduisent à un risque d’erreur de troisième espèce (également appelé γ) qui non seulement concerne l’erreur sur l’interprétation d’une différence, comme pour le risque d’erreur α, mais peut aussi en inverser le sens et conduire à conclure à tort à une supériorité, ou une infériorité, d’un traitement sur un autre. Ce risque d’erreur peut paraître théorique tant il semble facile de vérifier empiriquement le sens d’une différence à partir des données brutes. Il existe néanmoins et, surtout lorsque la décision comporte des conséquences lourdes, il est préférable d’en tenir compte, ce qui nécessite quelques précautions méthodologiques mais renforce la valeur de la décision (encadré 31).

12Il semble qu’il y ait un consensus pour que la valeur du risque a soit 5 % (a = 0,05 ; encadré 32). Néanmoins, il pourra être prudent au cours de certains essais cliniques d’opter pour un risque α de 1 %, ce qui nécessite un effectif plus élevé mais augmente la puissance. On accepte généralement β de 10 ou 20 %, ce qui est très satisfaisant.

13Le degré de signification p est une expression du rejet de H₀ qui permet d’affiner la confiance que l’on accorde au résultat, d’autant plus crédible que p est petit et qu’il traduit un risque faible de se tromper.

INTERVALLE DE CONFIANCE

14L’intervalle de confiance évalue la précision d’un pourcentage ou d’une moyenne (encadré 33). Il est calculé en tenant compte de la dispersion aléatoire des valeurs ; il dépend donc du risque d’erreur a que l’on accepte a priori et qui permet de lire la valeur de e dans la table de l’écart-réduit de l’annexe 5.

Encadré 33. Intervalle de confiance (IC) et degré de liberté (d.d.l.)

CHOIX DES TESTS

15Dans les essais comparatifs, où l’on veut montrer la supériorité d’un traitement sur un autre, le choix se porte généralement sur un test unilatéral capable de déterminer une différence qui ne s’exerce que dans un seul sens. Toutefois, il convient d’en rappeler les limites, car la réponse est univoque. Théoriquement, elle ne concerne que la zone de rejet de l’hypothèse située d’un seul côté : le traitement testé est supérieur à l’autre ou il ne l’est pas. Formellement, le test ne convient plus si le traitement d’épreuve est inférieur « significativement » à l’autre, le sens de la différence n’étant pas indiqué par le test lui-même. Si la décision paraît évidente, un simple regard sur les résultats permettant de déterminer lequel des deux traitements est le meilleur, surtout en cas de différence significative, il est nécessaire de souligner que le test peut perdre de sa pertinence en fonction de la problématique ou, du moins, voir réduire sa puissance et sa robustesse. Ainsi, la prudence est requise lorsque les critères de jugement sont qualitatifs, surtout si la mesure est subjective et/ou le test utilisé peu puissant. Plusieurs tests simples et usuels sont unilatéraux par définition, ce qui doit renforcer la rigueur de leurs conditions d’emploi.

16En revanche, un test bilatéral vérifie l’existence d’une différence sans préjuger du sens dans lequel elle s’exerce. Les tests bilatéraux sont souvent plus exigeants que les unilatéraux, en particulier en ce qui concerne l’effectif. Dans ce cas, le risque doit être multiplié par 2 et un risque de 5 % dans un test unilatéral passe à 10 % dans un test bilatéral.

17Les tests paramétriques permettent la comparaison de variables quantitatives indépendantes répondant à une distribution normale. Il est donc indispensable, d’une part, de vérifier la normalité de la distribution avant de les utiliser et, d’autre part, de les appliquer à un effectif suffisant (répondant à la « loi des grands nombres », réduit en première approximation à un effectif supérieur à 30). Malgré ces contraintes, les tests paramétriques sont parmi les plus fréquemment utilisés en raison de leur simplicité et de la grande fréquence de variables correspondant à ces critères. En outre, certains tests paramétriques, comme le test t de Student ou l’analyse de variance par exemple, peuvent se satisfaire de l’une de ces deux conditions seulement.

18Les tests semi-paramétriques, comme le χ² ou le logrank, s’appliquent aussi bien aux variables quantitatives que qualitatives. Les effectifs peuvent être considérablement plus faibles et les conditions d’utilisation plus larges. Ces tests, le χ² notamment, sont d’usage courant.

19Les tests non paramétriques s’appliquent aux variables quantitatives discrètes et servent pour les variables qualitatives, notamment lorsque la distribution répond à une loi binomiale ou à une loi de Poisson. Les conditions d’utilisation sont beaucoup moins contraignantes mais leur puissance plus faible que pour les tests paramétriques ou semi-paramétriques.

20Deux séries de variables sont dites liées lorsqu’elles ne sont pas indépendantes (le poids et la taille, par exemple) et appariées lorsqu’une valeur dépend d’une autre (évolution de la parasitémie avant et après traitement spécifique). C’est également le cas dans les essais cliniques où le sujet est son propre témoin. Le choix des tests statistiques va en dépendre, ainsi que le risque α.

21Le résultat du test donne une valeur qui, en se reportant à une table appropriée et en fonction du risque d’erreur préalablement déterminé ou de certaines règles de lecture, fournit une probabilité. C’est de cette valeur que dépend la décision. En biologie et en médecine, on admet que la probabilité d’erreur uniquement due au hasard est de 5 % (α = 0,05) dans un test unilatéral et 10 % (α = 0,1) dans un test bilatéral. Il est indispensable de préciser la valeur de α lorsque l’on énonce un résultat. L’hypothèse nulle, c’est-à-dire l’équivalence des deux termes de la comparaison, n’est pas rejetée si α est supérieur ou égal à 0,05 ou 0,1, à moins qu’un autre phénomène que le hasard (un biais, par exemple) ne puisse expliquer la similitude. Dans ces conditions, la différence est dite non significative. À l’inverse, lorsque α est inférieur à 0,05, la différence est significative et l’hypothèse nulle est rejetée : le simple hasard peut expliquer la différence observée. On précise alors la valeur de p qui permet éventuellement d’accorder une plus forte confiance au résultat.

22Une différence significative n’est pas la preuve de l’efficacité. Le test statistique ne démontre pas la causalité et les essais cliniques n’ont pas la capacité de prouver la dépendance entre un traitement et l’amélioration clinique. Réciproquement, la dépendance entre une aggravation et l’emploi d’un produit n’est pas démontrable statistiquement au cours d’un essai clinique.

TAILLE DES ÉCHANTILLONS

23La taille de l’effectif joue un rôle crucial dans le calcul de la puissance d’un test, c’est-à-dire de sa capacité à rejeter avec raison l’hypothèse nulle. L’effectif est choisi en fonction de l’objectif de l’essai clinique et des critères de jugement précisés dans le protocole pour mettre en évidence une différence (H₁) en rejetant l’égalité (H₀). Il est ensuite calculé, selon ces critères, en fonction des paramètres statistiques connus ou estimés des variables étudiées, des risques d’erreur consentis et de l’éventualité de perdus de vue ou d’exclus. Enfin, on cherchera un compromis entre l’exigence de garantir la puissance de l’essai clinique par un nombre élevé de sujets et celle de préserver les exigences logistiques et éthiques en réduisant ce nombre autant que possible.

24En fonction des besoins, de l’urgence de la situation ou de la sévérité de la maladie pour laquelle le produit est développé, on pourra envisager de procéder à un essai clinique séquentiel dont les modalités, en particulier le recrutement des sujets, sont particulières.

25Le calcul pratique de l’effectif de chaque groupe (n) se fait en deux temps : d’abord, on choisit arbitrairement la différence standardisée entre le traitement de référence et le nouveau traitement à comparer, puis on fixe a priori les risques α et β en fonction de la validité et de la puissance que l’on désire donner au résultat. La formule très simple à laquelle on parvient est une approximation acceptable, quoique discrètement sous-évaluée (encadré 34).

Encadré 34. Calcul pratique de l’effectif

26Il est nécessaire de respecter trois contraintes :

• elle tend à perdre de sa validité lorsque la différence d’efficacité moyenne (m_A – m_B) ou de taux de succès (p_A – p_B) entre les deux traitements diminue ;

• les effectifs de chacun des deux groupes doivent être suffisamment élevés, en pratique supérieurs à 30, ce qui permet également d’utiliser la plupart des tests ;

• elle ne s’applique plus lorsque l’efficacité des traitements est mesurée par la survie des malades ou, d’une manière plus générale, lorsque l’on utilise une variable censurée.

27Le nombre de sujets requis va être d’autant plus important que le bénéfice Δ, c’est-à-dire la différence entre les deux traitements, est faible ou que la variabilité (V ou s) entre sujets est forte. De toute façon, il est indispensable d’ajouter à l’effectif calculé un certain nombre de sujets pour tenir compte des refus, des non-inclus, des abandons, des perdus de vue, etc. Il est important, à cet égard, d’essayer de prévoir ce nombre en fonction des habitudes ou des perceptions de la population dont on extrait l’échantillon.

28Plusieurs logiciels, dont certains sont accessibles par internet, permettent de calculer la taille de l’échantillon plus précisément en fonction des critères mentionnés ci-dessus. Il faut souligner que l’effectif donné par ces logiciels est légèrement supérieur à ceux des formules approximatives de l’encadré 34, qui simplifient les calculs mais sous-estiment l’effectif.