1La Risp, comme toute démarche scientifique, part d’une question de recherche à laquelle l’étude doit tenter de répondre. Dans ce cadre, la demande exprimée par les parties prenantes (décideurs, population, financeurs de la recherche, praticiens, chercheurs, etc.) est souvent et légitimement centrée sur les résultats (efficacité de l’intervention). Cependant, il est erroné de considérer que l’efficacité est la seule, voire la principale, question de recherche en Risp. Si l’on retient la finalité d’utilité sociale de la Risp (voir chapitres 1 et 6), d’autres questions de recherche sont tout aussi importantes à considérer. Évidemment, le choix de la question devrait faire l’objet d’un processus de concertation entre toutes les parties prenantes et tenir compte de multiples enjeux de données, de budget, de pertinence, de temps, etc. (Bamberger et Mabry, 2007). Ce choix n’est en effet pas neutre. Par exemple, une même Risp, comme d’autres formes de recherche, peut aboutir à des conclusions différentes selon que l’on choisisse de se baser sur un résultat formulé globalement pour la population ou sur un résultat qui tient compte des écarts entre groupes sociaux.

2Ce chapitre a pour objectif de présenter et d’illustrer les principales questions de recherche en Risp. Ces questions ne sont ni exclusives ni exhaustives ; une même recherche peut parfois répondre à plusieurs questions. De plus, une Risp peut être une étape dans un programme de recherche qui en comporte plusieurs, et chacune de ces étapes peut contribuer à répondre à l’une ou l’autre des questions. La liste des questions potentielles pourrait être très longue ; Patton (2008) en a proposé plus d’une centaine dans un de ses ouvrages sur l’évaluation. Pour ne pas rendre ce chapitre indigeste, nous allons nous limiter aux questions de recherche principales et les plus souvent rencontrées dans les Risp et dans nos expériences. Il y a plusieurs façons de classer ces questions de recherche. Nous avons choisi de les présenter en fonction de l’étape du processus de développement de l’intervention au sein de laquelle elles interviennent le plus souvent (voir figure 3), même si nous avons bien conscience qu’un processus par étape ou linéaire ne rend pas suffisamment compte de la complexité et de l’adaptation de ce développement. Enfin, ce schéma s’applique aux interventions de novo, développées dans le cadre de la recherche. Ainsi, certaines étapes ne concernent pas les interventions déjà existantes pouvant faire l’objet de recherche.

Figure 3. Étapes du développement de l’intervention en santé des populations et questions évaluatives.

Concevoir l’intervention : construire, affiner, valider la théorie d’intervention

3La conception de l’intervention peut être un objet de recherche lors d’une Risp. Cet objet peut d’ailleurs être assez complexe à appréhender dès lors que l’on ne considère pas l’intervention comme séparée du contexte, mais partie prenante d’un système interventionnel (Cambon et al., 2019), c’est-à-dire assumant, d’une part, une perméabilité des composantes interventionnelles et contextuelles et, d’autre part, une dynamique d’actions et d’effets complexe.

4Pour structurer cette démarche, l’approche fondée sur la théorie a de multiples intérêts : justifier et argumenter les stratégies et les activités mobilisées par l’intervention, décrire la cascade des effets attendus (par quels mécanismes causaux chaque activité/stratégie et leur interaction contribue aux résultats), et prendre en compte les facteurs populationnels ou contextuels pouvant interagir avec ces activités. Ainsi, la conception de l’intervention devrait débuter par celle d’une théorie d’intervention. Ceci n’est possible qu’en prêtant attention à la définition de ce que l’on appelle théorie (Moore et al., 2019 ; Cambon et Alla, 2021) qui ne doit pas se limiter, comme cela est souvent le cas, aux théories causales dites classiques comme la théorie de la motivation à se protéger (Maddux et Rogers, 1983) ou la théorie sociale cognitive (Bandura, 1989). Ces théories dites classiques portent en effet un regard généralement décontextualisé et souvent mono-disciplinaire sur un sujet. La théorie doit au contraire intégrer des éléments concrets et liés au contexte de mise en œuvre. La théorie d’intervention doit ainsi intégrer de multiples construits décrivant les hypothèses constitutives du système interventionnel que l’on souhaite étudier lors d’une Risp. Un exemple de définition pour chaque type d’approche théorique est présenté dans le tableau 3.

Tableau 3. Théories et quatre modèles de causalité.

5Dans la continuité des travaux de Chen, Cambon et Alla (2021) ont défini la théorie d’intervention comme la combinaison de :

• la théorie causale qui explique les mécanismes (encadré 1) d’effets activés par les composantes interventionnelles et leur hybridation avec l’ensemble des déterminants contextuels susceptibles d’intervenir en tant qu’obstacles ou facilitateurs des effets attendus (ou pas) ;

• le modèle d’action qui fournit des éléments concrets de mise en œuvre des composantes interventionnelles destinés à guider le processus pour atteindre les objectifs. L’aspect essentiel du modèle d’action est qu’il se concentre, non seulement sur les activités liées aux résultats, mais aussi sur les séquences, les ressources, les acteurs et les conditions préalables nécessaires à leur mise en œuvre.

6La figure 4 présente la théorie d’intervention du système interventionnel.

Figure 4. Théorie d’intervention du système interventionnel.

7La conception de la théorie d’intervention est partenariale par nature (encadré 2). Elle ne peut se concevoir qu’avec les parties prenantes concernées en mobilisant plusieurs sources d’informations : i) des cadres théoriques préexistants (par exemple les modèles de changement de comportements) ; ii) des éléments issus des écrits scientifiques ou d’études antérieures ou concomitantes (sur les liens de causalité, sur l’effet des interventions, sur l’influence du contexte) ; et iii) l’expertise des parties prenantes (quel changement potentiel en mettant en œuvre cette activité et comment et pourquoi va-t-il se produire ?).

8Les étapes ultérieures (figure 3) peuvent permettre d’affiner et de valider empiriquement la théorie d’intervention, notamment dans l’étude pilote. Cette validation peut également s’effectuer au cours de l’évaluation dans une perspective d’analyse de l’efficacité de l’intervention en conditions réelles et d’analyse des mécanismes conduisant à cette efficacité (voir chapitre 3) en mobilisant des méthodes qualitatives ou quantitatives.

9Ce travail de construction de la théorie de l’intervention peut aussi être réalisé a posteriori de la mise en œuvre des interventions. C’est le cas des évaluations conduites pour des interventions déjà existantes. Dans ce cadre, disposer d’une théorie d’intervention peut aussi permettre de questionner les éléments classiques de l’évaluation des interventions que sont la pertinence (l’intervention et ses composantes sont-elles susceptibles de répondre aux besoins de santé dans ce contexte donné ?) et surtout la cohérence (les activités sont-elles cohérentes avec les objectifs de l’intervention, entre eux) (Contandriopoulos et al., 2011).

Évaluer la viabilité

10La viabilité (décrite par Chen comme la validité de viabilité « Viability validity », en complément des validités interne et externe) est définie comme la mesure dans laquelle une évaluation fournit des preuves qu’une intervention est une réussite dans le monde réel (Chen, 2010). Cette notion de « réussite » fait référence aux dimensions suivantes de l’intervention du point de vue des parties prenantes :

• utile : les parties prenantes perçoivent-elles l’intervention comme utile pour atténuer les problèmes ou pour améliorer le bien-être ? ;

• abordable : les financeurs considèrent-ils que l’intervention est envisageable au regard de leur capacité à financer ? ;

• pratique : les professionnels de terrain concernés peuvent-ils la mettre en œuvre avec leurs moyens et expertises ? ;

• adaptée : les organisations existantes peuvent-elles coordonner en routine et mettre en œuvre les activités liées à l’intervention ? ;

• évaluable : est-il possible d’évaluer les résultats de cette intervention ? (sous-entendu, y a-t-il une hypothèse du lien entre les composantes interventionnelles et de potentiels effets sur la santé ?).

11La viabilité va ainsi au-delà de la faisabilité (possibilité de mettre en œuvre une intervention), pour s’intéresser à sa capacité d’être mise en œuvre, pérennisée, mise à l’échelle, en condition de routine, par les acteurs habituels (et non pas par exemple tel qu’on peut le connaître en contexte de recherche avec un financement spécifique, un cadre juridique adapté, des intervenants ad hoc, etc.).

12S’interroger sur la viabilité d’une intervention devrait être un préalable à toute étude d’efficacité afin d’éviter le risque de conclure à l’efficacité d’une intervention qui ne sera finalement pas « viable » dans le monde réel à la fin du processus de recherche (Chen, 2010). Ainsi, l’évaluation de la viabilité devrait s’effectuer aussitôt que possible dans le processus de développement d’une intervention. C’est un des objets des études pilotes (Thabane et al., 2019) en Risp (encadré 3).

Évaluer l’efficacité

Efficacité théorique vs en conditions réelles

13L’anglais dispose de deux mots pour parler d’efficacité : efficacy pour l’efficacité en conditions dites idéales (ou théoriques, où les facteurs d’influence sont très contrôlés) et effectiveness pour l’efficacité en conditions réelles (Porta, 2008). L’efficacité en conditions idéales est déterminée généralement par un essai comparatif par assignation aléatoire « classique », tandis que l’efficacité en conditions réelles l’est par un essai comparatif pragmatique, une étude quasi expérimentale ou une étude observationnelle (expérimentation naturelle). La récente crise Covid-19 nous a familiarisés avec la différence entre les deux à travers l’évaluation de l’efficacité du vaccin : essais comparatifs par assignation aléatoire évaluant l’efficacy comparativement à des études, dites en vie réelle, réalisées notamment à partir des bases de données médico-administratives évaluant l’effectiveness.

14Dans le champ de la Risp, les études sont le plus souvent de facto des études d’efficacité en situation réelle. En effet, en raison de la nature des interventions, il est très rare de se placer en situation expérimentale, ce qui concerne plutôt les interventions relativement simples, techniques, comme l’acte de vacciner par exemple.

15L’efficacité d’une intervention en santé des populations se juge sur des résultats de santé (morbidité, mortalité, bien-être, etc.). Cette efficacité est ce qui correspond à l’objectif général, ou le but d’une intervention dans la démarche de planification. Par défaut, elle peut être jugée sur des résultats distaux concernant des déterminants de santé (diminution d’une exposition environnementale, changement de comportement, etc.) ou des résultats proximaux de recours aux soins ou d’utilisation des activités et des services offerts par l’intervention. C’est ce qui correspond aux objectifs spécifiques d’intervention dans la démarche de planification.

16Il est en effet souvent impossible, ou non pertinent, d’évaluer l’effet d’une intervention sur des résultats de santé, en particulier quand ils sont à long terme (par exemple, une intervention visant à renforcer les compétences psychosociales de l’enfant peut mettre des décennies avant de produire des résultats observables en termes de santé). Dans le cas où les résultats ne sont pas des résultats de santé, il est nécessaire d’argumenter de l’intérêt des résultats concernant les déterminants (c’est-à-dire d’avoir des éléments factuels indiquant qu’un changement d’exposition à tel ou tel déterminant va conduire in fine à un changement en termes de santé). Cela peut être aussi un des usages de la théorie d’intervention abordée dans le paragraphe précédent.

Impacts

17Il existe de nombreuses acceptions du terme « impact » dans le domaine de la recherche en santé, les plus pertinentes semblent les suivantes (voir l’exemple de l’encadré 4) :

• des résultats à long terme quand ils ne sont pas mesurables dans le cadre de l’étude et qu’il faut un temps très long pour en voir l’apparition (par exemple sur un programme visant à réduire la consommation tabagique chez les adolescents, le résultat peut être la prévalence du tabagisme et l’impact – non mesurable, mais modélisable –, une réduction de l’incidence des cancers) ;

• des résultats en santé quand l’objectif de l’étude n’est pas formulé dans ces termes. Ce cas de figure se présente en particulier dans le cadre des projets s’inspirant de l’approche de la santé dans toutes les politiques. Chacune des politiques a des objectifs propres non sanitaires qui peuvent avoir des effets indirects (ou impacts) sur le plan de la santé ;

• des conséquences inattendues, favorables ou défavorables d’une intervention (qui se distinguent ainsi du résultat qui est la conséquence attendue correspondant à la question de recherche) (Turcotte-Tremblay et al., 2021). Pour donner un exemple d’impact favorable inattendu, on peut penser à un programme d’activité physique visant à augmenter le bien-être des personnes âgées (= résultat attendu) qui peut avoir comme impact sanitaire favorable une diminution de la morbidité cardiovasculaire et comme impact social favorable un renforcement des liens communautaires. Pour donner un exemple d’impact défavorable inattendu : l’augmentation des espaces verts dans une ville pour favoriser l’activité physique peut conduire à l’augmentation de l’incidence de symptômes allergiques chez les enfants. L’encadré 5 propose une liste de 12 questions pouvant guider les réflexions à l’égard des effets inattendus.

Efficience

18L’efficacité peut être exprimée au regard des ressources mobilisées pour l’obtenir (humaines, financières, etc.), c’est ce qu’on appelle l’efficience (efficiency). Ce champ des études médico-économiques dispose de trois principales approches (Le Pen et Levy, 2018) correspondant à trois types de résultats (encadré 6) :

• l’approche coût-efficacité utilise un indicateur de résultat exprimé sur le plan de la santé ou de déterminant de santé (par exemple le coût d’un infarctus évité) ;

• l’approche coût-utilité utilise un indicateur de résultat générique et composite intégrant l’effet d’une intervention au regard de quantité et de qualité de vie. L’année de vie pondérée par la qualité (QALY : quality-adjusted life year) est l’indicateur de référence en la matière. Cette approche présente les avantages, d’une part, d’intégrer l’ensemble des effets d’une intervention et, d’autre part, de pouvoir comparer des interventions différentes sur des thèmes différents entre elles ;

• l’approche coût-bénéfice utilise aussi un indicateur générique, mais exprimé sur le plan monétaire et non de la santé.

Mise en œuvre

19La description de la mise en œuvre d’une intervention est un objet important de l’évaluation (Ridde et Turcotte-Tremblay, 2019). Cette description peut contribuer à expliquer les résultats et leur hétérogénéité. Cela permet notamment, par exemple, de différencier si les résultats négatifs sont liés à l’inefficacité intrinsèque de l’intervention (échec de la théorie d’intervention), à une mise en œuvre inadéquate ou inachevée (échec de la mise en œuvre) ou à un défaut de fidélité ou d’adhésion à l’intervention. L’analyse de la mise en œuvre accorde une place centrale au rôle des acteurs sociaux, aux enjeux de pouvoir et aux dynamiques internes et externes de l’intervention. Les théories de sciences sociales sont souvent convoquées pour bien appréhender ces processus de mise en œuvre.

20De nombreux indicateurs de mise en œuvre (« implementation outcomes ») sont utilisés, notamment la couverture (part de la population cible effectivement atteinte ou participante), la dose d’intervention (« quantité » d’intervention délivrée), la fidélité, la qualité de l’organisation (respect des normes, des référentiels, des bonnes pratiques), la satisfaction des parties prenantes, etc. (Proctor et al., 2011 ; Hoffmann et al., 2014).

Analyser les mécanismes

21Pour des interventions complexes (ce qui est le cas de la plupart des interventions en santé des populations), l’analyse des mécanismes est nécessaire pour comprendre l’obtention d’un résultat : comment a-t-il été produit, à quelles conditions, pour qui, comment ? (Craig et al., 2012b). Cette compréhension est déterminante pour étudier la mise en œuvre, mais aussi pour accompagner la pérennisation, le transfert ou la mise à l’échelle de l’intervention. Elle renvoie directement à la caractéristique d’utilité sociale de la Risp.

22Cette analyse consiste à caractériser les chaînes causales (pourquoi telle activité produit tel mécanisme, tel résultat et comment ?), à analyser les facteurs liés à la mise en œuvre d’une intervention (qu’est-ce qui fait qu’un acteur s’en empare ou non ?) et enfin, à comprendre la contribution des facteurs contextuels et populationnels sur l’intervention et les résultats (cela permet par exemple d’expliquer l’effet différentiel que peuvent avoir certaines interventions sur les inégalités sociales et territoriales de santé). Ce travail d’analyse contributive des mécanismes peut se faire notamment dans le cadre d’une évaluation fondée sur la théorie (voir chapitre 3).

Analyser les facteurs de diffusion d’une intervention

23Une intervention est évaluée à un moment donné dans un contexte donné. Un enjeu, et c’est tout l’intérêt social de la Risp, est de pouvoir accompagner un processus de diffusion de l’intervention dans la mesure où elle a montré qu’elle était efficace, que cette diffusion se fasse par pérennisation (dans le temps), transfert ou généralisation (dans l’espace). Ainsi, la Risp peut, voire doit, intégrer des questions de recherche portant sur la description et l’analyse :

• du transfert de l’intervention d’un contexte expérimental à la vie réelle, des facteurs liés à l’adoption de l’intervention par les acteurs et décideurs ;

• de l’applicabilité et de la transférabilité de l’intervention dans d’autres contextes que celui dans lequel elle a été évaluée (Cambon et al., 2013 ; Schloemer et Schröder-Bäck, 2018) (encadré 7) ;

• des processus et des conditions de mise à l’échelle ;

• des facteurs de pérennisation de l’intervention (pérennité, durabilité).

24À noter que cette analyse des facteurs de diffusion se nourrit de toutes les étapes précédentes : développer une théorie d’intervention, analyser la viabilité, analyser les processus et les mécanismes permettant de fournir des éléments de compréhension et prédicteurs de la capacité de l’intervention à être diffusée, dans quelles conditions et le cas échéant avec quelles adaptations. Ainsi, si conceptuellement on envisage la diffusion d’une intervention une fois qu’elle a démontré sa viabilité et son efficacité, le recueil des éléments permettant cette analyse s’effectue tout au long du processus de recherche.

Conclusion

25Ce chapitre montre que les questions de recherche en Risp sont multiples. Elles ne sont pas mutuellement exclusives et peuvent s’articuler de façon concomitante ou séquentielle. Les questions de recherche du tableau suivant sont données à titre illustratif et indicatif. En effet, chaque Risp est un cas particulier et les questions auxquelles elle répond dépendent du contexte de la recherche, de ses contraintes de temps et de données et du point de vue des parties prenantes.

Tableau 4. Questions de recherche.