Version classiqueVersion mobile
OpenEdition Books

Sociologue comme médiateur ? Accords, désaccords et malentendus

 | 
Jean-Pierre Delchambre

Partie III. Le chercheur dans la cité

L’apport de la théorie de la complexité dans les méthodes d’évaluation en santé publique (Note relative à une recherche évaluative en cours)

Olivier Schmitz, Jean-Christophe Chiêm, Thérèse Van Durme, Sophie Cès et Jean Macq

Texte intégral

Introduction

  • 1 Voir notamment l’interview de Henri Bergeron : « Nouvelle santé publique et individualisation », P (...)

1Pendant longtemps, les études évaluatives en santé publique ont été dominées par des approches et des méthodes mal adaptées aux attentes de l’intervention, en raison de ce que Massé appelle la « fétichisation » des méthodes quantitative et des outils « validés » de collecte de données (Massé, 1993). Les chercheurs ont privilégié l’étude des résultats et de l’impact d’un programme donné sur une population ciblée, sans vraiment s’interroger sur l’adéquation entre les interventions proposées et les besoins de la population visée, ni sur les modalités d’implantation, l’organisation et le fonctionnement concret de ces interventions. L’usage d’outils standards, essentiellement quantitatifs, s’est également traduit par une dévalorisation du point de vue et de l’expérience des acteurs sociaux concernés. Au cours des dernières décennies, on a cependant vu s’opérer des changements importants dans les outils méthodologiques et conceptuels utilisés par les chercheurs en santé publique (Contandriopoulos et al., 2000), si bien que certains auteurs parlent de l’émergence d’une « nouvelle santé publique1 » faisant davantage appel aux sciences sociales, et faisant la part belle à des méthodologiques mixtes. Les raisons de ces changements au sein des méthodes évaluatives va bien au-delà de la simple reconnaissance de l’intérêt des méthodes qualitatives, par ailleurs reconnue depuis longtemps, et dont l’opposition quelque peu caricaturale aux méthodes quantitatives n’a plus beaucoup de sens aujourd’hui. Nous partageons l’idée que toute étude évaluative de programme nécessite de recourir à des outils adaptés aux objectifs spécifiques de l’étude et permettant d’évaluer autant les résultats et l’impact du programme sur une population donnée, que la structure, l’implantation et le fonctionnement concret de celui-ci. L’usage de méthodes mixtes devient une nécessité lorsqu’il s’agit d’évaluer des interventions complexes, ne fût-ce que pour pouvoir les classer, les distinguer et les comparer entre elles.

2Dans le même mouvement, on constate la réappropriation, par certains chercheurs de modèles théoriques et conceptuels provenant d’autres disciplines que la santé publique. C’est notamment le cas de la « nouvelle théorie des systèmes complexes adaptatifs » (SCA), reposant sur la capacité de certains systèmes à s’adapter continuellement aux modifications de leur environnement par des expériences d’apprentissage. Cette théorie a notamment été utilisée par une équipe de chercheurs britanniques gravitant autour de Trisha Greenhalgh, dans l’évaluation d’interventions complexes dans le domaine de la santé.

3Notre intention, dans ce texte, est d’illustrer ces différents aspects semblant témoigner de l’émergence d’une « nouvelle santé publique » en présentant, dans les grandes lignes, une méthodologie élaborée pour l’évaluation d’un programme dont l’objectif est de tester des formes de services innovantes permettant de retarder le plus possible l’institutionnalisation de la personne âgée.

4La présentation de cette méthode évaluative, qui s’inspire à la fois des travaux de Greenhalgh et collègues dans le domaine de la santé publique permet également d’éclairer les différents enjeux et malentendus qui peuvent résulter de son utilisation, notamment au niveau des relations entre chercheurs et commanditaire.

I. L’étude : l’évaluation de projets visant le maintien de la personne âgée fragile à domicile

  • 2 A entendre ici comme n’étant jusqu’à présent ni financés, ni remboursés par l’Institut national d’ (...)
  • 3 Cette étude est réalisée par une équipe de chercheurs rattachés à différentes universités belges ( (...)

5La méthode présentée plus bas a été élaborée dans le cadre d’une étude évaluative portant sur un ensemble de 62 projets pilotes proposant des soins « alternatifs2 » à la personne âgée fragile3. Le financement de ces projets par l’Institut national d’assurance maladie-invalidité (Inami) vise à apporter des alternatives à la vie soit « à domicile » versus « en maison de repos (et de soins) » pour les personnes âgées et fragiles. Le programme « Protocole 3 » dans lequel s’inscrit cette étude fait ainsi partie des initiatives mises en œuvre par les pouvoirs publics belges afin de trouver des pistes permettant de réduire la facture globale pour les pouvoirs publics de la prise en charge des soins que nécessite cette population en augmentation constante dans la plupart des pays européens.

  • 4 L’implantation d’un projet renvoie au processus complexe par lequel une innovation est concrètemen (...)

6L’objectif général de l’étude est d’évaluer comparativement l’implantation, l’efficacité et l’impact des 62 projets concernés. Pour y arriver, nous avons élaboré un dispositif méthodologique combinant une étude qualitative descriptive portant sur la structure, le processus d’implantation4 des projets (leur mise en œuvre dans leur contexte spécifique) et leur fonctionnement concret avec une étude quantitative portant quant à elle sur les aspects économiques des projets et sur leurs résultats sur les bénéficiaires mesurés à l’aide de diverses échelles.

7Dans un premier temps, l’analyse qualitative a permis de guider l’analyse économique en identifiant les différentes interventions proposées par les projets, de même que les composantes méritant d’être soumises à une analyse économique comparative. Nous sommes en effet partis du postulat que les projets sont constitués de différentes composantes méritant chacune d’être prises en compte afin de pouvoir clairement expliquer, à terme, laquelle est responsable de tel effet ou résultat constaté, et pour quelles raisons. Les principales composantes prises en compte sont, en vrac : les objectifs, les services offerts, les ressources, la population cible, le contexte d’implantation, les moyens de recrutement des bénéficiaires, le partenariat organisationnel, le personnel, l’intensité de l’intervention, etc. Lorsque la collecte des données sera terminée, les résultats de l’analyse qualitative permettront également d’éclairer les divergences et convergences entre les projets mises en évidence par les analyses de coût et d’efficacité des interventions proposées. Chaque partie de l’étude alimente ainsi les autres, tant en données qu’en pistes d’analyse et hypothèses de travail.

II. L’approche : l’évaluation de projets complexes

  • 5 Indépendamment des interventions proposées, certains projets se présentent comme un nouveau servic (...)

8Le programme « Protocole 3 » a été mis en place de manière « bottom-up », c’est-à-dire en laissant au « secteur » la possibilité d’expérimenter des formules de services alternatives n’étant pas encore délivrées sous cette forme par le système de santé actuel. Les projets financés présentent entre eux un certain niveau de complexité se mesurant notamment au nombre plus ou moins élevé de composantes devant être « organisées » (nombre de professionnels, modalités variables d’intervention, partenariats, outils de coordination, etc.). A ces éléments « internes » se rajoutent des variables « externes » en termes de modalités d’imbrication du projet dans des environnements institutionnels extrêmement variables5. Leur évaluation nécessitait ainsi de prendre en compte cette complexité au niveau de l’analyse. C’est dans ce but que les travaux de Greenhalgh et collègues (Greenhalgh et al., 2004 ; Greenhalgh et Russel, 2010 ; Greenhalgh et al., 2011), qui proposent depuis le début des années 1990 d’envisager les interventions et programmes de santé comme des systèmes complexes adaptatifs, nous furent d’une grande utilité. La théorie des SCA se présente comme une alternative au paradigme mécaniciste ou organiciste qui envisageait les « systèmes », aussi bien vivants qu’organisationnels, comme des « mécaniques » qu’il est possible de réparer quand elles ne fonctionnent plus comme souhaité (image du système comme une mécanique bien huilée). Les métaphores fonctionnalistes du « corps-machine », de « l’organisation comme machine », de l’hôpital comme « machine à guérir », et bien sûr de la société comme organisme vivant, sont autant d’illustrations de cet ancien paradigme sur lequel se sont fondées la plupart des réformes interventionnistes ou « top-down ». L’idée sousjacente étant que, lorsqu’un système ne fonctionne pas comme il le devrait aux yeux des policy makers, il suffit de traiter le trouble en cause par le remède approprié (modèle de l’action-réaction linéaire). Ce paradigme se trouve donc à l’origine de la surestimation de la capacité des pouvoirs publics à induire du changement dans l’organisation des pratiques médicales ou dans les comportements de la population par des réformes.

9Du point de vue de nombreux chercheurs, un tel changement de paradigme était devenu nécessaire en raison des faibles résultats apportés par les études d’évaluation envisageant les systèmes de santé comme des systèmes compliqués plutôt que complexes, c’est-à-dire composés d’agents agissant de manière linéaire et univoque les uns sur les autres. Un problème « complexe » se distingue en effet d’un problème « compliqué » en raison du fait que la même recette ne va pas forcément produire le même plat (Plsek, 2003), qu’un dispositif qui a atteint les buts visés dans un contexte donné, ne produira pas forcément le même résultat dans un autre contexte. La prise en compte de cette complexité ne veut pas dire que l’analyse va permettre de « détricoter » cette complexité afin d’identifier les effets reproductibles, mais bien nous permettre au contraire de contextualiser ces effets. La méthode proposée repose ainsi sur une métaphore plus pertinente des systèmes de santé devenus de plus en plus complexes, et se propose par la même occasion de donner une place à l’imprévisibilité, à la créativité, aux phénomènes émergeants et à la flexibilité des équipes et des environnements dans lesquels ceux-ci s’insèrent.

  • 6 Un « projet » est souvent lui-même imbriqué dans un ensemble de services coordonnés par une organi (...)
  • 7 Entre, par exemple, des « guidelines » orientant l’activité médicale et le contexte unique, les pr (...)
  • 8 C’est de leurs interactions que naissent notamment les idées innovantes et créatrices.
  • 9 Qui permettent par exemple de tracer les grandes lignes du comportement des médecins généralistes, (...)

10De manière synthétique, un SCA peut être défini comme : « Un ensemble d’agents individuels ayant la liberté d’agir d’une manière qui n’est pas toujours entièrement prédictible, et dont les comportements sont interdépendants, si bien que le changement de comportement d’un agent modifie le contexte des autres. » A la différence des systèmes « compliqués », un SCA présente notamment les caractéristiques suivantes : 1° il n’a pas de frontières bien définies, puisque les agents qui le composent font partie de différents systèmes en même temps ; 2° il subit, de par son imbrication (embeddedness) dans d’autres systèmes sociaux, des influences extérieures qui peuvent agir sur le comportement des agents qui le composent6 ; 3° il est, de ce fait traversé de tensions et de paradoxes entre ses parties, et qui ne peuvent jamais être totalement résolus7 ; 4° il se comporte en suivant un ensemble de « règles internalisées » (normes, représentations, modèles mentaux…) qui orientent partiellement son comportement général ; 5° il s’adapte continuellement aux changements induits par les interactions entre les agents qui le composent8 ; 6° il présente un comportement général qu’il est possible de décrire à travers certains énoncés ou métaphores9, qui permettent de décrire le comportement inattendu et imprévisible d’un système, d’en définir le contexte et les limites ; 7° il constitue un terrain fertile pour faire émerger l’équilibre, l’innovation et le progrès, sans qu’il ne soit nécessaire de les imposer de l’extérieur (Plsek et Greenhalgh, 2001).

11Selon John Paley, la notion de système complexe adaptatif (SCA) n’est qu’un concept exploratoire parmi d’autres, une nouvelle manière de « regarder » le monde social, de lui attribuer d’autres propriétés. L’un des avantages de ce concept réside dans la possibilité qu’il présente d’être appliqué à des réalités très différentes, et de nous permettre d’en comprendre le fonctionnement adaptatif. Le système immunitaire, une colonie de termites, le marché financier, sont autant de « réalités » dont le fonctionnement parfois imprévisible peut être mieux compris si l’on tient compte de leur complexité.

III. Une méthode d’analyse centrée sur les changements adaptatifs des projets

12De notre point de vue, la plupart des « projets Protocole 3 », tout comme d’ailleurs n’importe quelle innovation dans le domaine de la santé, peuvent être envisagés comme des SCA dans le sens où ils doivent chacun s’imbriquer dans un système local d’offre de services et de soins qui est déjà complexe en soi, mais également parce que leur fonctionnement et leur organisation interne reposent parfois sur les épaules d’un grand nombre de personnes dont les relations sont complexes et, finalement, parce qu’ils doivent s’implanter dans des environnements institutionnels dont les limites les séparant d’autres systèmes présentent un certain flou. Tout cela fait que n’importe quel changement tant interne qu’externe peut donner une orientation nouvelle à ces projets, redéfinir leurs règles de fonctionnement, modifier leurs objectifs ou les moyens mis en œuvre pour y parvenir. Le concept de SCA, nous l’avons vu, fait la part belle aux « agents » composant le « système » qui, dans ce cas-ci, sont avant tout les professionnels des projets qui seuls disposent d’une certaine liberté d’action qu’ils peuvent utiliser d’une manière imprévisible et adopter un comportement modifiant le contexte d’action du projet.

13Dès lors, évaluer ces projets au regard des objectifs du programme général dans lequel ils s’inscrivent ne peut se faire sans tenir compte de la manière dont ceux-ci vont être implantés, répondre aux défis successifs qui vont se présenter à eux, et s’adapter à leurs environnements spécifiques, etc. C’est la raison principale pour laquelle nous avons attribué un statut central aux changements adaptatifs introduits dans les « projets » tout au long de leur processus d’implantation. Les changements et les adaptations du modèle organisationnel qui en découlent constituent selon nous de bons indicateurs de l’adéquation entre l’intervention proposée et l’organisation d’un projet et un environnement donné. L’étude d’implantation permet ainsi d’identifier les difficultés que va rencontrer un projet d’un type particulier, les manières plus ou moins pertinentes d’y répondre et, enfin, les raisons de ces difficultés.

14Ces changements adaptatifs se manifestent notamment à travers les écarts qui apparaissent par rapport au projet tel qu’il a été initialement conçu (le « plan ») tout au long de sa mise en œuvre. C’est pour cela que nous collectons les informations utiles auprès des professionnels des projets à intervalles réguliers, et via de multiples outils. En outre, parmi l’ensemble des 62 projets, 16 ont également été choisis (en raison de leur diversité) pour faire l’objet d’études de cas plus approfondies (Anderson et al., 2005). D’un point de vue analytique, ces adaptations sont interprétées en fonction de ce qu’elles peuvent nous apprendre des difficultés rencontrées par les différents types de projets, de leurs forces et de leurs faiblesses respectives, et de leurs interactions avec l’environnement dans lequel ils se déploient.

IV. Limites et malentendus

15Étudier le processus d’implantation des projets Protocole 3 envisagés comme des SCA afin d’en tirer des recommandations susceptibles d’aider les pouvoirs publics dans leurs choix futurs présente cependant certaines limites. Une telle approche nécessite en effet certaines conditions d’expérimentation pour les projets et d’évaluation pour les chercheurs qui ne sont pas toujours rencontrés. De même, les attentes de l’équipe scientifique ne rencontrent pas toujours celles des autres parties prenantes (commanditaires, professionnels des projets, membres du comité de suivi de l’étude, etc.) de l’étude.

16Premièrement, les professionnels œuvrant au sein de ces projets ne disposent pas toujours de la liberté de manœuvre, et donc d’adaptabilité qu’ils souhaiteraient. Étant financés sur la base d’un dossier de candidature et dans une enveloppe budgétaire bien définie, certaines demandes d’aménagement, touchant par exemple aux critères d’inclusion et d’exclusion de la population cible, ne sont acceptées que pour un quota de 5 ou de 10 % des bénéficiaires. De ce point de vue, on peut dire que le cadre notamment budgétaire dans lequel se développent les projets limite en partie les possibilités d’adaptation des projets. D’autres limitations à l’adaptation ont également été observées auprès des professionnels des projets eux-mêmes qui refusaient de modifier certains aspects organisationnels de leur projet, afin de rester le plus fidèle possible au « plan » initial.

17Une autre difficulté que nous rencontrons est liée à la qualité des données collectées auprès des projets évalués. Pour pouvoir identifier de manière très précise les stratégies d’adaptation mises en œuvre par les projets, il est nécessaire que nous collections des données sur la manière dont les projets se sont « adaptés » pour faire face à tel ou tel défi. Or, la quantité et la qualité des données collectées auprès des projets n’ayant pas fait l’objet d’études de cas est souvent problématique.

18Enfin, le recours à une méthodologie d’évaluation reposant sur l’idée centrale que la réalité est complexe et qu’une formule qui génère certains résultats ne va pas forcément produire les même résultats si on l’implante dans un contexte différent revient à dire que les résultats que l’on peut tirer d’une expérience pilote sont toujours partiellement aléatoires, irréductibles à un modèle simple, etc., ce qui peut avoir de quoi inquiéter les commanditaires qui s’attendent souvent à des recommandations concrètes et à résultats généralisables. Ainsi, depuis le début de cette étude, l’équipe scientifique doit en effet régulièrement répondre à des demandes d’explicitation « concrètes » de son travail, et cela malgré les régulières présentations détaillées de la méthodologie utilisée et des résultats attendus.

19L’un des enjeux de l’usage d’une telle approche, pouvant également être source de malentendus, consiste d’après nous à être explicite sur le type de résultats auquel le commanditaire peut s’attendre. En ce qui concerne cette partie de l’étude, celui-ci pourra notamment disposer : d’une description détaillée des interventions proposées par les projets, y compris de leurs modalités de délivrance, d’une évaluation de leur niveau d’efficacité relative par rapport aux objectifs du programme, et de l’identification des mécanismes, des contextes et des populations rendant ces interventions plus ou moins efficaces.

Conclusion

20Identifiant le « projet » comme un système complexe de relations s’opérant à différents niveaux et entre différentes catégories d’acteurs, le dispositif méthodologique mis en œuvre pour l’évaluation des projets « Protocole 3 » illustre de différentes manières la nécessité de la combinaison d’une pluralité d’approches méthodologiques dans les recherches évaluatives. Il vise précisément à dépasser les limites des études, largement normatives, centrées sur les résultats et les impacts d’un programme donné en prenant également en compte l’implantation, la mise en œuvre, la réception et l’intégration dans le système local d’un ensemble de projets pilotes complexes. Plutôt que de se focaliser uniquement sur l’évaluation de l’efficacité de ceux-ci au regard des objectifs généraux du programme Protocole 3, il nous a semblé tout aussi pertinent de viser également à produire des résultats et recommandations permettant d’améliorer les projets tels que proposés et de les adapter en fonction de l’expérience acquise. Pour cela, il nous a semblé important de pouvoir à la fois les comparer entre eux et de décrire la manière dont les projets ont été effectivement mis en place et comment ceux-ci se sont adaptés aux différents défis rencontrés tout au long de leur développement. De tels résultats descriptifs sont bien évidemment indispensables pour identifier les composantes des projets ayant facilité ou entravé la délivrance des interventions selon les modalités mises en place par les projets, ou bien pour rendre compte tout simplement d’effets inattendus. La méthode évaluative proposée a l’ambition de pouvoir dire comment un projet a fonctionné sur le terrain, comment les différents services proposés ont été délivrés, comment ceux-ci ont-ils été reçus par les bénéficiaires, comment et pourquoi les interventions ont-elles été adaptées au fil du temps. Notre objectif est de pouvoir produire, à terme, une série de recommandations fondées sur et alimentées par l’expérience des projets, apportant des réponses très concrètes à des questions portant, par exemple, sur les modifications à apporter à l’organisation et au contenu des services proposés, à la procédure d’implantation du projet, au choix et à la formation des intervenants, à l’intensité et/ou à la durée des interventions, aux critères d’inclusion et d’exclusion de la population cible, etc.

21En prenant un peu de recul par rapport à l’alternative que proposent les études évaluatives combinant des méthodologies mixtes, et au regard de l’évidente complexité des interventions à évaluer dans le domaine de la santé et des soins, on peut réellement se demander comment faire autrement pour en évaluer l’efficacité ? De notre point de vue, la prise en compte de la complexité d’une intervention est inévitable si l’on veut pouvoir produire des recommandations qui tiennent compte de l’ensemble des facteurs intervenant au niveau de ses résultats.

Bibliographie

Références bibliographiques

Anderson R., Crabtree B.F., Steele D., McDaniel R.R., « Case study research : the view from complexity science », Qualitative Health Research, 15(5), 2005, p. 669-685.

Dupuy J.-P., « Sur la complexité du social », dans F. Fogelman Soulié (dir.), Les théories de la complexité, Paris, Seuil, 1991, p. 394-409.

Fassin D., Faire de la santé publique, EEHESP, Paris, 2008.

Greenhalgh T., Robert G., Macfarlane F., Bate P., Kyriakidou O., « Diffusion of innovations in Service organizations : systematic review and recommendations », The Milbank Quarterly, 82(4), 2004, p. 581-629.

Greenhalgh T., Plsek P., Wilson T., Fraser S., Holt T., « Response to "The appropriation of complexity theory in health care" », Journal of Health Service Research Policy, 15 (2), 2010, p. 115-117.

Greenhalgh T. et Russel J., « Why do evaluations of ehealth programs fail ? An alternative set of guiding principles », PLOSmedicine, 7 (11), 2010, p. 1-5.

Havelange V., « Structures sociales et action cognitive : de la complexité en sociologie », dans F. Fogelman Soulié (dir.), Les théories de la complexité, Paris, Seuil, 1991, p. 368-393.

Leclerc B.-S., « L’épidémiologie contemporaine en crise de paradigme », Ruptures, 10/2, 2005, p. 178-198.

Luhmann N., Politique et complexité. Les contributions de la théorie générale des systèmes, Paris, Le Cerf, 1999.

Massé R., « Réflexions anthropologiques sur la fétichisation des méthodes en évaluation », dans J. Légaré et A. Demers, L’évaluation sociale : savoirs, éthique, méthodes, Montréal, Editions du Méridien, 1993, p. 209-238.

Massé R., Éthique et santé publique, Laval, PUL, 2003.

Morin E., Introduction à la pensée complexe, Paris, ESF, 1990.

Morin E., Le Moigne J.-L., L’intelligence de la complexité, Paris, L’Harmattan, 1999.

Plsek P., Greenhalgh T., « The Challenge of Complexity in Health Care », British Medical Journal, 2001, vol. 323, p. 625-628.

Plsek P., « Complexity and the Adoption of Innovation in Health Care », conference paper (en ligne), 2003.

Notes

1 Voir notamment l’interview de Henri Bergeron : « Nouvelle santé publique et individualisation », Prospective Jeunesse, 59, 2011, p. 10-17.

2 A entendre ici comme n’étant jusqu’à présent ni financés, ni remboursés par l’Institut national d’assurance maladie-invalidité (Inami).

3 Cette étude est réalisée par une équipe de chercheurs rattachés à différentes universités belges (UA, KUL, UCL, ULg).

4 L’implantation d’un projet renvoie au processus complexe par lequel une innovation est concrètement mise en œuvre, « traduite » dans la réalité. L’analyse d’implantation a notamment pour objectif d’identifier les défis rencontrés et les stratégies d’adaptation mises en œuvre pour les dépasser.

5 Indépendamment des interventions proposées, certains projets se présentent comme un nouveau service créé dans une organisation faîtière de soins à domicile, par exemple, tandis que d’autres se sont constitués sous la forme légale d’une asbl pour des questions de neutralité politique.

6 Un « projet » est souvent lui-même imbriqué dans un ensemble de services coordonnés par une organisation faîtière, lui-même situé dans une région et dans un pays.

7 Entre, par exemple, des « guidelines » orientant l’activité médicale et le contexte unique, les priorités, choix et préférences d’un patient individuel.

8 C’est de leurs interactions que naissent notamment les idées innovantes et créatrices.

9 Qui permettent par exemple de tracer les grandes lignes du comportement des médecins généralistes, des patients psychiatriques, etc.

Auteurs

Sociologue et anthropologue, chercheur à l’IRSS de l'UCL

Institut de recherche Santé et Société (IRSS), UCLIngénieur civil en mathématiques appliquées, docteur en sciences médicales

Infirmière, master en santé publique, chercheuse à l'I.R.S.S. de l'UCL

Économiste, chercheuse à l'IRSS de l'UCL

Médecin, professeur à l’IRSS de l'UCL

© Presses de l’Université Saint-Louis, 2014

Conditions d’utilisation : http://www.openedition.org/6540