Version classiqueVersion mobile

Le système de santé québécois. Un modèle en transformation

 | 
Clermont Bégin
, 
Pierre Bergeron
, 
Pierre-Gerlier Forest
, 
et al.

Quatrième partie. L'évaluation et le changement

L’évaluation dans le domaine de la santé : conceptions, courants de pensée et mise en œuvre

Clermont Bégin, Pierre Joubert et Jean Turgeon

Texte intégral

1Dans son ouvrage classique sur l’évaluation, Edward Suchman (1967 : 11) écrivait : « Le besoin de connaître est intimement lié au besoin de juger. » Cette assertion renvoie à l’idée que le jugement humain a besoin de la connaissance pour s’exercer et que, réciproquement, la connaissance n’a d’utilité que dans la mesure où elle vient, dans l’immédiat ou à long terme, soutenir l’action dans toutes les sphères de l’activité humaine. Or l’évaluation est le terme consacré dont on se sert pour lier conceptuellement connaissance et jugement. Ce chapitre porte donc sur cet acte de connaissance et de jugement qu’est l’évaluation, plus précisément sur celle qui est institutionnalisée dans le domaine de la santé. L’objectif du chapitre est d’introduire ce concept, d’en montrer les facettes multiples et les principales utilisations dans ce domaine. Nous aborderons donc en succession les questions suivantes : Qu’est-ce que l’évaluation ? ; quels sont les principaux courants de pensée qui la caractérisent ? ; quel est leur apport à l’avancement des connaissances concernant la pertinence, l’impact, l’efficacité et l’efficience des politiques et des programmes dans le secteur de la santé ?

Qu’est-ce que l’évaluation ?

2Comme le terme « évaluation » est polysémique, il paraît hasardeux, voire illusoire, de penser à une définition claire et univoque de l’évaluation. En effet, l’évaluation renvoie aussi bien à un champ de savoirs et de méthodes qu’à un contrôle administratif ou technocratique. Certains lui attribuent des vertus démocratiques fondées sur le principe de transparence, alors que d’autres en font un instrument au service du pouvoir. Sur un plan plus substantiel toutefois, quelle que soit la réalité qu’elle recouvre, l’évaluation contient l’idée, implicite ou non, d’un retour sur l’action accomplie et pose la question des rapports entre la production des connaissances et l’usage social qui est fait de ces dernières. Il paraît également relativement clair que l’évaluation se présente de plus en plus, du moins dans les démocraties occidentales, comme une nouvelle forme de régulation du social où l’enjeu central est le rapport dialectique entre le scientifique et le politique (Légaré, Demers, 1993). Sans prétendre épuiser la question, il est donc possible de dégager trois conceptions de l’évaluation qui nous paraissent à la fois interdépendantes et complémentaires.

Trois conceptions interdépendantes et complémentaires

3Construite à partir du mot « valeur », l’évaluation peut être définie comme un acte de jugement individuel ou collectif puisqu’il s’agit d’attribuer une valeur, de façon plus ou moins intuitive et plus ou moins informée, à un objet, en général un ensemble d’activités humaines. Envisagée ainsi, l’évaluation est assujettie aux caractéristiques psychocognitives, affiliatives et égocentriques du jugement humain, que la psychologie a bien documentées au fil des ans (Slovic et coll., 1977 ; Hogarth, 1987 ; Janis, 1989). Cette première conception est à retenir dans la mesure où, même si les objets d’évaluation sont complexes et multidimensionnels, les jugements portés à leur égard contiennent toujours l’empreinte des humains qui les portent, ainsi que celles de leurs valeurs, de leurs intérêts. Dans ce contexte, l’évaluation n’est pas qu’un acte technique. Elle est aussi psychologique et sociale en ce qu’elle contribue à influer sur les processus psychocognitifs et sociaux d’agents multiples travaillant au sein d’organisations comme les appareils d’État, les regroupements professionnels ou encore les établissements de production de services.

  • 1 Il importe de préciser que la relation entre gouverne et gestion est plus circulaire que linéaire, (...)
  • 2 Pour une définition de ces concepts, voir Saucier (1995).
  • 3 À l’instar de Lemieux, la notion de politique publique est « faite d’activités orientées vers la so (...)

4Au regard de la régulation « des actions des pouvoirs publics », pour reprendre l’expression de Monnier (1992), l’évaluation est aussi une démarche qui consiste à produire des connaissances dans le but d’appuyer les processus de gouverne et de gestion des politiques et des programmes. Par gouverne, nous entendons, à l’instar de Lemieux (1995b), le processus de régulation qui caractérise l’émergence, la formulation et la mise en œuvre des politiques publiques. La gestion se définit comme la planification, la coordination et le contrôle des programmes et des activités qui sous-tendent les politiques publiques ou qui en constituent la traduction opératoire. La gouverne et la gestion sont interdépendantes et complémentaires : la gouverne renvoie davantage aux aspects stratégiques et politiques de la régulation des organisations, alors que la gestion se concentre principalement, mais pas de façon exclusive, sur les aspects plus opératoires1. Aux fins du présent chapitre, cette deuxième conception de l’évaluation nous paraît appropriée pour traiter de l’évaluation des politiques de santé et des programmes qui en découlent. Dans ce domaine, et ce dans la plupart des pays occidentaux, l’absence de lois du marché pour juger de la pertinence, de l’efficacité et de l’efficience2 des politiques publiques, des programmes ou des services3 rend nécessaire le recours à l’évaluation pour déterminer l’à-propos des décisions et des actions et pour orienter la gouverne et la gestion des décideurs.

  • 4 PPBS et ZBB aux États-Unis, en Angleterre, au Canada et en Australie ; RCB en France et ailleurs en (...)

5Cette conception de l’évaluation institutionnalisée est née de la nécessité de rendre compte des décisions prises et des actions « menées » dans le prolongement des approches de rationalisation des choix budgétaires4 qui ont marqué la gouverne et la gestion des affaires publiques dans plusieurs pays industrialisés à partir du milieu des années 1960. Elle a acquis sa légitimité sociétale du souci d’accroître l’imputabilité des gestionnaires publics et de l’obligation de diffuser les résultats obtenus à la suite des décisions prises quant aux priorités gouvernementales et à l’utilisation des fonds publics. Comme on le verra dans le chapitre suivant, dans plusieurs pays industrialisés, l’évaluation est appelée à informer à la fois les instances législative et exécutive des États (Mayne et coll., 1992 ; Marceau, Turgeon, 1994). Selon cette conception, l’évaluation peut être considérée à la fois comme une forme de soutien à la gouverne et à la gestion de l’ensemble d’un système, plus particulièrement des organisations publiques de santé, donc comme une aide à la décision. Avant d’être une opération technique, elle est un processus dynamique d’interactions entre des praticiens (gouvernants, gestionnaires ou intervenants), des utilisateurs de services et des agents d’évaluation, dans un contexte où les préoccupations d’évaluation portent sur la formulation et l’élaboration des politiques et des programmes, sur la production et la gestion des services qui en découlent et sur l’interprétation des résultats obtenus (Bellavance, 1985 ; Meny, Thoenig, 1989 ; Lemieux, 1995b). L’évaluation est alors éminemment politique et résulte plus souvent qu’autrement de la rencontre de flux de problèmes, d’occasions de choix et de solutions, ainsi que de la participation fluide des acteurs en cause (March, Olsen, 1972 ; Kingdon, 1984 ; Lemieux, 1995), plutôt que de l’application intégrale du modèle de rationalité classique sur lequel on fait habituellement reposer cette activité.

6En raison de ses particularités psychologiques, sociales et politiques, mais aussi de sa position stratégique dans la gouverne et la gestion des politiques et des programmes, l’évaluation est, selon cette deuxième conception, comme le soutient Monnier, « un outil courant indispensable à la formulation de l’action elle-même, à sa mise en œuvre et à son amélioration (1992 : 2) ».

7À cette conception s’en ajoute une troisième, issue de plusieurs disciplines des sciences du social, selon lesquelles l’évaluation est une pratique sociale ou une forme de recherche appliquée. Les résultats des évaluations peuvent alimenter les débats publics et représentent une forme importante de réflexivité institutionnelle. En effet, l’évaluation est de nature à induire des actions et des décisions qui marquent la structuration des systèmes de santé et, ultimement, des sociétés qui les soutiennent (Giddens, 1987). Par ailleurs, au-delà des préoccupations centrées sur la recherche d’une plus grande efficacité et d’une plus grande efficience des systèmes, cette troisième conception de l’évaluation met davantage l’accent sur les questions de pertinence et d’utilité sociétales des politiques et des programmes de santé.

8Les deux premières conceptions et, dans une moindre mesure, la troisième sont issues d’une vision de la connaissance ou du savoir fondée sur la recherche de la cohérence et de la rationalité dans la prise de décision et dans l’action, vision qui caractérise les sociétés modernes. Elles sont au cœur de ce que Maheu et Toulouse (1993) appellent la régulation du « social institué » dans laquelle l’évaluation se présente comme une forme de soutien aux processus de transformation en cours et une forme d’” intelligence critique » des systèmes. Ces conceptions inspirent une bonne part des propos que nous tiendrons dans ce chapitre puisqu’elles sont à l’origine des systèmes modernes de santé et qu’elles sont au cœur des travaux sur l’évaluation.

Les courants de pensée en évaluation : fondements ontologiques et épistémologiques

9Depuis les débuts de son institutionnalisation dans les organisations publiques, l’évaluation a été marquée par plusieurs courants de pensée qui ont influé à la fois sur les stratégies et sur les méthodes d’évaluation. Ces courants reposent essentiellement sur deux positions ontologiques et épistémologiques de l’évaluation fondamentalement différentes. Ils renvoient à deux ensembles de croyances qui orientent le travail des producteurs d’évaluation, la nature des questions qu’ils se posent et le choix des méthodes qu’ils privilégient pour y répondre. Bien qu’ils se soient largement développés en opposition l’un à l’autre, on reconnaît de plus en plus la complémentarité de ces courants de pensée, compte tenu de la multidimensionnalité des problèmes et de la complexité des enjeux humains, sociaux et économiques qu’ils soulèvent, lorsque se pose la nécessité de concevoir, de mettre en œuvre et d’évaluer les politiques et les programmes qui en sont issus (Gibbons et coll., 1994).

10Sur le plan ontologique, les évaluateurs dits « objectivistes » posent la réalité comme existant per se, indépendamment des perceptions de celles et ceux qui l’observent. Ils s’inspirent essentiellement du modèle orthodoxe de la science (Audet et coll., 1986) dans leurs activités de production de connaissances. À l’opposé, les évaluateurs « subjectivistes » proposent de concevoir la réalité comme le fruit de la conception que s’en donnent les sujets qui l’observent ou la vivent. Cette différence est fondamentale en évaluation, dans la mesure où le principal mandat de l’évaluateur est précisément de rendre compte de cette réalité. La position ontologique de l’évaluateur marque de façon irréductible ses choix épistémologiques et, en corollaire, influe sur sa démarche et ses méthodes de travail.

11Deux positions épistémologiques différentes, soit le positivisme et le constructivisme, découlent de ces deux positions ontologiques. Le positivisme postule que l’évaluateur doit essentiellement se placer en position d’extériorité par rapport à l’objet qu’il évalue. Son rôle est alors de saisir cet objet de la façon la plus fiable et la plus valide possible et d’en rendre compte d’une façon objective et neutre. À l’inverse, selon le constructivisme, la connaissance produite par l’évaluateur résulte de son interaction avec l’objet de son évaluation et est construite au fil de l’investigation. Bref, la position constructiviste repose moins sur la recherche non équivoque de la vérité que sur la construction d’un état de situation fondé sur les prémisses retenues et documenté avec rigueur selon une démarche de recherche « transparente ». Mais dans ce dernier cas, on préférera parler de connaissance « utile » pour les différents acteurs, plutôt que de « vérité ».

Les démarches et les modes de mise en œuvre de l’évaluation

12Il existe une telle panoplie de démarches, de méthodes et de techniques, autant quantitatives que qualitatives, qu’il serait présomptueux de vouloir les recenser. Le choix d’une démarche d’évaluation et d’une ou de plusieurs approches méthodologiques devrait être généralement fonction de la situation à évaluer (Patton, 1987). Il faut néanmoins reconnaître que le choix des démarches et des méthodes est également tributaire de l’importance accordée par l’évaluateur à l’une ou l’autre des positions épistémologiques décrites précédemment.

Les démarches

13Bien que les travaux sur les démarches d’évaluation soient abondants, la notion même de démarche n’est pas toujours claire. Par démarche, nous entendons ici l’ensemble des actions prises par l’évaluateur pour concevoir et mettre en œuvre le processus d’évaluation, de la formulation des objectifs du projet d’évaluation jusqu’à la production et la diffusion des résultats. En somme, il s’agit ici de la façon dont l’évaluateur règle le processus par lequel il évaluera.

14En ce qui concerne la démarche d’évaluation, on peut dégager deux grandes tendances, chacune s’appuyant sur l’une ou l’autre des positions ontologiques et épistémologiques présentées précédemment. Selon la première, l’évaluateur est un expert chargé de définir les objectifs de l’évaluation et de mettre en place l’appareillage conceptuel et méthodologique nécessaire pour la réaliser. L’évaluateur doit veiller à préserver sa neutralité et son objectivité. Il sera donc porté à garder ses distances par rapport aux différents acteurs concernés et à construire un plan d’évaluation qui lui garantisse de mettre le processus et les résultats de son évaluation à l’abri des influences extérieures. S’il fait appel à des acteurs engagés dans l’objet qu’il évalue, ce sera pour obtenir des renseignements qu’ils détiennent et dont il juge avoir besoin pour ses analyses. Dans un tel contexte, la conduite du processus d’évaluation est davantage « unilatérale ». Une telle stratégie découle habituellement d’une position objectiviste et positiviste adoptée par l’évaluateur. Opter pour cette démarche d’évaluation présente l’avantage, quand les conditions le permettent (par exemple, en situation expérimentale ou quasi expérimentale) et quand des méthodes quantitatives appropriées sont utilisées (Lipsey, 1988), de pouvoir discerner certains effets ou résultats d’un programme ou encore « d’obtenir de l’information précise sur un processus d’intervention (Péladeau, Mercier, 1993 : 113) », dans une optique ou une perspective de généralisation.

  • 5 Nous utiliserons le terme « parties prenantes » pour faire référence à ces acteurs.

15À l’opposé, la seconde tendance s’appuie sur la nécessité de mettre à contribution les principaux acteurs mis en cause par un projet d’évaluation5. Monnier inclut dans ces parties prenantes les « agents de légitimation », c’est-à-dire les gouvernants et les gestionnaires des politiques et des programmes soumis à l’évaluation, les « actants », c’est-à-dire les différents intervenants qui y travaillent et les « réactants », que sont les utilisateurs des services produits ou les publics intéressés. Les adeptes de cette école de pensée cherchent par différents moyens à faire participer toutes les parties prenantes aux différentes phases de l’évaluation, depuis la formulation des objectifs jusqu’à l’interprétation des résultats. Monnier (évaluation pluraliste, 1992), Lascoumes et Setbon (évaluation pluraliste, 1996), Patron (utilization-focused, 1986, 1990), de même que Guba et Lincoln (fourth generation evaluation, 1989) sont parmi les principaux protagonistes de ce courant de pensée. Cette tendance repose sur le postulat que la légitimité des résultats d’une évaluation sera d’autant plus grande que les parties auront participé aux différentes phases du processus d’évaluation, y compris aux conclusions qui en découlent.

16Plus récente que la précédente, cette démarche constitue une réponse aux critiques formulées à l’égard des évaluations produites selon la première tendance, dont on déplorait le peu d’utilisation des résultats (Guba, Lincoln, 1982). Une telle démarche fait de l’évaluateur, comme le suggère Monnier, « un maïeuticien, un médiateur et un méthodologue (Monnier, 1992 : 132) ». D’une part, ce dernier est appelé à faciliter par des méthodes diverses l’expression des opinions et des valeurs des acteurs au regard de l’objet d’évaluation, dans le but de mettre au jour leurs oppositions et leurs accords en ce qui concerne les questions d’évaluation, les méthodes les plus appropriées pour les réaliser et les interprétations qu’ils donnent des résultats. D’autre part, il est perçu comme l’expert dans le choix et la mise en œuvre des méthodes appropriées pour réaliser ces évaluations. La conduite de l’évaluation y est ici davantage « multilatérale » ou, pour reprendre l’expression de Monnier, « pluraliste », et s’inspire fortement des positions subjectiviste et constructiviste. Si les évaluations qui procèdent de cette façon semblent fournir des « données écologiquement plus valides » (Péladeau, Mercier, 1993 : 113), en revanche une proximité trop grande du chargé d’évaluation face à son objet, ou encore une « politisation » non maîtrisée du choix des questions d’évaluation peut limiter singulièrement l’étendue et la portée, tant du questionnement évaluatif que des résultats d’évaluation.

17Sur ce dernier point, le cas de l’évaluation des politiques publiques multisectorielles en France au début des années 1990 devrait servir de leçon. À l’époque, le Conseil scientifique de l’évaluation (CSE) a introduit la notion d’« instance d’évaluation, [...] organe responsable de la coordination et de l’exploitation des travaux ainsi que des conclusions de l’évaluation (CSE, 1994 : 99) ». Or (CSE, 1994 : 102) :

la composition de l’instance d’évaluation est devenue un enjeu important des rapports de pouvoir entre administrations lors du lancement des évaluations.

18Le Conseil, dans ce même rapport annuel, souligne que ce phénomène expliquerait, en partie du moins, certaines lacunes dans les rapports d’évaluation étudiés (CSE, 1994 : 17) :

Le Conseil [scientifique de l’évaluation] a été amené à relever un certain nombre d’insuffisances [dans les rapports d’évaluation] : dérives par rapport au mandat initial, qualité inégale et manque de cohérence des études, difficulté du rapport d’évaluation à synthétiser l’apport de ces études dans le sens d’une réponse au questionnement évaluatif, recommandations insuffisamment reliées aux constats. La source de ces problèmes réside souvent dans le mauvais fonctionnement des instances d’évaluation, au sein desquelles la logique de la négociation entre intérêts et points de vue préconstitués l’emporte sur le respect du mandat et les exigences scientifiques de la démarche d’évaluation.

La mise en œuvre des évaluations

  • 6 Nous utiliserons le terme approche au sens défini dans le dictionnaire Robert : « manière d’aborder (...)

19Quelles que soient les démarches retenues, l’évaluateur dispose d’un éventail de méthodes pour la mise en œuvre d’évaluations. Les travaux sur les méthodes d’évaluation sont nombreux et sans les présenter in extenso, il est possible, à l’instar de Monnier (1992), de les regrouper selon divers modes qui traduisent les logiques sur lesquelles elles reposent. Dans le domaine de la santé on peut ainsi distinguer sept approches6 pour distinguer les différentes méthodes évaluatives. Ce sont l’approche de l’agrément, expérimentale et quasi expérimentale, fondée sur l’opinion d’experts, dialectique, statistique, qualitative et de l’habilitation.

  1. L’approche de l’agrément repose sur l’existence de règles et de normes reconnues comme valides et acceptées comme critères de jugement de l’efficacité ou de l’efficience. Ici, la réalité est préexistante et un modèle de cette réalité est prescrit aux agents qui œuvrent au sein des systèmes. L’évaluation consiste alors à faire la démonstration de la conformité ou de la non-conformité de la situation sous évaluation à des règles ou à des normes. Plusieurs méthodes d’évaluation ont été inspirées de cette approche dans le domaine de la santé : la vérification comptable, l’agrément assuré pour les hôpitaux canadiens et québécois par le Conseil canadien d’agrément des hôpitaux et, pour les autres catégories d’établissements, par le Conseil québécois d’agrément d’établissements de santé et de services sociaux, l’inspection assumée par les corporations de professionnels, l’audition médicale par les pairs au sein des hôpitaux, pour n’en nommer que quelques-unes. L’approche de l’agrément a aussi donné lieu au Canada et aux États-Unis à la mise en place de systèmes de surveillance de l’activité professionnelle et institutionnelle variés comme les programmes d’assurance de la qualité, l’étude de l’activité des professionnels, les revues d’utilisation des services hospitaliers et les programmes d’audit médical (Donabedian, 1988).

    • 7 Par recherche évaluative nous entendons ici l’application systématique de démarches de recherche à (...)

    Bien que s’appuyant sur la même logique de démonstration, l’approche expérimentale et quasi expérimentale est essentiellement de nature hypothético-déductive. Les évaluations d’impact, d’efficacité et d’efficience contenant des méthodes expérimentales ou quasi expérimentales de recherche et, plus particulièrement, des essais cliniques aléatoires contrôlés, des études de cas-témoins, des études de cohorte ou de méthodes multivariées (Campbell, Stanley, 1963 ; MacMahon, Pugh, 1970 ; Contandriopoulos et coll., 1990a ; Rossi, Freeman, 1993) s’appuient essentiellement sur cette approche. Depuis quelques années, la quête d’une plus grande pertinence, d’une plus grande efficacité et d’une plus grande efficience des politiques et des programmes de santé a donné lieu à la réalisation d’un grand nombre de recherches évaluatives7 de cette nature dans divers domaines comme l’épidémiologie clinique et sociale, l’évaluation des technologies, l’évaluation des pratiques des professionnels, l’évaluation des rendements institutionnels et l’organisation des services, sous des aspects comme le financement et l’allocation des ressources, les modes de rémunération des médecins et les nouvelles formes d’organisation des services. De plus, il est à prévoir que des études de ce genre seront de plus en plus utilisées en raison des enjeux de la gestion par les résultats dans ce secteur. Dans un tel contexte, les études de coûts-avantages, de coûts-efficacité et de coûts-utilité occuperont sans doute l’avant-scène, en raison des impératifs de rationnement dont nous avons déjà fait état en introduction de cette partie et de la nécessité d’orienter les dépenses de santé vers des interventions dont l’efficacité et l’efficience sont démontrées. Parmi les enjeux d’évaluation fréquemment mentionnés comme prioritaires, mentionnons : l’évaluation des impacts sociaux et sanitaires des programmes et celle des interventions médicales et sociales, l’étude des variations géographiques de l’état de santé des populations et des facteurs explicatifs de ces variations (American Public Health Association, 1992 ; Roos, Roos, 1992 ; Roos et coll., 1995), l’évaluation des modèles organisationnels de soins de santé communautaire (Berk, Chalmers, 1981 ; Abelson, Hutcheson, 1994 ; Church et coll., 1995), l’évaluation des technologies spécialisées en milieu ambulatoire (CETS, 1996), le développement et l’évaluation des nouvelles technologies de l’information et de la communication comme la télémédecine et la télématique (CETS, 1996), et l’évaluation des nouvelles modalités de financement et d’allocation des ressources (Rheault, 1995).

  2. L’approche fondée sur l’opinion d’experts repose sur le principe que le détenteur d’une information privilégiée, d’un savoir spécialisé ou d’une compétence et d’une expérience particulières à propos d’un objet d’évaluation constitue une source d’information et de connaissances qui, dans certains cas, peut se substituer aux approches plus formelles et plus coûteuses de production de connaissances. Le recours à cette approche conduit à l’utilisation de méthodes de consultations individuelles et collectives d’experts ou d’informateurs clés. Les comités d’étude, les comités conseil, les commissions d’enquête s’inspirent souvent de cette approche. Au Québec, en particulier, on y a eu fréquemment recours dans le domaine de l’évaluation. Qu’il suffise de penser au rôle déterminant joué par les commissions d’enquête Castonguay-Nepveu et Rochon, au Conseil de la santé et du bien-être, au Conseil d’évaluation des technologies, au Groupe tactique d’intervention concernant l’engorgement des urgences, au Comité d’experts sur l’assurance-médicaments ou encore au Conseil consultatif de pharmacologie.

  3. L’approche dialectique aussi nommée approche du prétoire (Monnier, 1992 : 140), repose sur « l’idée que la vérité émerge de l’exposé de thèses opposées et de la confrontation de preuves contradictoires » à propos de l’objet d’une évaluation. Les commissions parlementaires sont une première illustration de cette approche. Au Canada, certains auteurs proposent un autre mécanisme pour faciliter une telle confrontation de points de vue : la multiplication des lieux d’évaluation par la création d’instances particulières rattachées à l’appareil législatif de l’État, pour faire contrepoids au monopole détenu par l’appareil exécutif en matière d’évaluation. Ainsi, Marceau et coll. (1992a) suggèrent d’intégrer l’évaluation de programmes au mandat du vérificateur général. Landry (1987), quant à lui, propose la création d’un organisme relié directement à la Chambre des communes ou encore à l’Assemblée nationale. À partir d’un raisonnement semblable, le Parlement français a adopté, le 6 juin 1996, une loi (96-517) créant l’Office parlementaire d’évaluation des politiques publiques composé de deux délégations, l’une de députés de l’Assemblée nationale, l’autre de représentants du Sénat. Au Québec, l’idée d’une commission parlementaire triannuelle a déjà été proposée, en ce qui a trait plus spécifiquement à l’évaluation des politiques et des programmes de santé (Castonguay, 1996b).

    • 8 Diagnostic related groups.
    • 9 Managed care plans.

    L’approche statistique repose sur l’exploitation à des fins évaluatives des données statistiques produites par les systèmes d’information à propos d’un objet à évaluer. Cette approche suppose l’existence d’indicateurs ainsi que leur diffusion et leur exploitation par les différentes parties prenantes. Selon cette approche, la réalité observée est décrite par des indicateurs quantitatifs et s’appuie habituellement sur une épistémologie d’inspiration positiviste. Elle n’en est pas moins influencée par les croyances et les valeurs personnelles du concepteur d’indicateur. En contrepartie, l’utilisation des indicateurs et l’interprétation des phénomènes dont ils rendent compte sont largement tributaires des croyances et des valeurs de celles et ceux qui s’en servent pour évaluer. Bref, il n’y a pas nécessairement de corrélation entre les indicateurs et l’interprétation qui en découle même si parfois on attribue à cette approche des vertus d’objectivité et de neutralité qu’elle n’a pas nécessairement.
    Les méthodes d’analyse statistique utilisées à des fins évaluatives ne sont pas nouvelles. Les développements informatiques récents ouvrent toutefois de nombreuses possibilités pour faciliter l’évaluation en temps réel des politiques, programmes et services de santé. À cet égard, quelques développements récents méritent d’être mentionnés : le projet « Populis », au Manitoba, donne lieu à des comparaisons interrégionales de cohortes de population, intégrant des données variées, permettant de relier des indicateurs de l’état de santé de la population à des données de production de services (Roos et coll., 1995) ; la publication des variations dans les profils d’utilisation des services et de coûts, le développement dans plusieurs pays, de systèmes d’information pour évaluer les rendements des hôpitaux en s’appuyant sur les DRG8 (Kimberly, de Pouvourville et coll., 1993), de même que la publication de guides du consommateur. Concernant ce dernier développement, signalons qu’en Pennsylvanie, l’État rend publiques, sous la forme de guides du consommateur, des données comparatives concernant les indicateurs de risque de décès associés à certaines interventions comme les pontages coronariens. On y produit même de l’information sur les intervenants professionnels et sur les coûts (Pennsylvania Health Care Cost Containment Council, 1993a ; 1993b). Dans le même ordre d’idées, le Comité national pour l’assurance qualité aux États-Unis a élaboré et rendu public en 1993 un système d’évaluation des résultats : les HEDIS (Health Plan Employer Data and Information Set) basés sur des indicateurs de qualité des différents plans de gestion intégrée9. Ce système permet de comparer et de suivre l’évolution de ces indicateurs pour différents plans de gestion et sert de guide aux consommateurs dans leurs décisions d’achat de services de santé. Ces systèmes font l’objet de révisions régulières et semblent présentement faire figure de normes aux États-Unis (Edlin, 1996 ; McGlynn, 1997).

  4. L’approche qualitative s’appuie sur une position épistémologique inspirée du constructivisme. Les méthodes issues de cette approche sont essentiellement holistiques en ce qu’elles visent à appréhender les situations dans leur globalité et dans leur contexte. L’ethnographie, l’ethnométhodologie et l’herméneutique ont largement inspiré cette approche (Denzin, Lincoln, 1994). Les évaluations qualitatives sont employées pour mettre au jour la dynamique des systèmes organisationnels et rendre compte des processus et des structures de production de services. Elles peuvent aussi servir comme étape exploratoire en vue de définir des hypothèses plus précises pouvant se prêter ultérieurement à l’usage de méthodes expérimentales et quasi expérimentales de recherche évaluative. Au Québec, plusieurs travaux de nature qualitative ont été réalisés. En guise d’illustration citons : l’évaluation des centres de santé (Bégin, 1992a), l’analyse du processus budgétaire dans le secteur de la santé au Québec (Bégin, Labelle et Bouchard, 1987), l’évaluation du projet québécois d’expérimentation de la carte santé à microprocesseur (Fortin, Joubert, 1996), l’analyse du partenariat médico-infirmier et du suivi systématique de la clientèle dans un centre hospitalier (Saint-Onge, 1996) ou encore l’évaluation des projets du Programme d’action communautaire pour les enfants au Québec (le PACE, programme de Santé Canada) (Consortium CRSC, 1995).

    • 10 Par exemple, le système EQUS — évaluation de la qualité des soins par les usagers — qu’une équipe d (...)
    • 11 HMO : Health Maintenance Organizations.

    Les six approches décrites précédemment s’appuient sur les points de vue ou analyses d’experts, de chercheurs ou d’agents spécialisés qui règlent les processus d’évaluation ou en effectuent la mise en œuvre. Dans le domaine de la santé, il existe également une septième façon d’envisager l’évaluation, soit l’approche de l’habilitation. Elle est inspirée des travaux de Saltman (1994) et repose sur le point de vue des consommateurs des services. Selon cette conception, le jugement est attribué par celles et ceux qui utilisent les services, à partir d’outils ou de mécanismes qui produisent de l’information tant sur la valeur des services qu’ils reçoivent ou qu’ils peuvent recevoir et sur les modalités de leur utilisation, que sur les façons de les organiser et de les gérer. Ils peuvent ainsi influer sur les processus de gestion et de gouverne par les pressions que cette information leur permet d’exercer sur les responsables des services. Les mécanismes d’enquête basés sur les plaintes des usagers, les systèmes d’information qu’on commence à instaurer, pour permettre aux gestionnaires et aux professionnels de tenir compte de la contribution des consommateurs à l’amélioration ou au maintien de standards de qualité10, relèvent de cette approche. À cela s’ajoutent les différents mécanismes de protection des droits de consommateurs, moins formalisés, mais tout aussi efficaces, et qui sont réglés par les lois du marché. Ainsi, par exemple, la revue américaine Consumer Report publiait récemment deux rapports d’évaluation sur la pratique médicale et sur les plans de santé offerts par les HMO11 aux États-Unis (Consumer reports, 1995 ; 1996). La classification des rendements hospitaliers dans certains magazines à grand tirage est un autre exemple de sources d’information dont dispose le consommateur pour exercer ses choix et porter, implicitement ou explicitement, un jugement sur les services de santé qui lui sont destinés ou qu’il a utilisés (McGlynn, 1997 ; Hibbard, Jewett, 1997 ; Ullman et coll., 1997).

20Cette présentation à grands traits de ces différentes approches met en évidence l’importance des choix méthodologiques dans un travail d’évaluation. En pratique, on constate dans la plupart des pays occidentaux que les dispositifs politiques ou institutionnels d’évaluation empruntent beaucoup aux approches fondées sur l’opinion d’experts et sur l’approche dialectique, que les processus administratifs ou décisionnels s’appuient souvent sur les approches statistique, de l’agrément et de l’habilitation, tandis que les approches expérimentale et quasi expérimentale de même que les approches qualitatives se concrétisent davantage dans des démarches de recherche évaluative.

21Bien que ces distinctions doivent d’abord être considérées comme indicatives plutôt qu’exclusives, les deux approches qui se différencient le plus sont les deux dernières. Elles ont fait l’objet de nombreux débats aux États-Unis, particulièrement depuis une dizaine d’années, notamment chez les membres de l’American Evaluation Association et dans la revue Evaluation Practice publiée par cette association (Lincoln, 1991 ; Sechrest, 1992 ; Lincoln, Guba, 1992 ; Fetterman, 1992). Elles n’en sont pas moins différentes dans leur façon d’appréhender le réel. La première approche comprend le réel comme « constitué d’entités décomposables en une hiérarchie de sous-systèmes qui peuvent s’analyser de manière indépendante (Monnier, 1992 : 191) ». Les travaux de Suchman (1967) et de Donabedian (1975 ; 198o ; 1982), comme d’autres qui lui sont apparentés (Champagne et coll., 1985 ; Shadish, Cook et Leviton, 1991 ; Marceau et coll., 1992 ; Rossi, Freeman, 1993) s’inspirent de cette approche. À l’opposé, ceux qui se réclament de l’approche qualitative pensent que la réalité sociale est plus complexe et que « le tout est plus grand que la somme des parties ». Monnier (1992 : 141), Patton (1986 ; 1987 ; 1990) et Guba et Lincoln (1982 ; 1989) sont parmi les principaux protagonistes de cette approche dans le domaine de l’évaluation.

22Dans l’un et l’autre cas, la question de la causalité est incontournable, étant entendu que l’évaluation constitue toujours une tentative d’explication des effets observés et observables, mais les façons d’y répondre diffèrent d’une approche à l’autre. Afin d’éviter les partis pris idéologiques, nous préférons soutenir l’idée que chacune de ces approches contient ses propres limites et que des oppositions radicales en faveur de l’une ou de l’autre ne peuvent, pour reprendre les termes de Péladeau et Mercier (1993 : 112), que « faire obstacle au développement respectif des différentes méthodologies et, par conséquent, au domaine de l’évaluation de programmes ». Il nous semble donc plus fructueux d’insister davantage sur les rapprochements que sur les oppositions et de réfléchir plutôt sur les enjeux de l’évaluation dans le contexte des transformations profondes auxquelles sont confrontés les systèmes de santé des pays industrialisés.

Conclusion

23Nous avons tenté de montrer que la fonction d’évaluation est de plus en plus reconnue comme nécessaire à l’heure des mutations profondes qui ont cours présentement dans les systèmes de santé et dans les sociétés au sein desquelles ils se développent et se transforment. Au Québec, par exemple, la refonte récente de la Loi sur les services de santé et les services sociaux précise le caractère stratégique de l’évaluation en présentant « l’exercice et l’acte d’évaluation, comme une condition essentielle à la régulation des politiques et des programmes (Joubert, 1992 : 19) ». Au terme du présent chapitre, il convient de rappeler que si l’évaluation des services de santé est un instrument essentiel de réflexivité institutionnelle et un élément moteur de la transformation des systèmes de santé non régis par les lois du marché, elle est aussi, en corollaire, un champ de production de connaissances habité de tensions, tant sur les plans ontologique et épistémologique que méthodologique. Par la présentation des conceptions, des courants de pensée, des démarches et des approches méthodologiques auxquels recourent les praticiens de cette activité, nous avons voulu montrer que l’évaluation dans le domaine de la santé, peut-être plus que dans d’autres champs d’application, procède de visions qui sont de moins en moins antagonistes et irréconciliables et de plus en plus interdisciplinaires et complémentaires.

24En cela, l’évaluation dans le domaine de la santé est une manifestation de la mutation profonde qui s’opère présentement dans les sociétés modernes. Le « modernisme systémique » (Cooper, Burrell, 1988) qui a largement inspiré la conception des systèmes de santé dans les pays industrialisés a fait l’objet de critiques au cours de la dernière décennie, en ce qu’il répond de moins en moins aux caractéristiques des systèmes d’aujourd’hui. La cohérence et la rationalité uniques, de même que les instruments qui sont issus des sociétés modernes, telles la théorie des systèmes, la cybernétique et la théorie de la décision, n’ont plus le statut hégémonique dont elles ont joui au cours des trois ou quatre décennies antérieures. La légitimité sociétale du pluralisme des valeurs, de représentations contradictoires et de rationalités multiples semble de plus en plus reconnue. Les sociétés se transforment selon un processus de structuration qui résulte de l’action des agents individuels et collectifs qui font preuve de réflexivité individuelle et institutionnelle (Giddens, 1987 ; Hassard, 1993) ; le pluralisme des discours sur la connaissance est aujourd’hui admis et se substitue lentement au discours hégémonique des tenants du modèle orthodoxe de la science. Toutes ces idées sont facilitées par l’explosion des connaissances scientifiques, par l’instantanéisation des communications, par la mobilité croissante des personnes, des biens et des services, par la globalisation de la vie sociale et par l’homogénéisation accrue des modes de production, de distribution et de consommation (FSA, 1995).

25Les processus de production du savoir et les modalités de la production des connaissances n’échappent pas à ces transformations. Dans un ouvrage récent, Gibbons et coll. (1994) observent qu’un corpus distinct de pratiques cognitives et sociales émerge actuellement des lieux de production de connaissances. Selon ces auteurs, les changements dans la pratique de la production de connaissances s’observent tout aussi bien dans les sciences de la nature que dans les sciences de l’humain et du social.

26Le champ de l’évaluation participe de cette mutation dans la mesure où, d’une part, son apport à la réflexivité institutionnelle et individuelle est davantage reconnu et où, d’autre part, il s’en trouve lui-même transformé. L’évolution de l’évaluation au cours de la dernière décennie montre bien que ce champ de connaissances s’est progressivement transformé d’une vision monolithique des objets de connaissances jusqu’à un pluralisme des visions, depuis un champ unidisciplinaire de production de connaissances jusqu’à un champ pluridisciplinaire (House, 1993).

27Dans le domaine de l’évaluation en santé, les objets à évaluer sont multidimensionnels et leur pleine compréhension nécessite des visions et des approches qui traversent les conceptions, les courants de pensée et les modes de mise en œuvre. La complémentarité des champs disciplinaires est nécessaire, car les enjeux de l’évaluation y sont, pour employer l’expression de Scriven (1993), transdisciplinaires. L’apport de l’évaluation à l’évolution des systèmes de santé sera par ailleurs largement dépendant de la place qu’elle occupera dans les processus de gouverne et de gestion des politiques publiques et des programmes et, plus particulièrement, au sein des arrangements institutionnels des appareils publics dont il sera question au chapitre suivant.

Notes

1 Il importe de préciser que la relation entre gouverne et gestion est plus circulaire que linéaire, dans la mesure où la gestion influe par son action sur les processus d’émergence et de formulation des politiques publiques, tout autant qu’elle est le moteur de leur mise en œuvre. En corollaire, la gouverne ne se réduit pas exclusivement à l’émergence et à la formulation des politiques publiques, elle peut aussi largement orienter leur mise en œuvre.

2 Pour une définition de ces concepts, voir Saucier (1995).

3 À l’instar de Lemieux, la notion de politique publique est « faite d’activités orientées vers la solution de problèmes publics dans l’environnement, et ce par des acteurs politiques dont les relations sont structurées, le tout évoluant dans le temps (p. 7) ». La notion de programme est définie par Nadeau (1988) comme suit : « Ensemble d’activités qui regroupent pour leur réalisation, des ressources humaines, matérielles et financières, en vue de produire des services particuliers à une population dans le but d’en changer l’état (p. 420). » Aux fins de ce chapitre et uniquement dans le but d’éviter la confusion conceptuelle qui caractérise l’utilisation souvent interchangeable des concepts de politique et de programme, nous considérons ici la notion de programme comme l’expression opératoire de la politique publique. Enfin, la notion de services renvoie ici aux activités ou interventions professionnelles effectuées auprès de clientèles spécifiques, qu’elles soient ou non identifiées à des programmes de santé.

4 PPBS et ZBB aux États-Unis, en Angleterre, au Canada et en Australie ; RCB en France et ailleurs en Europe continentale (voir Mayne et coll., 1992).

5 Nous utiliserons le terme « parties prenantes » pour faire référence à ces acteurs.

6 Nous utiliserons le terme approche au sens défini dans le dictionnaire Robert : « manière d’aborder un sujet de connaissance quant au point de vue et à la méthode utilisée ».

7 Par recherche évaluative nous entendons ici l’application systématique de démarches de recherche à l’évaluation. Pour une définition plus élaborée de ce concept, voir Rossi et Freeman (1993).

8 Diagnostic related groups.

9 Managed care plans.

10 Par exemple, le système EQUS — évaluation de la qualité des soins par les usagers — qu’une équipe de chercheurs du Groupe de recherche interdisciplinaire en santé de l’Université de Montréal (GRIS) est à mettre au point (Dubuc, 1997).

11 HMO : Health Maintenance Organizations.

Auteurs

Chercheur, Centre de santé publique de Québec et professeur associé, Département de médecine sociale et préventive, Faculté de médecine, Université Laval.
Membres du Réseau de recherche sociopolitique et organisationnelle en santé.

© Presses de l’Université de Montréal, 1999

Conditions d’utilisation : http://www.openedition.org/6540

Cette publication numérique est issue d’un traitement automatique par reconnaissance optique de caractères.

Acheter

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search