Version classiqueVersion mobile

Approches et pratiques en évaluation de programmes

 | 
Christian Dagenais
, 
Valéry Ridde

Table des matières

Valéry Ridde et Christian Dagenais

Présentation

Première partie. Concepts et approches

Valéry Ridde et Christian Dagenais

1. Introduction générale à l’évaluation de programmes

Les courants de pensée : une brève histoire de l’évaluation
L’évaluation de programmes : une définition
L’évaluation n’est pas l’étape finale d’un programme
La finalité d’une évaluation
Planifier une évaluation
La mise en œuvre d’une évaluation : types et approches
Les types d’évaluation
Les approches évaluatives
Les normes de pratique
Miri Levin-Rozalis

2. Recherche et évaluation de programmes

Les domaines d’application
Les rôles de la théorie, des hypothèses et de la méthodologie
La validité des résultats d’évaluation
L’importance de la pertinence
Le problème de la causalité
Bernard Perret

3. La construction d’un jugement

Les limites de l’analyse causale
L’évaluation s’intéresse autant à la compréhension qu’à la mesure
L’évaluation doit viser une remise en question des idées des décideurs
Produire des données significatives au regard des représentations communes
Trop d’information tue l’information
Le cerveau humain ne fonctionne pas comme un ordinateur
L’approche cognitive des politiques publiques
L’évaluation comme processus organisé de production d’idées partagées
Le choix des critères de résultats
Le choix de cadres de description
Une discussion pluraliste pour interpréter les résultats
L’apport de la théorie de l’argumentation
Une tradition qui remonte à Aristote
Le schéma de Toulmin
Les types de données et de justifications employés en évaluation
Les éléments d’une « bonne pratique » de l’argumentation
L’évaluation comme discussion méthodique
« Discutabilité » versus persuasion
L’explicitation du questionnement comme élément de la traçabilité des arguments
Les conséquences pratiques pour les démarches d’évaluation
Appliquer l’exigence de rigueur aux processus sociocognitifs
Steve Jacob et Christine Rothmayr

4. L’analyse des politiques publiques

La justification de l’évaluation : émergence et identification du problème
La commande de l’évaluation : mise à l’agenda
La définition du mandat évaluatif : formulation et adoption de la politique
La réalisation de l’évaluation : mise en œuvre
Du savoir produit à l’utilisation des conclusions : terminaison de la politique
Nancy L. Porteous

5. La construction du modèle logique d’un programme

Utilité, avantages et défis des modèles logiques
Les éléments d’un modèle logique
Composantes, activités et groupes cibles
Les résultats
Les éléments facultatifs d’un modèle logique
Influence et responsabilité
L’élaboration d’un modèle logique
Qui devrait participer ?
Par où commencer ?
Le format et le sens du déroulement
L’évaluation des modèles logiques
Robert R. Haccoun et Pierre McDuff

6. Attribution et causalité des effets

La différence entre l’évaluation et l’évaluation causale
Les devis de collecte de données en évaluation causale
Le devis expérimental versus le devis non expérimental
Devis expérimental ou devis quasi expérimental ?
L’inférence causale et les concepts de validité interne et externe
L’évaluation de la validité des divers devis de collecte de données
Un cas particulier : le devis B (stratégie par référence interne)
L’analyse des données : signification statistique et signification pratique
Quelques considérations sur le choix d’un modèle d’évaluation causale
Pierre Pluye

7. Les méthodes mixtes

Les méthodes mixtes et les débats entre méthodes quantitatives et qualitatives
Les méthodes mixtes : approches, devis et techniques de collecte et d’analyse de données
Les approches
Les devis
Les techniques
La planification et la qualité des méthodes mixtes en évaluation de programmes
Une recension mixte des écrits pour les évaluations de programme
Conclusion
Michael Quinn Patton et Francine LaBossière

8. L’évaluation axée sur l’utilisation

Le facteur personnel
Les étapes d’une évaluation axée sur l’utilisation
L’utilité du processus d’évaluation
Les principes de l’évaluation axée sur l’utilisation
Les enjeux de l’évaluation axée sur l’utilisation
La participation des utilisateurs et la qualité de l’évaluation
Le changement fréquent des utilisateurs
Un rôle qui varie en fonction du but de l’évaluation
L’utilisation abusive des évaluations
Les enjeux éthiques
Conclusion
Michael Bamberger et Jim Rugh

9. Une stratégie pour composer avec les contraintes inhérentes à la pratique

L’approche de l’évaluation en situation réelle
L’ESR et les quatre types de contraintes
Les contraintes budgétaires
Les contraintes temporelles
Les contraintes en termes de disponibilité des données
Les influences politiques
Conclusion
Robert K. Yin et Valéry Ridde

10. Théorie et pratiques des études de cas en évaluation de programmes

L’étude de cas en tant que méthode de recherche
L’étude de cas en tant que méthode complémentaire
L’étude de cas en tant que stratégie méthodologique principale
L’évaluation des processus
L’évaluation des résultats
L’évaluation des processus et des résultats
Évaluation des activités de prévention de la toxicomanie d’une coalition communautaire
Contexte général des deux exemples d’études de cas en Afrique
Étude de cas multiples contrastés sur les processus d’une intervention au Niger
Études de cas multiples avec plusieurs niveaux d’analyse imbriqués concernant la mise en œuvre et les résultats d’interventions dans six pays de l’Afrique de l’Ouest
Conclusion
Sophie Witter et Nadia Cunden

11. Une introduction à l’évaluation économique des programmes

L’économie de la santé
Les différents types d’évaluation économique
L’analyse de minimisation des coûts
L’analyse coût-efficacité
L’analyse coût-bénéfice
L’analyse coût-utilité
Les étapes d’une analyse coût-efficacité
Quelques questions méthodologiques sur l’analyse coût-efficacité
Conclusion
Patricia Rogers et Marie Gervais

12. Le renforcement des capacités en évaluation

La notion des capacités en évaluation
Une notion plus large que le développement d’habiletés
Une notion qui concerne différentes instances
Une notion qui comporte différents objectifs
Une notion qui s’actualise aux différentes étapes du processus évaluatif
Un cadre conceptuel pour le renforcement des capacités en évaluation
Quelques principes directeurs émanant de projets visant le renforcement des capacités des communautés
Le capital humain
Le capital institutionnel
Le capital social
Le capital économique
Quelques moyens utiles pour le renforcement des capacités en évaluation
La formation
Les programmes universitaires
Les formations abrégées
Les programmes personnalisés avec pratique supervisée
L’apprentissage en ligne adapté au rythme de l’étudiant
Les documents de référence
Les normes et standards de pratique
Le soutien par les pairs et la pratique supervisée
Les structures et processus
Les réseaux professionnels de l’évaluation
Les prix de reconnaissance en évaluation
Le leadership assumé par une instance gouvernementale
Conclusion
Pierre-Marc Daigneault et Steve Jacob

13. Conceptualiser et mesurer la participation à l’évaluation

Un concept imparfait
Refonder le concept d’évaluation participative sur des bases solides
Un cadre d’analyse porteur
Renforcer la conceptualisation de l’évaluation participative
De la conceptualisation à la mesure
Étendue de l’implication
Diversité des participants
Contrôle du processus évaluatif
Combiner les dimensions pour mesurer le niveau de participation d’une évaluation
Un cas d’application : l’évaluation du collège des soins infirmiers de l’Université du Colorado à Denver
Conclusion : un instrument encore plus en phase avec les intuitions des évaluateurs
Valéry Ridde, Émilie Robert, Anne Guichard et al.

14. Théorie et pratique de l’approche Realist pour l’évaluation des programmes

L’appréhension de la complexité par l’approche Realist
Les utilisations de l’approche Realist rapportées dans les écrits scientifiques
L’opérationnalisation de la démarche
Distinguer ce qui appartient au contexte, à l’intervention et au mécanisme
Des défis inhérents à la synthèse des connaissances
Nos expériences internationales de l’utilisation de l’approche Realist
Les interventions de promotion de la santé et les inégalités sociales de santé
La modélisation des configurations organisationnelles en Afrique associée à l’évaluation Realist
Évaluer des interventions a posteriori : du caractère applicable de l’évaluation Realist
Conclusion

Deuxième partie. Pratiques évaluatives

Valéry Ridde

15. Une évaluation participative avec renforcement du pouvoir d’agir

Le contexte
Le contexte socioéconomique
Le travail de rue au Québec
Les stratégies d’évaluation du travail de rue
La description du projet
Le processus d’évaluation
L’approche évaluative
Le type d’évaluation et les outils employés
La stratégie d’analyse
Les résultats
Discussion
Conclusion
François Chagnon, Janie Houle et Isabelle Marcoux

16. Une évaluation des besoins en formation d’intervenants en prévention

Le contexte
Le protocole d’évaluation
L’objectif et les questions d’évaluation
La méthode
Les mesures
La description du processus d’évaluation
Les résultats de l’évaluation
Avant la formation
Immédiatement après la formation
Six mois après la formation
Les analyses par item
Discussion
Conclusion
Christian Dagenais et Didier Dupont

17. Une évaluation des processus d’un programme de protection de la jeunesse

Le contexte
Le modèle d’intervention
Les acteurs et enjeux de l’évaluation
Le plan d’évaluation
La description du processus d’évaluation
La collecte des données du volet I (quantitatif)
La collecte des données du volet II (qualitatif)
Les mesures de confidentialité
Les résultats
Les caractéristiques des interventions IRI-Accueil
Les modèles d’intervention implicites des professionnels du programme IRI-Accueil
L’évaluation des processus de référence : l’intervention des équipes RTS et US
Discussion
Les limites de l’évaluation
Une approche axée sur la mise à profit des résultats
Pierre Fournier, Caroline Tourigny et Francine LaBossière

18. Une évaluation des processus d’un programme de référence-évacuation au Mali

Le contexte et le programme
Causes, conditions et stratégies de réduction de la mortalité maternelle
Description du programme
Le modèle logique de l’intervention
Description des acteurs et des enjeux de l’évaluation
Approches dans l’analyse d’implantation et protocole d’évaluation retenu
L’analyse d’implantation basée sur la théorie de l’intervention
Protocole retenu pour l’évaluation
Description du processus d’évaluation
Phase I. Émergence du besoin d’évaluation et de formulation de la première approche (mars à juillet 2004)
Phase II. Première approche d’évaluation et élaboration d’un protocole de recherche (août 2004 à avril 2006)
Élaboration d’un protocole de recherche
Phase III. Modification et évolution de l’approche initiale (mai à octobre 2006)
Phase IV. Mise en œuvre effective (depuis novembre 2006)
Résultats de l’évaluation
La létalité des urgences obstétricales
Discussion
Forces et faiblesses du processus
Principaux enjeux lors de la mise en œuvre de l’évaluation
Principaux résultats de l’évaluation
Conclusion
Diane Berthelette et Luc Desnoyers

19. Une évaluation de l’efficacité d’un programme de formation

Le contexte
La théorie sous-jacente au programme
Protocole
Description du processus d’évaluation
Résultats
Discussion
Françoise Fortin et François Bowen

20. Une évaluation des effets d’un programme de réduction des conflits chez les enfants

Le contexte
Les principaux acteurs
Le cadre logique du programme
Le protocole d’évaluation
Les objectifs visés et les questions d’évaluation
Le devis
Le plan de valorisation et l’utilisation potentielle des résultats
Le budget et la planification
Le processus de l’évaluation
Le contexte entourant le recrutement des écoles
La répartition des sujets
Le choix des instruments de mesure
La collecte de données et la prise de mesures
Les principaux résultats de l’évaluation
Les impacts proximaux
Les impacts médiaux et distaux
Les leçons apprises : forces et limites de l’évaluation
Valéry Ridde, Seni Kouanda, Maurice Yameogo et al.

21. Une évaluation d’implantation au Burkina Faso avec une méthode mixte

Contexte et intervention
Méthodes
Résultats
La moitié des femmes déclarent payer plus que le forfait officiel
Comprendre l’écart constaté
Nier l’écart et remettre en cause l’enquête
« Kit ouvert » ou « kit fermé » ?
Le paiement de produits non inclus dans le kit officiel
Le paiement de produits non offerts à la pharmacie du centre de santé
La difficulté à comprendre les mesures politiques
Des mauvais comportements des agents de santé
Discussion
Sur la méthode
Discours officiels et normes pratiques
Une mise en œuvre perfectible
Leçons apprises
Conclusion
Christian Dagenais, Frédéric Nault-Brière, Didier Dupont et al.

22. Une évaluation d’implantation et d’efficacité d’un programme destiné aux enfants et à leur famille

Contexte et description du programme
Plan d’évaluation
Description du processus d’évaluation
Constitution de l’échantillon
Instruments
Collecte des données
Analyses des données
Résultats
Objectif 1 : implantation des ÉIJ
Clientèle concernée
Participation des partenaires
Plans de services individualisés (PSI)
Objectif 2 : les effets des ÉIJ
Effets des services de coordination sur les enfants et leur famille
Effets sur les pratiques et les organisations
Objectif 3 : Processus de coordination
Discussion
Considérations méthodologiques
Conclusion
Françoise Jabot et Murielle Bauchet

Glossaire

 

Acheter

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search