Table des matières
Valéry Ridde et Christian Dagenais
PrésentationPremière partie. Concepts et approches
Valéry Ridde et Christian Dagenais
1. Introduction générale à l’évaluation de programmes- Les courants de pensée : une brève histoire de l’évaluation
- L’évaluation de programmes : une définition
- L’évaluation n’est pas l’étape finale d’un programme
- La finalité d’une évaluation
- Planifier une évaluation
- La mise en œuvre d’une évaluation : types et approches
- Les types d’évaluation
- Les approches évaluatives
- Les normes de pratique
Miri Levin-Rozalis
2. Recherche et évaluation de programmesBernard Perret
3. La construction d’un jugement- Les limites de l’analyse causale
- L’évaluation s’intéresse autant à la compréhension qu’à la mesure
- L’évaluation doit viser une remise en question des idées des décideurs
- Produire des données significatives au regard des représentations communes
- Trop d’information tue l’information
- Le cerveau humain ne fonctionne pas comme un ordinateur
- L’approche cognitive des politiques publiques
- L’évaluation comme processus organisé de production d’idées partagées
- Le choix des critères de résultats
- Le choix de cadres de description
- Une discussion pluraliste pour interpréter les résultats
- L’apport de la théorie de l’argumentation
- Une tradition qui remonte à Aristote
- Le schéma de Toulmin
- Les types de données et de justifications employés en évaluation
- Les éléments d’une « bonne pratique » de l’argumentation
- L’évaluation comme discussion méthodique
- « Discutabilité » versus persuasion
- L’explicitation du questionnement comme élément de la traçabilité des arguments
- Les conséquences pratiques pour les démarches d’évaluation
- Appliquer l’exigence de rigueur aux processus sociocognitifs
Steve Jacob et Christine Rothmayr
4. L’analyse des politiques publiques- La justification de l’évaluation : émergence et identification du problème
- La commande de l’évaluation : mise à l’agenda
- La définition du mandat évaluatif : formulation et adoption de la politique
- La réalisation de l’évaluation : mise en œuvre
- Du savoir produit à l’utilisation des conclusions : terminaison de la politique
Nancy L. Porteous
5. La construction du modèle logique d’un programme- Utilité, avantages et défis des modèles logiques
- Les éléments d’un modèle logique
- Composantes, activités et groupes cibles
- Les résultats
- Les éléments facultatifs d’un modèle logique
- Influence et responsabilité
- L’élaboration d’un modèle logique
- Qui devrait participer ?
- Par où commencer ?
- Le format et le sens du déroulement
- L’évaluation des modèles logiques
Robert R. Haccoun et Pierre McDuff
6. Attribution et causalité des effets- La différence entre l’évaluation et l’évaluation causale
- Les devis de collecte de données en évaluation causale
- Le devis expérimental versus le devis non expérimental
- Devis expérimental ou devis quasi expérimental ?
- L’inférence causale et les concepts de validité interne et externe
- L’évaluation de la validité des divers devis de collecte de données
- Un cas particulier : le devis B (stratégie par référence interne)
- L’analyse des données : signification statistique et signification pratique
- Quelques considérations sur le choix d’un modèle d’évaluation causale
Pierre Pluye
7. Les méthodes mixtes- Les méthodes mixtes et les débats entre méthodes quantitatives et qualitatives
- Les méthodes mixtes : approches, devis et techniques de collecte et d’analyse de données
- Les approches
- Les devis
- Les techniques
- La planification et la qualité des méthodes mixtes en évaluation de programmes
- Une recension mixte des écrits pour les évaluations de programme
- Conclusion
Michael Quinn Patton et Francine LaBossière
8. L’évaluation axée sur l’utilisation- Le facteur personnel
- Les étapes d’une évaluation axée sur l’utilisation
- L’utilité du processus d’évaluation
- Les principes de l’évaluation axée sur l’utilisation
- Les enjeux de l’évaluation axée sur l’utilisation
- La participation des utilisateurs et la qualité de l’évaluation
- Le changement fréquent des utilisateurs
- Un rôle qui varie en fonction du but de l’évaluation
- L’utilisation abusive des évaluations
- Les enjeux éthiques
- Conclusion
Michael Bamberger et Jim Rugh
9. Une stratégie pour composer avec les contraintes inhérentes à la pratiqueRobert K. Yin et Valéry Ridde
10. Théorie et pratiques des études de cas en évaluation de programmes- L’étude de cas en tant que méthode de recherche
- L’étude de cas en tant que méthode complémentaire
- L’étude de cas en tant que stratégie méthodologique principale
- L’évaluation des processus
- L’évaluation des résultats
- L’évaluation des processus et des résultats
- Évaluation des activités de prévention de la toxicomanie d’une coalition communautaire
- Contexte général des deux exemples d’études de cas en Afrique
- Étude de cas multiples contrastés sur les processus d’une intervention au Niger
- Études de cas multiples avec plusieurs niveaux d’analyse imbriqués concernant la mise en œuvre et les résultats d’interventions dans six pays de l’Afrique de l’Ouest
- Conclusion
Sophie Witter et Nadia Cunden
11. Une introduction à l’évaluation économique des programmesPatricia Rogers et Marie Gervais
12. Le renforcement des capacités en évaluation- La notion des capacités en évaluation
- Une notion plus large que le développement d’habiletés
- Une notion qui concerne différentes instances
- Une notion qui comporte différents objectifs
- Une notion qui s’actualise aux différentes étapes du processus évaluatif
- Un cadre conceptuel pour le renforcement des capacités en évaluation
- Quelques principes directeurs émanant de projets visant le renforcement des capacités des communautés
- Le capital humain
- Le capital institutionnel
- Le capital social
- Le capital économique
- Quelques moyens utiles pour le renforcement des capacités en évaluation
- La formation
- Les programmes universitaires
- Les formations abrégées
- Les programmes personnalisés avec pratique supervisée
- L’apprentissage en ligne adapté au rythme de l’étudiant
- Les documents de référence
- Les normes et standards de pratique
- Le soutien par les pairs et la pratique supervisée
- Les structures et processus
- Les réseaux professionnels de l’évaluation
- Les prix de reconnaissance en évaluation
- Le leadership assumé par une instance gouvernementale
- Conclusion
Pierre-Marc Daigneault et Steve Jacob
13. Conceptualiser et mesurer la participation à l’évaluation- Un concept imparfait
- Refonder le concept d’évaluation participative sur des bases solides
- Un cadre d’analyse porteur
- Renforcer la conceptualisation de l’évaluation participative
- De la conceptualisation à la mesure
- Étendue de l’implication
- Diversité des participants
- Contrôle du processus évaluatif
- Combiner les dimensions pour mesurer le niveau de participation d’une évaluation
- Un cas d’application : l’évaluation du collège des soins infirmiers de l’Université du Colorado à Denver
- Conclusion : un instrument encore plus en phase avec les intuitions des évaluateurs
Valéry Ridde, Émilie Robert, Anne Guichard et al.
14. Théorie et pratique de l’approche Realist pour l’évaluation des programmes- L’appréhension de la complexité par l’approche Realist
- Les utilisations de l’approche Realist rapportées dans les écrits scientifiques
- L’opérationnalisation de la démarche
- Distinguer ce qui appartient au contexte, à l’intervention et au mécanisme
- Des défis inhérents à la synthèse des connaissances
- Nos expériences internationales de l’utilisation de l’approche Realist
- Les interventions de promotion de la santé et les inégalités sociales de santé
- La modélisation des configurations organisationnelles en Afrique associée à l’évaluation Realist
- Évaluer des interventions a posteriori : du caractère applicable de l’évaluation Realist
- Conclusion
Deuxième partie. Pratiques évaluatives
François Chagnon, Janie Houle et Isabelle Marcoux
16. Une évaluation des besoins en formation d’intervenants en préventionChristian Dagenais et Didier Dupont
17. Une évaluation des processus d’un programme de protection de la jeunesse- Le contexte
- Le modèle d’intervention
- Les acteurs et enjeux de l’évaluation
- Le plan d’évaluation
- La description du processus d’évaluation
- La collecte des données du volet I (quantitatif)
- La collecte des données du volet II (qualitatif)
- Les mesures de confidentialité
- Les résultats
- Les caractéristiques des interventions IRI-Accueil
- Les modèles d’intervention implicites des professionnels du programme IRI-Accueil
- L’évaluation des processus de référence : l’intervention des équipes RTS et US
- Discussion
- Les limites de l’évaluation
- Une approche axée sur la mise à profit des résultats
Pierre Fournier, Caroline Tourigny et Francine LaBossière
18. Une évaluation des processus d’un programme de référence-évacuation au Mali- Le contexte et le programme
- Causes, conditions et stratégies de réduction de la mortalité maternelle
- Description du programme
- Le modèle logique de l’intervention
- Description des acteurs et des enjeux de l’évaluation
- Approches dans l’analyse d’implantation et protocole d’évaluation retenu
- L’analyse d’implantation basée sur la théorie de l’intervention
- Protocole retenu pour l’évaluation
- Description du processus d’évaluation
- Phase I. Émergence du besoin d’évaluation et de formulation de la première approche (mars à juillet 2004)
- Phase II. Première approche d’évaluation et élaboration d’un protocole de recherche (août 2004 à avril 2006)
- Élaboration d’un protocole de recherche
- Phase III. Modification et évolution de l’approche initiale (mai à octobre 2006)
- Phase IV. Mise en œuvre effective (depuis novembre 2006)
- Résultats de l’évaluation
- La létalité des urgences obstétricales
- Discussion
- Forces et faiblesses du processus
- Principaux enjeux lors de la mise en œuvre de l’évaluation
- Principaux résultats de l’évaluation
- Conclusion
Diane Berthelette et Luc Desnoyers
19. Une évaluation de l’efficacité d’un programme de formationFrançoise Fortin et François Bowen
20. Une évaluation des effets d’un programme de réduction des conflits chez les enfants- Le contexte
- Les principaux acteurs
- Le cadre logique du programme
- Le protocole d’évaluation
- Les objectifs visés et les questions d’évaluation
- Le devis
- Le plan de valorisation et l’utilisation potentielle des résultats
- Le budget et la planification
- Le processus de l’évaluation
- Le contexte entourant le recrutement des écoles
- La répartition des sujets
- Le choix des instruments de mesure
- La collecte de données et la prise de mesures
- Les principaux résultats de l’évaluation
- Les impacts proximaux
- Les impacts médiaux et distaux
- Les leçons apprises : forces et limites de l’évaluation
Valéry Ridde, Seni Kouanda, Maurice Yameogo et al.
21. Une évaluation d’implantation au Burkina Faso avec une méthode mixte- Contexte et intervention
- Méthodes
- Résultats
- La moitié des femmes déclarent payer plus que le forfait officiel
- Comprendre l’écart constaté
- Nier l’écart et remettre en cause l’enquête
- « Kit ouvert » ou « kit fermé » ?
- Le paiement de produits non inclus dans le kit officiel
- Le paiement de produits non offerts à la pharmacie du centre de santé
- La difficulté à comprendre les mesures politiques
- Des mauvais comportements des agents de santé
- Discussion
- Sur la méthode
- Discours officiels et normes pratiques
- Une mise en œuvre perfectible
- Leçons apprises
- Conclusion
Christian Dagenais, Frédéric Nault-Brière, Didier Dupont et al.
22. Une évaluation d’implantation et d’efficacité d’un programme destiné aux enfants et à leur famille- Contexte et description du programme
- Plan d’évaluation
- Description du processus d’évaluation
- Constitution de l’échantillon
- Instruments
- Collecte des données
- Analyses des données
- Résultats
- Objectif 1 : implantation des ÉIJ
- Clientèle concernée
- Participation des partenaires
- Plans de services individualisés (PSI)
- Objectif 2 : les effets des ÉIJ
- Effets des services de coordination sur les enfants et leur famille
- Effets sur les pratiques et les organisations
- Objectif 3 : Processus de coordination
- Discussion
- Considérations méthodologiques
- Conclusion
Françoise Jabot et Murielle Bauchet
Glossaire
