Version classiqueVersion mobile
OpenEdition Books

Innovation et développement dans les systèmes agricoles et alimentaires

 | 
Guy Faure
, 
Yuna Chiffoleau
, 
Frédéric Goulet
, 
et al.

Partie 4 - Évaluation des effets des innovations

Chapitre 14- Comment évaluer les impacts des innovations en agronomie ?

Agathe Devaux-Spatarakis et Sylvain Quiédeville

Résumé

Résumé. Depuis les années 2000, les chercheurs engagés dans une démarche d’innovation doivent répondre à des impératifs d’évaluation émanant de bailleurs de fonds, d’agences nationales de recherche et de développement, ou de la société civile. Afin de satisfaire cette demande, les chercheurs, dans le champ de l’agronomie, doivent mobiliser des méthodes et des outils leur permettant de rendre compte des effets de leurs propositions non seulement sur le plan agronomique, mais aussi sur les plans économique, social ou environnemental. Ce chapitre présente les différentes méthodes d’évaluation pouvant être mobilisées, ainsi que les arbitrages à effectuer afin de choisir l’approche la plus adaptée à l’innovation étudiée ainsi qu’aux questions posées par l’évaluation. Deux études de cas portant sur l’utilisation de méthodes d’évaluation de l’impact de la recherche, conduites dans le cadre des projets ImpresS et Impresa, sont présentées et discutées.

Texte intégral

1Dès le début du xxsiècle, on recense des travaux de chercheurs en agronomie ayant eu pour préoccupation d’évaluer rigoureusement les impacts des innovations qu’ils proposaient (Fisher, 1926). Alors que ces évaluations se concentraient principalement sur les impacts agronomiques des innovations, aujourd’hui les chercheurs doivent aussi se munir de méthodes d’évaluation à même de rendre compte des impacts sociaux, culturels ou économiques de leurs innovations. En effet, depuis le début des années 2000, les bailleurs de fonds, les organisations internationales et les agences nationales de recherche ou de développement ont affirmé leur volonté de financer en priorité les innovations ayant partiellement fait leurs preuves sur le terrain, c’est-à-dire ayant reçu une évaluation positive de leurs premiers impacts, tant agronomiques que sociaux (Naudet et Delarue, 2007 ; Evaluation Gap Working Group, 2006).

2Ce nouvel impératif évaluatif enjoint les chercheurs du secteur agricole à se doter de méthodologies d’évaluation s’inscrivant dans les standards internationaux et se rapprochant des méthodes utilisées dans le cadre de l’évaluation de programmes publics ou de projets. Dès lors, l’évaluation s’écarte d’une entreprise scientifique d’estimation des effets agronomiques d’un projet et se rapproche de l’évaluation telle que définie par l’Organisation de coopération et de développement économiques (OCDE, 2002), c’est-à-dire […] l’appréciation systématique et objective d’un projet, d’un programme ou d’une politique, en cours ou terminé, de sa conception, de sa mise en œuvre et de ses résultats. Le but est de déterminer la pertinence et l’accomplissement des objectifs, l’efficience en matière de développement, l’efficacité, l’impact et la durabilité.

  • 40 Le FiBL est basé en Suisse, en Allemagne, en Autriche, ainsi qu’en Belgique (à Bruxelles), pour ass (...)

3Bien que la recherche agricole puisse s’appuyer sur un corpus conséquent de méthodologies d’évaluation de programmes (Shadish et al., 1991 ; Weiss 1972 ; Patton, 2001), l’application des méthodes d’évaluation des impacts à des processus d’innovation parfois complexes soulève des défis méthodologiques spécifiques. À ce titre, plusieurs instituts de recherche en agriculture, en France et en Europe, ont engagé des projets de recherche dédiés à l’élaboration d’une approche d’évaluation adaptée. Il en est ainsi des projets d’analyse des impacts de la recherche publique agronomique (Asirpa) menés par l’Institut national de la recherche agronomique (Inra), d’analyse de l’impact des recherches au Sud (ImpresS) effectuée par le Centre de coopération internationale en recherche agronomique pour le développement (Cirad), ou du projet européen Impact of Research on EU Agriculture (Impresa) regroupant plusieurs instituts, dont l’Institut de recherche de l’agriculture biologique (FiBL40). Ces initiatives avaient comme défi commun d’élaborer des approches, des outils et des instruments à même de comprendre et de rendre compte des impacts de ces processus d’innovation sur la société.

4Ce chapitre présente dans un premier temps les méthodes, les outils et les instruments d’évaluation utilisés dans d’autres domaines que la recherche agronomique, mais sur lesquels elle peut s’appuyer. Dans un deuxième temps, nous illustrons de manière comparative deux approches d’évaluation d’innovations étudiées au sein des projets de recherche ImpresS et Impresa. Enfin, nous discuterons les apprentissages issus de ces deux expériences.

Comment choisir une méthode d’évaluation ?

5Afin de comprendre les enjeux autour d’une méthodologie d’évaluation des impacts des innovations, il nous faut présenter d’abord la diversité des méthodes d’évaluation et les questions que chacune d’entre elles soulève.

L’évaluation : une pratique plurielle

6L’évaluation – plus que n’importe quelle science – est ce que les gens disent qu’elle est, et les gens sont en train de dire que ce peut être beaucoup de choses différentes (Shadish et al., 1991). Ce constat d’universitaires américains témoigne de la difficulté d’appréhender l’évaluation. Cette diversité s’explique par la multiplicité des raisons du recours à l’évaluation, par le degré variable d’ouverture à différents acteurs de l’évaluation, ainsi que par les utilisations différentes de ses résultats.

Pourquoi évaluer ?

7Un premier objectif justifiant le recours à l’évaluation relève de la production d’informations en vue de la programmation d’un projet ou d’un dispositif. Ce type d’évaluation est conduit de manière ex ante, c’est à dire en amont de l’intervention. Il s’agit alors d’estimer les impacts d’une intervention future, de construire des scénarios permettant d’arbitrer entre différentes options, d’anticiper les risques potentiels dans sa mise en œuvre afin d’ajuster l’intervention, mais aussi de comprendre les mécanismes par lesquels le programme peut produire les impacts envisagés.

8Un deuxième objectif relève de la volonté d’identifier des points d’amélioration pour de futures interventions. Il consiste en la production de connaissances sur les processus et les mécanismes constituant des freins ou des leviers au bon déroulement de l’intervention pour produire des impacts. Ce type d’évaluation peut être réalisé après la mise en place du dispositif d’intervention, en vue de la programmation d’une prochaine intervention. Il peut être aussi conduit de manière in itinere, c’est-à-dire au cours de la mise en œuvre du dispositif, afin d’estimer l’atteinte des premiers effets intermédiaires, d’identifier les forces et les faiblesses de l’intervention, et d’ajuster celle-ci au plus vite. Ce type de démarche évaluative exige un appareillage à même d’appréhender les mécanismes causaux en jeu. Contrairement à un dispositif de suivi (ou monitoring), pouvant également être mis en place pendant l’intervention, l’évaluation interroge ici non seulement la logique et la pertinence des hypothèses guidant l’intervention, mais aussi la manière dont elle s’insère dans son environnement.

9Le troisième objectif relève de ce qui est désigné en anglais comme l’accountability, c’est-à-dire de la nécessité ou de l’obligation de rendre des comptes sur l’action conduite, au regard des attentes fixées par le commanditaire de l’évaluation. On peut s’intéresser à l’efficience de l’action (mesurée par le ratio dépenses en ressources / résultats), à son utilité (répond-elle aux besoins des bénéficiaires ?), à son efficacité (a-t-elle atteint ses objectifs ?), mais aussi à sa cohérence (son articulation avec d’autres dispositifs) ou à sa pertinence (est-ce la meilleure solution pour résoudre le problème identifié au départ ?). Bien entendu, les réponses à ces questionnements peuvent aussi apporter des éléments de réponse au deuxième objectif présenté précédemment. Le diagramme ci-dessous (figure 14.1) présente ces différents registres de l’évaluation et les dimensions qu’ils questionnent.

Figure 14.1. Les registres de l’évaluation et les dimensions questionnées (source : Quadrant-Conseil).

Figure 14.1. Les registres de l’évaluation et les dimensions questionnées (source : Quadrant-Conseil).

Lorsqu’une question d’évaluation questionne par exemple la production de résultats au regard des ressources, elle s’inscrit dans le registre de l’efficience.

10Une même évaluation peut poursuivre plusieurs de ces objectifs. Ainsi, une évaluation ayant vocation à rendre compte des résultats peut aussi vouloir comprendre la nature des processus influençant le déroulement de l’action, afin d’ajuster celle-ci. Également, il est possible pour une même intervention de prévoir trois temps d’évaluation, en estimant d’abord les impacts à priori, en effectuant ensuite un point à mi-parcours pour ajuster la mise en œuvre, et enfin en comparant les résultats finaux à ceux espérés, grâce à une évaluation à posteriori.

L’évaluation, pour qui et par qui ?

11Les méthodes d’évaluation se définissent aussi par leur ouverture à la participation de différents types d’acteurs. D’abord, une évaluation peut être conduite soit par une personne appartenant aux institutions mettant en œuvre l’intervention évaluée, soit en externe, par des personnes indépendantes. La tendance veut que dans les exercices d’évaluation ayant vocation à rendre compte des résultats, il soit prioritairement fait appel à des évaluateurs externes, alors que des évaluations tournées vers l’apprentissage font appel à des évaluateurs internes, plus à même de cerner les enjeux de l’intervention (Conley-Tyler, 2005).

12Ensuite, l’équipe responsable de la conduite de l’évaluation peut associer à ce processus d’autres personnes, comme les financeurs, les organismes de tutelle, des opérateurs de terrain, des bénéficiaires directs ou indirects de l’intervention, voire d’autres citoyens. On distingue plusieurs degrés de participation, en caractérisant sa « largeur » (fonction de la diversité des parties prenantes) (tableau 14.1) et sa « profondeur » (fonction du rôle joué par chaque partie prenante dans la conduite de l’évaluation) (Baron et Monnier, 2003).

Tableau 14.1.Les cinq niveaux de « largeur » de la participation à l’évaluation d’une intervention.

« Largeur » de l’évaluation

Participants à l’évaluation

Niveau 1

Les commanditaires et les principaux opérateurs de l’intervention évaluée (par exemple, les chercheurs et les bailleurs)

Niveau 2

Les participants du niveau 1 + les opérateurs de la mise en œuvre (par exemple, les partenaires de la recherche et les techniciens)

Niveau 3

Les participants du niveau 2 + les bénéficiaires directs (par exemple, les producteurs agricoles expérimentant l’innovation)

Niveau 4

Les participants du niveau 3 + les bénéficiaires indirects ou potentiels (par exemple, les producteurs situés dans la même zone que les expérimentateurs et potentiellement impactés par l’intervention)

Niveau 5

Les participants du niveau 4 + les citoyens ou leurs représentants

13L’évaluation est dite managériale, ou coproduite, lorsque la « largeur » de la participation reste de niveau 1 ou 2. Elle s’inscrit dans une dimension participative, et sa « largeur » atteint alors le niveau 3, à partir du moment où les bénéficiaires directs participent aux activités d’évaluation. Il faut cependant distinguer la simple consultation de la participation. Le fait que l’opinion des parties prenantes soit prise en compte lors de la collecte de données, par des entretiens ou des questionnaires, ne constitue pas une dimension participative à proprement parler. Pour que l’évaluation s’inscrive réellement dans une démarche participative, les parties prenantes doivent contribuer directement à une ou plusieurs activités d’évaluation.

14Baron et Monnier (2003) identifient les activités d’évaluation suivantes :

  • la définition des enjeux et des questions d’évaluation ;

  • la validation de la méthode d’évaluation ;

  • le pilotage des travaux d’évaluation ;

  • l’analyse et l’interprétation des données de l’évaluation ;

  • la formulation des recommandations suite aux résultats de l’évaluation.

15La « profondeur » de la participation est décidée, selon les besoins, par l’équipe d’évaluation, qui peut choisir d’ouvrir différentes activités d’évaluation à des groupes distincts de parties prenantes. Afin de favoriser l’appropriation des résultats de l’évaluation, il est conseillé d’inclure dans les activités énumérées ci-dessus les parties prenantes reconnues comme étant de futurs utilisateurs de ces résultats. Au minimum, elles doivent participer aux instances de pilotage de l’évaluation, voire à la définition des questions et du champ de l’évaluation (Patton, 1997). C’est uniquement lorsque des acteurs de niveau 3, 4, ou 5 (tableau 14.1) participent à la définition des questions ou aux enjeux de l’évaluation ainsi qu’à l’ensemble des tâches évaluatives que l’on peut parler d’évaluation émancipatrice (empowerment evaluation) (Fetterman et al., 2015).

16Les questionnements présentés ci-dessus sont communs à toutes les démarches d’évaluation. Nous présentons maintenant les problématiques propres à l’évaluation des impacts des innovations.

Les particularités de l’évaluation des impacts des innovations

17L’évaluation des impacts consiste, d’une part, à apprécier qualitativement ou quantitativement les changements à long terme survenus suite à l’innovation et, d’autre part, à vérifier que ceux-ci soient bien imputables à l’innovation et non à d’autres évènements. Les effets de l’innovation peuvent être positifs ou négatifs, directs ou indirects, prévus ou imprévus.

18En conséquence, l’évaluation des impacts appelle à la mobilisation de méthodes permettant d’analyser les relations entre l’innovation et les effets observés. Deux approches se distinguent pour assurer cette démonstration : d’une part, une analyse de l’attribution, en comparant les résultats de l’innovation à un scénario contrefactuel, et, d’autre part, une analyse de la contribution, en décomposant le processus d’innovation en différentes étapes et en vérifiant et explicitant les liens de causalité entre chacune de ces étapes et les changements observés.

Les méthodes de démonstration des impacts par l’usage d’un scénario contrefactuel

19Ces méthodes d’évaluation proposent un protocole de démonstration s’appuyant sur la comparaison de deux situations, l’une avec innovation, et l’autre, sans. On appelle cette démarche une analyse d’attribution. L’enjeu méthodologique est de s’assurer de la plus grande similarité possible entre les deux groupes, constitués des unités que l’on souhaite observer (par exemple, des individus), qui servent à la comparaison, afin qu’ils ne se distinguent que par l’absence ou la présence de l’innovation. Le scénario contrefactuel, c’est-à-dire la situation sans intervention innovatrice, est alors assimilable à ce qu’aurait été la situation du groupe faisant l’objet de l’évaluation s’il n’avait pas participé à l’innovation.

20Le groupe servant de contrefactuel peut être reconstitué par l’équipe d’évaluation de manière quasi expérimentale, avec des méthodes statistiques comme les méthodes d’appariement de groupes de comparaison interne ou externe ou la méthode des doubles différences. Il peut aussi être reconstitué par le biais de la modélisation, pour obtenir une situation contrefactuelle modélisée (SFE, 2011). Les groupes de comparaison peuvent aussi être constitués par tirage au sort parmi les potentiels bénéficiaires d’une innovation qui doit être mise en œuvre, les uns étant inclus dans un groupe test, qui sera effectivement concerné par l’innovation, et les autres étant inclus dans un groupe témoin, qui ne le sera pas et servira de groupe contrefactuel, dans le cadre d’une expérimentation par assignation aléatoire (Duflo, 2005).

21Ce type de démonstration est adapté à des innovations simples dont la diffusion repose sur le modèle du transfert de technologies. Il requiert que l’innovation soit stable dans le temps et ne nécessite pas d’importantes adaptations lors de sa mise en œuvre par des acteurs de terrain (Devaux-Spatarakis, 2014a). On peut appeler ces innovations des programmes « tunnels », au sens où ils suivent une causalité linéaire simple et sont peu sujets aux interventions des parties prenantes (Naudet et al., 2012).

Les méthodes de démonstration de la causalité par une analyse de contribution

22Cette seconde approche s’appuie sur la décomposition du processus d’innovation ainsi que sur une analyse des différents liens de causalité en jeu. Il s’agit d’une analyse de contribution (Mayne, 2001). Elle théorise le lien non pas entre un effet et une cause unique, mais entre un effet et un faisceau causal réunissant un ensemble de causes, dont chacune ne peut à elle seule provoquer l’effet final, mais dont la synergie avec les autres causes est susceptible de créer l’effet en question (Befani, 2012). De fait, l’innovation évaluée n’est qu’une contribution parmi d’autres au changement observé. L’enjeu de l’évaluation tient à quantifier et à qualifier de quelle manière et dans quelle mesure l’innovation a contribué aux changements observés.

23Une telle évaluation s’inscrit dans la famille des méthodes qualifiées de « basées sur la théorie » (theory-driven). Cette approche décompose l’innovation en une succession d’hypothèses sur les changements qu’elle devrait générer auprès des différents acteurs, hypothèses qui sont questionnées lors de la collecte de données dans le cadre de l’évaluation (Devaux-Spatarakis, 2014b). Cet outil central de l’analyse peut être appelé la théorie du changement, le diagramme logique d’impact ou le chemin de l’impact (Douthwaite et al., 2003). Il rend compte non seulement de l’innovation, mais aussi de son interaction avec les différentes parties prenantes et de l’influence du contexte sur celle-ci.

24Cette démarche s’adapte à l’évaluation de l’impact d’innovations complexes, dont le déploiement s’accompagne de processus évolutifs, notamment suite au jeu des acteurs. Elle permet de mettre au jour les différentes hypothèses sous-tendant l’intervention innovatrice et d’identifier les points critiques liés aux interactions entre les différentes parties prenantes qui participent à l’innovation.

25Il n’existe donc pas de méthode d’évaluation standard. Une appréciation des objectifs de l’évaluation, du rôle que l’on veut donner aux différentes parties prenantes, ainsi que du type de processus d’innovation étudié, est un préalable au choix de la démarche générale et de l’ensemble des outils utilisés pour évaluer (tableau 14.2).

Tableau 14.2. Choix des approches d’évaluation de l’impact en fonction du type d’innovation à évaluer.

Caractéristiques de l’innovation et approches d’évaluation adaptées

Innovation simple / transfert de technologie

Système d’innovation complexe

Processus d’innovation

Nouvelle technologie, pratique ou norme, dont les initiateurs contrôlent la mise en œuvre

Technologie, pratique ou norme sans cesse sujettes à des adaptations par les acteurs qui s’en emparent

Acteurs de l’innovation

Définis en amont, faisant l’objet d’un suivi tout au long de la mise en œuvre

Évoluant au cours de l’innovation

Objectifs de l’innovation

Définis en amont

Pouvant être redéfinis au fur et à mesure des adaptations de l’innovation

Démarches d’évaluation

Méthodes expérimentales ou quasi expérimentales

Approches basées sur la théorie du changement (chemin d’impact)

Méthode de démonstration de la causalité

Analyse d’attribution

Analyse de contribution

Présentation d’une démarche d’évaluation pour des innovations complexes

26La démarche d’analyse de contribution pour l’évaluation d’innovations complexes peut être illustrée à partir de deux cas d’étude concernant la recherche agronomique et tirés des projets ImpresS et Impresa. Nous comparerons les démarches ayant été appliquées dans ces deux cas et en tirerons des conclusions en matière de méthodes, d’outils et d’instruments pour l’évaluation de l’impact de la recherche agricole.

  • 41 http://impress-impact-recherche.cirad.fr
  • 42 Cette innovation a été menée par Claire Cerdan, de l’unité mixte de recherche « Innovation » (Montp (...)

27Le projet ImpresS41 (Impact de la recherche dans les pays du Sud), porté par le Centre de coopération internationale en recherche agronomique pour le développement (Cirad), a pour objectif d’élaborer et de mettre en œuvre une démarche d’évaluation de l’impact favorisant la culture de l’impact au sein de cette institution. Il s’agit, d’une part, de rendre compte des impacts des innovations soutenues par le Cirad et ses partenaires du Sud et, d’autre part, de générer des connaissances sur le rôle de la recherche dans ces processus innovants, afin d’améliorer les interventions. Treize études de cas, embrassant une diversité d’innovations, ont été réalisées de 2015 à 2016. Nous présenterons succinctement ici une innovation qui concerne la mise en place d’une indication géographique dénommée « Vales da Uva, Goethe » auprès des producteurs de vins de l’État de Santa Catarina, dans le Sud du Brésil, de 2004 à 201442, allant de la préparation du dossier pour la reconnaissance de l’indication géographique jusqu’à la commercialisation du vin sous cette appellation.

  • 43 www.impresa-project.eu

28Le projet Impresa43 suit le même type de démarche, mais avec quelques spécificités. Ce projet a pour mission générale de mesurer, d’évaluer et de comprendre les impacts de toute forme de recherche scientifique européenne agricole. Une partie du projet consistait en l’étude des causalités complexes du chemin de l’impact allant de la recherche au développement d’innovations agricoles puis aux effets induits sur la société. Nous illustrons cette démarche via l’exemple de la transition vers des systèmes rizicoles bio, dans le cadre d’un programme de recherche pour le déploiement de l’agriculture biologique en Camargue, initié en 2000 par l’Institut national de la recherche agronomique et ses partenaires. Il s’agissait de répondre au dilemme posé entre, d’une part, la nécessité de produire du riz pour dessaler les sols et ainsi préserver l’activité agricole sur le territoire et, d’autre part, l’obligation de réduire les impacts environnementaux de la production rizicole.

29Ces évaluations ont fait appel à une démarche participative, en réunissant les bénéficiaires directs et les bénéficiaires indirects de l’innovation, (soit respectivement les niveaux 3 et 4 en « largeur » de participation, définis dans le tableau 14.1).

Reconstruire de manière participative le chemin d’impact de l’innovation

30Ces deux démarches d’évaluation ont eu recours à une analyse de causalité, en faisant appel à la reconstruction du chemin de l’impact, allant de l’intervention de la recherche aux impacts sur les processus d’innovation puis sur les bénéficiaires et la société. Le chemin de l’impact est représenté graphiquement, montrant le processus causal de l’innovation (figure 14.2).

Figure 14.2. Chemin d’impact de l’innovation concernant l’indication géographique « Vales da uva, Goethe » (constitué avec l’équipe de recherche de Claire Cerdan).

Figure 14.2. Chemin d’impact de l’innovation concernant l’indication géographique « Vales da uva, Goethe » (constitué avec l’équipe de recherche de Claire Cerdan).

31La démarche ImpresS prévoit de débuter l’évaluation de l’impact par un atelier participatif réunissant les parties prenantes de l’innovation, afin de retracer le récit de l’innovation de manière chronologique et de mettre en lumière certaines parties du processus moins connues. À partir de ce travail, l’équipe d’évaluation a pu élaborer le chemin d’impact retraçant les relations causales de l’innovation.

32On trouve sur ce chemin d’impact :

  • les ressources utilisées par la recherche (inputs) ;

  • les produits de la recherche (outputs) ;

  • leur appropriation et leur transformation par les producteurs membres de l’association de promotion de l’indication géographique (IG ProGoethe), notamment en dispositifs sociotechniques (outcomes) ;

  • les impacts de premier niveau, auprès des acteurs interagissant avec la recherche (les membres de l’IG ProGoethe) ;

  • mais aussi les impacts de deuxième niveau, auprès d’autres acteurs, bénéficiaires indirects de l’innovation, comme les autres producteurs de la région n’ayant pas recours à l’indication géographique.

33Nous voyons toute la complexité du chemin d’impact, due à des processus dynamiques et non linéaires. Il témoigne d’un processus d’innovation complexe, multi-acteurs, et composé de causalités multiples pouvant interagir entre elles.

  • 44 Étaient présents à cet atelier : deux chercheurs de l’Inra et trois du Centre français du riz (CFR) (...)

34Dans le cadre de l’évaluation du programme sur le riz biologique de Camargue, le chemin de l’impact du programme de recherche a été reconstitué et dessiné de manière participative, avec les différentes parties prenantes, au cours d’un atelier44 (Quiédeville et al., 2017). Les parties prenantes ont tout d’abord identifié les différents changements liés à la transition vers l’agriculture biologique en Camargue depuis 2000. Ensuite, ils ont cherché à définir comment, quand, et où ces changements se sont produits. Puis ils ont dessiné le chemin de l’impact, tenant compte de la nature complexe et dynamique des innovations en jeux. Un travail particulier a aussi été effectué sur la nature et l’intensité des liens reliant les étapes entre elles, afin de mieux y déterminer le rôle de la recherche. De plus, une analyse du réseau social a permis d’interroger le véritable rôle joué par les différents instituts de recherche dans la transition vers le bio et ainsi de confirmer les dires d’acteurs.

35Pour établir dans quelle mesure les impacts sont imputables à l’innovation, d’une part, et à l’intervention de la recherche, d’autre part, il est nécessaire de mener un travail de triangulation des informations à partir de différentes sources d’information. Il s’agit de combiner l’analyse de documents, de statistiques ou d’études existantes (constituant des données secondaires), ainsi que de réaliser des enquêtes par questionnaires, entretiens individuels ou entretiens collectifs.

Identifier et mesurer les impacts

36L’évaluation fondée sur le chemin de l’impact requiert un travail spécifique afin d’identifier et de mesurer les impacts de l’innovation. Les deux exemples de démarches choisis sont exploratoires et participatifs, afin de répertorier les impacts du processus d’innovation. Dans le cadre de l’évaluation en Camargue, ce sont des entretiens individuels qui ont permis de révéler les impacts. Dans le cadre de l’évaluation de l’indication géographique au Brésil, l’atelier participatif réunissait les différents opérateurs et bénéficiaires de l’innovation, qui ont par petits groupes identifié des descripteurs d’impact, c’est-à-dire les effets perçus de l’innovation sur leurs activités et leur environnement. Ces impacts peuvent être positifs ou négatifs, et prévus ou non. Ils peuvent être complétés par les impacts espérés par les équipes de recherche, tels que la préservation de la biodiversité (cas de la Camargue), par exemple. Au Brésil, les acteurs ont noté un impact inattendu de l’indication géographique sur l’économie locale dans son ensemble, et ce, bien au-delà des seuls producteurs qui utilisent cette indication, ce qui donne ainsi une autre ampleur à l’innovation initiale.

37Une fois les impacts identifiés, l’équipe d’évaluation recherche des indicateurs. Pour ce faire, elle peut s’appuyer sur une étude de la littérature, mais aussi sur les descripteurs d’impacts formulés par les bénéficiaires. À titre d’exemple, au Brésil, pour estimer l’impact de l’indication géographique sur la professionnalisation des producteurs de vins artisanaux et coloniaux, les indicateurs choisis sont l’évolution de la qualité des vins évaluée lors des concours locaux, le nombre de visiteurs à la fête du vin bénéficiant de l’indication géographique « Vales da uva, Goethe », en 2015, et l’évolution de la vente directe et de la vente totale de vin sous indication géographique par les producteurs.

38Lorsque les indicateurs ont été trouvés, l’équipe d’évaluation conduit alors une collecte de données afin de les renseigner et d’estimer dans quelle mesure les impacts identifiés sont en effet vérifiables sur le terrain.

Retour d’expériences sur l’apport de l’évaluation pour la compréhension de l’innovation

Une meilleure compréhension des mécanismes causaux des processus d’innovation

39Ces deux études de cas permettent d’enrichir la compréhension du processus d’innovation, et notamment celle des processus causaux le sous-tendant. L’outil que constitue le chemin d’impact permet d’organiser les informations, et notamment de mieux comprendre les relations causales entre le travail de la recherche, son appropriation et son adaptation par d’autres acteurs et, enfin, les impacts produits. Il permet aussi d’imputer les impacts observés et de distinguer ce qui relève de l’innovation étudiée ou de son environnement et d’autres programmes.

40L’analyse fine du chemin de l’impact permet aussi de savoir où et quand la recherche joue un rôle clé dans le processus d’innovation. Dans le cas de la Camargue, ce sont les dires d’acteurs pendant l’atelier qui ont permis de constituer les hypothèses sur le processus d’innovation, en partant du début du programme de recherche et en allant jusqu’aux impacts. Ces hypothèses ont ensuite pu être confirmées, ou réfutées, par les évaluateurs (process tracing), sur la base des documents officiels, des observations concrètes qu’ils ont effectuées sur le terrain, des dires d’acteurs à partir d’entretiens individuels, de statistiques, ainsi que sur la base de l’analyse du réseau social, pour les changements en matière de relations entre individus et/ou institutions. Dans le cas de l’indication géographique au Brésil, l’équipe a estimé que le travail autour du chemin de l’impact a permis de mettre en cohérence l’ensemble des activités des différents acteurs de l’innovation. Cet outil l’a aussi amenée à expliciter les activités par lesquelles les acteurs de terrain s’étaient approprié (ou non) les productions des équipes de recherche (Cerdan, 2016).

41Afin de renforcer la rigueur de l’analyse, l’évaluateur peut aussi chercher de possibles explications alternatives vis-à-vis des différentes causalités du chemin de l’impact (leur exactitude est aussi vérifiée par le process tracing). Cette analyse approfondie du chemin de l’impact, à charge de l’imputabilité des impacts observés à l’innovation, permet de compenser l’absence d’une comparaison avec un groupe témoin (Mayne, 2001). Cette analyse peut toutefois être renforcée, comme dans le cas camarguais, à l’appui de questions posées au cours d’entretiens individuels, du type de celle-ci : « En l’absence de l’activité X du programme, que se serait-il passé ? ». Ces questions permettent de mieux cerner ce qu’aurait pu être la situation contrefactuelle, c’est-à-dire la situation sans l’intervention de la recherche. Dans le même esprit, nous avons demandé aux acteurs d’estimer l’importance de chaque évènement identifié sur le chemin de l’impact, par rapport à leur influence sur les évènements qui ont suivi, ce qui a permis d’améliorer notre compréhension du rôle et de la contribution de la recherche aux innovations, puis de la contribution de ces innovations aux impacts sur les bénéficiaires et la société.

Utilité de l’évaluation pour les acteurs de l’innovation

42Ces démarches d’évaluation d’impact ont été une source d’apprentissage pour la recherche et les autres acteurs de l’innovation. Des ateliers de restitution ont été organisés dans les deux cas d’étude, donnant l’occasion aux acteurs de commenter les résultats d’évaluation.

43Dans le cas de la Camargue, l’évaluation du programme de recherche a permis d’identifier les leviers et les barrières à la transition vers le bio pour les agriculteurs. Les acteurs ont aussi pu exprimer le souhait que les expérimentations scientifiques soient menées en plus étroite collaboration avec les agriculteurs, afin que leur efficacité en soit améliorée. Par ailleurs, l’évaluation a rendu compte d’un trop grand optimisme des chercheurs quant à l’utilisation de leur recherche par les bénéficiaires. Elle a montré que le programme de recherche a produit des effets positifs, mais que son influence n’a pas été décisive, en ce sens que d’autres facteurs importants (cadre institutionnel, facteurs économiques et politiques, etc.) ont également joué un rôle. La recherche a commencé à prendre ces éléments en considération ; l’Institut national de la recherche agronomique et le Centre français du riz ont notamment amorcé des discussions plus profondes sur la manière de collaborer ensemble et de mieux impliquer les agriculteurs dans l’élaboration des objectifs et dans la mise en œuvre des travaux de recherche, notamment en matière d’expérimentations de pratiques agricoles.

44Dans le cas brésilien, l’évaluation a ouvert des pistes de réflexion pour la mise en place de nouvelles indications géographiques. La phase de l’appropriation et de la transformation des résultats de la recherche par les autres acteurs est apparue comme le moment le plus déterminant pour la production d’impacts. Suite à cette évaluation, l’équipe de recherche envisage d’adopter une nouvelle approche pour promouvoir de nouvelles indications géographiques, en travaillant en plus étroite collaboration avec les producteurs, notamment pour produire différents outils, comme des guides simplifiés, utiles aux acteurs impliqués dans la création des indications géographiques. Il est aussi envisagé d’appliquer la méthode d’évaluation ImpresS à des projets de nouvelles indications géographiques en cours, pour une évaluation in itinere, s’intéressant notamment aux risques et aux opportunités à prendre en compte lors de l’élaboration de l’innovation.

Conclusion : pour une culture de l’impact au service de l’apprentissage de la recherche

45Une diversité de méthodes, d’outils et d’instruments sont à disposition du chercheur pour évaluer les innovations auxquelles il participe. Le choix d’une méthode pertinente nécessite de bien définir en amont le champ et les objectifs de l’évaluation ainsi que son degré d’ouverture aux parties prenantes de l’innovation considérée. L’évaluation de l’impact des innovations demande en outre de se questionner sur la nature du processus d’innovation à évaluer. Il est nécessaire de s’assurer que la méthode choisie pour l’évaluation soit adaptée au processus d’innovation étudié.

46Les processus d’innovation complexes appellent à privilégier une démarche s’appuyant sur l’élaboration du chemin de l’impact et sur l’étude des liens de causalité. Le chemin de l’impact peut à la fois aider à construire un consensus des parties prenantes sur le processus d’innovation, permettre d’identifier les liens de causalité qui mènent à l’impact, structurer une collecte d’information sur les impacts, et favoriser un apprentissage des différents acteurs. L’enjeu réside ensuite dans l’usage des connaissances acquises et dans la valorisation des apprentissages pour guider l’action. La promotion d’une culture de l’impact dans les institutions de recherche n’a pas uniquement pour objet de rendre des comptes aux tutelles de ces institutions ; elle peut permettre une meilleure programmation des recherches pour viser l’impact, mais elle peut aussi être au service de l’apprentissage des chercheurs afin qu’ils interrogent leurs pratiques en matière d’appui aux processus d’innovation auxquels ils participent.

Bibliographie

Bibliographie

Baron G., Monnier E., 2003. Une approche pluraliste et participative : coproduire l’évaluation avec la société civile. Informations sociales, 110.

Befani B., 2012. Models of Causality and Causal Inference. In: Broadening the Range of Designs and Methods for Impact Evaluation (Stern E., Stame N., Mayne J., Forss K., Davies R., Befani B., eds). Department For International Development, London, Working paper, 38.

Cerdan C., 2016. Une valeur ajoutée des produits de l’agriculture familiale du Brésil à explorer : les indications géographiques. Étude de cas ImpresS, Cirad, Montpellier.

Conley-Tyler M., 2005. A fundamental choice: internal or external evaluation? Evaluation Journal of Australasia, 4(1, 2), 3‑11.

Devaux-Spatarakis A., 2014a. La méthode expérimentale par assignation aléatoire : un instrument de recomposition de l’interaction entre sciences sociales et action publique en France ?, thèse de doctorat en science politique, université de Bordeaux.

Devaux-Spatarakis A., 2014b. L’évaluation basée sur la théorie entre rigueur scientifique et contexte politique. Politiques et Management Public, 31(1), 75‑91.

Douthwaite B., Kuby T., van de Fliert E., Schultz S., 2003. Impact pathway evaluation: an approach for achieving and attributing impact in complex systems. Agricultural Systems, 78, 243‑65.

Duflo E., 2005. Évaluer l’impact des programmes d’aide au développement : le rôle des évaluations par assignation aléatoire. Revue d’économie du développement, 19(2), 185-226.

Evaluation Gap Working Group, 2006. When Will We Ever Learn? Improving Lives Through Impact Evaluation, report of the Center for Global Development.

Fetterman D.M., Kaftarian S.J., Wandersman A. (eds), 2015. Empowerment evaluation: knowledge and tools for self-assessment, evaluation capacity building, and accountability, second edition, Sage Publications, Los Angeles.

Fisher R.A., 1926, The arrangement of field experiments. Journal of Ministry of Agriculture, XXXIII, 503‑23.

Mayne J., 2001. Addressing Attribution Through Contribution Analysis: Using Performance Measures Sensibly. The Canadian Journal of Program Evaluation, 16(1), 1‑24.

Naudet J.-D., Delarue J., 2007. Promouvoir les évaluations d’impact à l’Agence française de développement : renforcer l’appropriation et l’apprentissage institutionnels. 02. Série Notes méthodologiques Ex Post, Département de la Recherche, Division Évaluation et capitalisation, Agence française de développement.

Naudet J.-D., Delarue J., Bernard T., 2012. Évaluations d’impact : un outil de redevabilité ? Les leçons tirées de l’expérience de l’AFD. Impact Evaluations: a tool for accountability? Lessons from experience at AFD. Revue d’économie du développement, 20, 27-48.

OCDE, 2002. Glossaire des principaux termes relatifs à l’évaluation et la gestion axée sur les résultats, OECD Publishing, Paris, <http://www.oecd.org/development/peer-reviews/2754804.pdf> (consulté le 13 mars 2018).

Patton M.Q., 1997. Utilization-Focused Evaluation: The New Century Text, Thousand Oaks / Sage Publications, London, New Delhi.

Patton M.Q., 2001. Qualitative Evaluation and Research Methods, 2nd Edition, Sage Publications, Thousand oaks, CA.

Quiédeville S., Barjolle D., Mouret J.-C., Stolze M., 2017. Ex-Post Evaluation of the Impacts of the Science-Based Research and Innovation Program: A New Method Applied in the Case of Farmers’ Transition to Organic Production in the Camargue. Journal of Innovation Economics and Management, 22(1), 145-145.

Quiédeville S., Barjolle D., Stolze M., 2018. Using Social Network Analysis to Evaluate the Impacts of the Research: On the Transition to Organic Farming in the Camargue. Cahiers Agricultures, 27(1), 1-9.

SFE, 2011. L’évaluation des impacts des programmes et services publics. Société française d’Evaluation, Les cahiers de la SFE, 6.

Shadish W.R., Cook T.D., Leviton L.C., 1991. Social Program Evaluation: Its History, Tasks, and Theory. In: Foundations of Program Evaluation: Theories ofPractice (W.R. Shadish, T.D. Cook, L.C. Leviton, eds), Sage Publications, Newbury Park, Calif, 19‑35.

Weiss C.H., 1972. Evaluation research: methods for assessing program effectiveness, Prentice-Hall methods of social science series, Prentice-Hall, Englewood Cliffs, N.J.

Notes

40 Le FiBL est basé en Suisse, en Allemagne, en Autriche, ainsi qu’en Belgique (à Bruxelles), pour assurer la coordination et soutenir les instituts nationaux dans leurs efforts de recherche et de vulgarisation concernant l’agriculture biologique et le développement durable.

41 http://impress-impact-recherche.cirad.fr

42 Cette innovation a été menée par Claire Cerdan, de l’unité mixte de recherche « Innovation » (Montpellier), ainsi que par l’Universidade Federal de Santa Catarina (UFSC), l’Empresa de Pesquisa Agropecuária e Extensão Rural de Santa Catarina (Epagri) et les producteurs de l’association ProGoethe, au Brésil.

43 www.impresa-project.eu

44 Étaient présents à cet atelier : deux chercheurs de l’Inra et trois du Centre français du riz (CFR), deux personnes de la SARL Thomas (entreprise collectant et commercialisant le riz biologique de Camargue) et une de Biocamargue (entreprise collectant, transformant et valorisant le riz biologique de Camargue), un modérateur, un animateur, sept agriculteurs, et deux assistants.

Table des illustrations

Titre Figure 14.1. Les registres de l’évaluation et les dimensions questionnées (source : Quadrant-Conseil).
Légende Lorsqu’une question d’évaluation questionne par exemple la production de résultats au regard des ressources, elle s’inscrit dans le registre de l’efficience.
URL http://books.openedition.org/quae/docannexe/image/25601/img-1.jpg
Fichier image/jpeg, 93k
Titre Figure 14.2. Chemin d’impact de l’innovation concernant l’indication géographique « Vales da uva, Goethe » (constitué avec l’équipe de recherche de Claire Cerdan).
URL http://books.openedition.org/quae/docannexe/image/25601/img-2.jpg
Fichier image/jpeg, 178k

Lire

Open access