Chapitre 15 - Évaluer les impacts des innovations : intérêts et enjeux d’une approche multicritères et participative
p. 223-238
Résumé
Résumé. Pour accompagner les acteurs dans les transitions vers des systèmes alimentaires plus durables, l’enjeu est de disposer d’outils d’évaluation multicritères pour explorer les effets et les impacts d’innovations techniques et organisationnelles. Dans ce chapitre, nous présentons deux constructions et usages possibles de tels outils : le premier concerne l’appui à la transition agro-écologique dans les exploitations agricoles et le second vise à comparer deux modèles de chaînes alimentaires, l’une, locale, et l’autre, globale. Ces deux exemples nous permettent d’aborder et de discuter trois fronts méthodologiques : la prise en compte des multiples dimensions et propriétés des systèmes durables, dans une recherche de complétude entre les dimensions environnementales, économiques et sociales ; la participation des acteurs à l’élaboration des critères et des indicateurs d’évaluation ; et la manière d’aboutir à une appréciation finale à travers le choix de méthodes de mesure, de fixation de scores, de pondération et d’agrégation des indicateurs ou de calcul de performances.
Texte intégral
1Si l’innovation est un processus par lequel une idée, un concept ou un objet nouveaux devient un système opératoire approprié et maîtrisé par des acteurs (ici, des parties prenantes des chaînes alimentaires, c’est-à-dire des chaînes reliant la production agricole, la transformation de matières premières, la commercialisation et la consommation de produits alimentaires), alors il faut admettre que les changements réellement mis en œuvre, mais aussi les effets et les impacts45 du processus, peuvent rarement être connus à l’avance. D’une part, le concept ou l’objet initial est décliné et adapté de manière différenciée selon les individus ; d’autre part, les interactions au sein des systèmes de production dans lesquels l’innovation s’inscrit conduisent à des réorganisations dont la nature est difficile à prévoir, notamment aux échelles qui dépassent celles de la mise en œuvre du concept ou de l’objet (Flichy, 2003). Enfin, il n’est pas toujours simple pour les acteurs engagés dans le processus d’innovation de se projeter dans des effets de moyen ou long terme et de longue distance.
2Il a ainsi été montré que la diffusion d’un système technique de production tel que l’agriculture biologique, pourtant réputé intrinsèquement vertueux au regard de ses impacts sur l’environnement, pouvait conduire à des configurations régionales d’usage des sols jugées peu durables par les mêmes acteurs initialement promoteurs du dit système (Delmotte et al., 2016). Ceci montre les contradictions potentielles que porte tout processus d’innovation. De plus, le point de vue sur un même processus d’innovation est souvent différent d’un acteur à l’autre. L’enjeu est alors non seulement de se doter d’une liste de critères et d’indicateurs46, pour évaluer une innovation dans plusieurs dimensions, mais aussi de permettre à différents types d’acteurs, au-delà des chercheurs, de participer à la définition de ces indicateurs, pour que divers points de vue soient pris en compte.
3Les évolutions de l’agriculture ont stimulé l’immixtion de la société, et plus exactement de la sphère citoyenne (consommateurs, associations environnementales, par exemple), dans la gestion des affaires agricoles (Pujol et Dron, 1999). La montée en puissance de la société civile sur ces questions, l’exacerbation de crises agricoles en lien avec des scandales, qui sont sanitaires, alimentaires ou liés à certains modèles techniques, et la publicisation d’enjeux jusqu’ici peu reconnus (pollution par les particules fines, obésité…) ont fait de l’agriculture un secteur sous haute surveillance. Les acteurs concernés et les points de vue sont donc devenus nombreux et divers.
4Dans la littérature agronomique, les démarches de conception, ou d’aide à la conception, de systèmes techniques innovants s’appuient sur des méthodes d’évaluation dans lesquelles les systèmes actuels aussi bien que les nouveaux systèmes imaginés (qu’ils viennent de la recherche ou s’inspirent des innovations portées par quelques acteurs pionniers) sont passés au crible d’un certain nombre d’indicateurs dits « de performance » (Lairez et al., 2015). Cependant, souvent, ces méthodes d’évaluation présentent quelques faiblesses :
centrées sur la dimension agro-environnementale, elles prennent peu en compte des critères sociaux ;
soucieuses d’évaluer des impacts directs, elles examinent moins les effets de l’innovation sur la réorganisation des systèmes sociotechniques ;
elles s’appuient peu sur le point de vue des acteurs et sur leurs critères de satisfaction.
5Pour améliorer les méthodes d’évaluation, il peut s’agir alors de mieux prendre en compte le point de vue des producteurs directement concernés, par la remise en question de leurs pratiques usuelles, aussi bien que celui de leurs représentants et/ou des personnes qui les accompagnent dans leurs changements de pratiques. Il peut s’agir aussi, plus largement, d’intégrer le point de vue d’autres acteurs concernés par les innovations autour de l’agriculture, tels que les metteurs en marché, les consommateurs ou bien encore les écologistes, les habitants locaux, les citoyens...
6L’objectif de ce chapitre est de montrer, à partir de deux études de cas, les intérêts et les enjeux de méthodes d’évaluation multicritères des innovations, qui proposent une vision globale, s’appuient sur un concept de durabilité forte et impliquent divers acteurs.
7Dans une première étude de cas, nous montrons comment un collectif d’experts, auquel nous avons participé, a cherché à renouveler une méthode d’évaluation de la durabilité des exploitations agricoles (la méthode IDEA) pour mieux appréhender la performance globale d’exploitations agricoles en transition plus ou moins avancée vers l’agro-écologie. Dans la seconde étude, nous présentons la construction participative d’une méthode d’évaluation visant à comparer deux modèles de chaînes alimentaires, l’une locale, l’autre globale. Dans chaque cas, nous soulignons certains aspects méthodologiques clés. Nous ouvrons ensuite la discussion sur le caractère co-construit et pluridisciplinaire de ces outils, en les resituant dans l’évolution des démarches d’évaluation multicritères en recherche agronomique (Sadok et al., 2008), d’une part, et dans la perspective d’un régime démocratique d’évaluation des performances (Jany-Catrice, 2012), d’autre part.
Un renouvellement de la méthode IDEA pour évaluer la transition agro-écologique de l’exploitation agricole
8La définition des modalités d’accompagnement et d’appréciation de la transition agro-écologique dans les exploitations agricoles constitue aujourd’hui un enjeu majeur de développement agricole. Les méthodes de suivi et évaluation basées sur des listes de bonnes pratiques à repérer dans les exploitations agricoles en transition ne peuvent garantir la mise en place d’un système qui soit effectivement plus durable. Pour cela, il faut être en mesure d’apprécier la performance globale de la transition, à savoir les effets et les impacts potentiels, à différentes échelles et pour une gamme large de domaines de performance (environnemental, économique, social, éthique, bien-être et santé). À cette fin, nous avons transformé la méthode IDEA, une méthode déjà reconnue pour son caractère pédagogique et global.
La méthode IDEA pour évaluer la durabilité d’une exploitation agricole
9La méthode IDEA (Indicateurs de durabilité des exploitations agricoles) (Vilain, 2008) a été conçue pour servir l’enseignement académique ou professionnel et le monde de l’accompagnement des agriculteurs. Il s’agissait de mettre à disposition des enseignants et des conseillers agricoles un outil opérationnel permettant de décliner concrètement le concept de durabilité, et ce, pour l’ensemble de l’agriculture du territoire national français. Dans IDEA, l’agriculture durable est définie comme une agriculture écologiquement saine, économiquement viable, socialement juste et humaine (Zahm et al., 2015). C’est la raison pour laquelle IDEA agrège des notes (ou scores) d’indicateurs pour aboutir à trois dimensions d’évaluation, agro-environnementale, socio-territoriale et économique. IDEA s’inscrit également dans le courant de la durabilité forte, où l’hypothèse de substituabilité des différentes formes de capital (capital manufacturé, humain et naturel, ainsi que le stock de connaissances et de savoir-faire) est rejetée. Ainsi, dans IDEA, il n’y a pas d’agrégation possible entre les trois piliers de la durabilité (économique, sociale et environnementale). L’évaluation finale de la performance de l’exploitation agricole en matière de durabilité repose ainsi sur trois notes juxtaposées (figure 15.1).
Figure 15.1. Exemple d’évaluation des performances d’une exploitation agricole selon les trois piliers de la durabilité.

La note maximale pour chaque pilier est de 100. Comme il n’y a pas de substituabilité, c’est la note la plus faible qui détermine le niveau de durabilité.
Une méthode renouvelée pour évaluer innovations et transitions agro-écologiques
10Dans une acception large de la définition de l’agro-écologie (Doré et al., 2011), nous considérons que celle-ci questionne à la fois les nouvelles fonctions, agronomique et environnementale, que doit remplir l’agriculture, mais aussi des objectifs plus larges de contribution à la durabilité de la société dans son ensemble. Pour cela, la méthode IDEA se devait d’être repensée, car elle ne permettait de saisir ni les impacts de l’exploitation agricole sur les changements globaux (le changement climatique, par exemple) ni l’exacerbation des incertitudes en lien avec ces changements, pas plus qu’un certain nombre de concepts clés attachés à l’agro-écologie (autonomie, économie circulaire, sobriété) ou que la question alimentaire.
Définir le champ des experts concernés
11Une première étape a consisté à définir les participants à la construction de l’outil d’évaluation. Un groupe de projet a été constitué d’experts de différents métiers (chercheurs, enseignants, membres d’instituts techniques spécialisés), issus de différentes disciplines scientifiques (agronomie, zootechnie, sociologie, sciences de gestion, économie, etc.), couvrant de par leurs expériences la diversité des systèmes de production et des filières (grandes cultures, viticulture, élevage, etc.), et représentatifs des grandes régions agricoles françaises (méditerranéenne, de montagne, etc.). Le but assigné à ce groupe a été l’élaboration d’un outil didactique d’évaluation de la durabilité des exploitations agricoles, utilisable facilement en situation de formation et d’accompagnement des agriculteurs, valable pour toute l’agriculture française47 et prenant en compte les nouveaux enjeux et les nouvelles connaissances liés à l’agro-écologie. Ce groupe a été mobilisé tout au long du processus de conception et pour toutes les étapes qui sont détaillées dans la suite.
Affirmer les contours du système à évaluer à différentes échelles
12Après s’être entendus sur une réactualisation des définitions des concepts de durabilité, d’agriculture durable et d’exploitation agricole durable s’inscrivant dans le champ de la durabilité forte, les experts ont été mis à contribution pour préciser les limites du système étudié et des échelles d’évaluation. Nous avons considéré, suivant Bossel (1998) et Terrier et al. (2013), que les critères à retenir devaient rendre compte de deux notions simultanément (figure 15.2) :
d’une part, la pérennité de l’exploitation agricole, appelée ici « durabilité restreinte », qui implique que l’exploitation agricole doit être durable par et pour elle-même, grâce à des pratiques qui assurent la reproduction du système et de ses sous-systèmes ;
d’autre part, la « durabilité étendue », qui signifie que l’exploitation agricole contribue à la durabilité de niveaux d’organisation englobants, qui peuvent être de niveau 1 (l’échelle locale ou territoriale, par exemple, dans la capacité à générer des complémentarités locales entre les types de systèmes de production) ou de niveau 2 (l’échelle nationale, voire planétaire, notamment à travers les contributions au bilan de carbone ou de gaz à effet de serre). C’est cette posture qui a amené par exemple à regarder les choix d’alimentation du bétail au regard des conséquences en matière de déforestation en zone tropicale.
Figure 15.2. Le système analysé, les échelles d’évaluation et les différents niveaux de durabilité pris en compte dans la méthode IDEA (Terrier et al., 2013).

Renouveler le cadre conceptuel
13Dans une seconde étape, les experts se sont mobilisés pour s’accorder sur les manières de représenter la durabilité de l’agriculture et de l’exploitation agricole. Dans la nouvelle méthode IDEA deux voies ont été retenues :
la durabilité comme une capacité à satisfaire ou à répondre à des objectifs, lesquels représentent, à un moment donné, un consensus sociétal sur les fonctions que l’agriculture doit remplir (préserver la biodiversité, assurer le bien-être et la santé des animaux, protéger les ressources en eau…) ;
la durabilité comme un ensemble de propriétés ou d’attributs émergents d’un système durable (Lopez-Ridaura, 2002).
14Ainsi, dans IDEA, cinq propriétés ont été retenues, les trois premières étant fortement dictées par l’innovation agro-écologique dans ce qu’elle embarque d’enjeux agronomiques et techniques ; ce sont :
la capacité productive et reproductive ;
la robustesse ;
l’autonomie ;
l’ancrage territorial ;
la responsabilité globale (Zahm et al., 2015).
Définir critères et indicateurs et s’accorder sur la pondération et la méthode d’agrégation
15En s’appuyant sur ce cadre conceptuel, l’étape suivante a consisté à redéfinir et à structurer l’édifice hiérarchisé des critères et des indicateurs qui les accompagnent48. Ce sont au final 54 indicateurs qui ont été retenus. Sur ce point, la méthode IDEA repose sur deux caractéristiques majeures, à savoir un mélange d’indicateurs quantitatifs et d’indicateurs qualitatifs et l’élaboration de barèmes, pour situer la valeur absolue d’un indicateur dans une gamme de valeurs possibles et pour transformer la valeur absolue en une note ou en des points de durabilité. Pour certains indicateurs qualitatifs, tels que la qualité de vie ou le stress au travail, la méthode IDEA repose sur une auto-évaluation par l’agriculteur, élargissant ainsi le panel des acteurs contribuant à l’évaluation. Lorsque les indicateurs sont quantitatifs, la valeur est évaluée au regard de références nationales ou régionales. Par exemple, l’indicateur d’utilisation de l’eau dans l’exploitation agricole compare la consommation annuelle déclarée à des valeurs statistiques nationales (moyennes et quantiles) établies pour chaque grand type de production (viticulture, arboriculture, élevage laitier…).
16La méthode de pondération et d’agrégation des indicateurs (pour passer des sous-indicateurs aux indicateurs, puis aboutir aux critères et enfin aux cinq propriétés constituant la durabilité) est celle qui a été le plus soumise à débat. Au final, la méthode IDEA module peu le poids des indicateurs et des critères. Elle le fait très peu dans la dimension agro-écologique, où les experts n’ont pas voulu trancher entre l’importance accordée à la pollution des nappes phréatiques, à la pollution de l’air, à la fertilité des sols et au changement climatique, par exemple. La pondération est également assez inexistante dans la dimension territoriale, où la contribution au développement local compte autant que la qualité de vie et la relation au travail. En revanche, elle intervient un peu plus fortement dans la dimension économique, où certains indicateurs économiques et d’efficience globale de l’exploitation sont jugés plus importants que d’autres (par exemple, pour le critère d’autonomie économique et financière, la méthode accorde plus de poids aux indicateurs de la diversité des productions et des relations contractuelles qu’aux indicateurs des aides publiques perçues).
17Nous allons montrer à présent comment une autre démarche, ciblée sur l’évaluation des chaînes alimentaires et des innovations associées, nous a également conduits à des débats autour des critères et des indicateurs, des enjeux liés à leur pondération ou leur hiérarchisation. Dans cette autre démarche, toutefois, les acteurs de l’innovation ont, eux aussi, participé aux débats.
La construction participative d’une évaluation multicritères des chaînes alimentaires et des innovations associées
Définir les objets d’analyse
18Les circuits courts alimentaires sont-ils plus durables que les circuits longs ? Les acteurs ayant contribué à leur renouveau dans les pays industrialisés, dès les années 1970 au Japon, plus tardivement en France (Maréchal, 2008), en sont souvent convaincus. Pourtant, cette question suscite de nombreux débats, peu instrumentés jusque dans la période récente. Ces débats ne portent pas seulement sur les effets d’un nombre limité d’intermédiaires, selon la définition officielle des circuits courts en vigueur en France49 ; ils opposent au moins deux modèles très différents de chaînes alimentaires que nous avons saisis, dans le cadre du projet de recherche européen Glamur50, à travers les notions de chaîne alimentaire locale et de chaîne alimentaire globale. Chaînes locales et chaînes globales correspondent à priori à deux cas extrêmes de chaînes alimentaires, selon cinq facteurs que nous avons retenus dans le cadre du projet pour différencier les chaînes alimentaires en général :
le nombre d’intermédiaires entre le producteur et le consommateur ;
la distance géographique entre la production et la consommation ;
l’origine et la nature des ressources utilisées dans la chaîne (matières premières, intrants, technologies…) ;
la gouvernance de la chaîne ;
le type d’attributs utilisés pour caractériser l’identité du produit.
19Le projet Glamur visait alors à caractériser les chaînes locales et les chaînes globales dans chacun des pays et pour différents types de produits, pour en comparer les performances. Il est intéressant de noter que les chaînes locales étaient considérées comme innovantes pour certains partenaires du projet (par exemple, en Espagne et en Angleterre) alors que l’innovation relevait des chaînes globales pour d’autres (en Lettonie). Les chaînes alimentaires locales ou globales de dix produits ont ainsi été comparées par les partenaires du projet, au regard de cinq domaines de performances, considérés chacun en tant que dimension du développement durable c’est-à-dire les dimensions économique, sociale, et environnementale, l’éthique, et la santé.
20Nous avons étudié deux produits en France illustrant un rapport différent entre local et global : le vin, lié à des territoires spécifiques (zones d’appellation…) mais souvent commercialisé à longue distance, et qui constitue en ce sens un produit à la fois local et globalisé, et la tomate, produit phare des circuits alimentaires de proximité. Le cas du vin ayant fait l’objet d’une publication (Touzard et al., 2016), nous résumons ici l’étude menée sur les filières de la tomate, de façon à illustrer les principes d’une approche multicritères participative. Notre démarche a suivi le cadre général du projet Glamur (Brunori et al., 2016), en l’adaptant aux spécificités de la France mais aussi en l’ancrant davantage dans les principes de la sociologie économique, à savoir que les activités économiques – ici, les pratiques agricoles et commerciales – sont considérées comme encastrées dans les structures sociales (réseaux, valeurs morales, institutions…) qui influencent leurs formes et leurs effets (Granovetter, 2000).
Structurer différents niveaux de participation
21La première étape de la recherche menée en France, commune avec l’étude sur le vin, a consisté à interroger une diversité d’experts sur les critères à prendre en compte pour analyser et comparer les performances de chaînes alimentaires, globales ou locales. Nous avons sélectionné une vingtaine d’experts, connus à l’échelle française pour leurs travaux, leurs actions ou leurs prises de position sur ce sujet. La sélection a aussi visé à réunir des experts issus de quatre sphères concernées par la durabilité des chaînes alimentaires, globales ou locales, c’est-à-dire la recherche, le secteur économique, les politiques publiques, et la société civile. Ces experts ont mis en avant une trentaine de critères à même de caractériser une chaîne locale ou une chaîne globale, ou bien de les comparer, en faisant référence à des innovations déployées dans chacune des chaînes (innovations telles que les partenariats entre producteurs et consommateurs, dans les chaînes locales, ou l’agriculture de précision, dans les chaînes globales). Cette liste de critères, quantitatifs ou qualitatifs, proposés par les experts a été complétée par une analyse du contenu de documents issus des quatre sphères mentionnées ; plus de 500 publications, rapports, sites internet, plaidoyers, etc… ont été analysés. Les critères ont ensuite été classés selon les cinq domaines de performance retenus dans le projet Glamur.
22Dans la seconde étape, nous avons formé un second groupe d’experts, en intégrant des experts davantage spécialisés sur la tomate et en maintenant la participation de représentants des citoyens. Le groupe a ainsi été constitué de chercheurs avec différentes spécialités (production, nutrition, filières longues, circuits courts…), de techniciens, d’agents de développement, de producteurs, d’un grossiste, d’un distributeur, de consommateurs et d’un élu de collectivité. Pour faciliter l’évaluation, nous avons ensuite validé avec eux un modèle pour chaque chaîne, à la fois archétypal et représentatif d’une tendance forte au sein de la filière de la tomate. Pour incarner ces deux modèles, nous avons choisi deux situations types dans le Sud de la France :
pour la chaîne locale, il s’agit de tomates issues de variétés anciennes, produites aux alentours de la ville de Montpellier, vendues à la ferme, ou distribuées à Montpellier ou à proximité sur les marchés de plein vent ;
pour la chaîne globale, il s’agit de tomates issues de variétés hybrides, produites sous serre non chauffée dans le Sud de l’Espagne (province d’Almeria en Andalousie), distribuées en supermarché à Montpellier.
23Dans la troisième étape, les experts du second groupe ont pris connaissance des critères définis par le premier, les ont validés, ajustés, complétés, pour aboutir au final à 32 critères d’évaluation des performances. Surtout, le travail avec ce deuxième groupe d’experts a consisté à préciser la façon d’évaluer ces critères, en déclinant chacun d’eux en plusieurs indicateurs pertinents, quantitatifs et/ou qualitatifs, en discutant du mode de calcul ou de fixation de scores pour chaque indicateur, lui-même décliné, dès que nécessaire, en sous-indicateurs, et en définissant un « benchmark », de façon à calculer ensuite la performance des chaînes alimentaires au regard de chaque indicateur.
Calculer des performances
24Dans notre cas d’étude, pour les indicateurs favorables à la durabilité, tels que la contribution à l’emploi, le benchmark correspond à une valeur de référence ou à un score élevé, qu’il est souhaitable d’atteindre ou de dépasser, du point de vue du développement durable ; l’atteinte de ce benchmark est réalisable, à certaines conditions. Pour les indicateurs défavorables à la durabilité, tels que la quantité de gaz à effets de serre produite tout au long de la chaîne, le benchmark correspond à la valeur ou au score le plus élevés pouvant être atteints, selon les experts.
25Fixer un benchmark permet ensuite de calculer la performance de la chaîne au regard de chaque indicateur. Pour les indicateurs favorables, elle est calculée en fonction de ce que la valeur ou le score évalués pour l’indicateur considéré représente, entre 0 et 100 % du benchmark, voire même plus de 100 % de celui-ci. Pour les critères défavorables, la performance est inversement proportionnelle au pourcentage que représente la valeur ou le score évalués pour l’indicateur au regard du benchmark
26Si la définition de benchmarks peut apparaître relativement aisée pour les indicateurs quantitatifs, elle est moins évidente pour les indicateurs qualitatifs. Pour évaluer les indicateurs qualitatifs favorables au développement durable et définir des benchmarks, les experts ont été invités à identifier les bonnes pratiques ou les facteurs favorables à des performances élevées, pour chacun des indicateurs retenus. Ces bonnes pratiques et/ou facteurs ont constitué une liste de sous-indicateurs, dont les scores ont ensuite été sommés pour définir le score de l’indicateur. À l’inverse, pour évaluer les indicateurs défavorables, les experts ont listé les mauvaises pratiques qui conduisent à un résultat contraire au développement durable.
27Pour illustrer nos propos, nous proposons ici trois exemples d’indicateurs, référant chacun à une des dimensions de la durabilité :
pour l’indicateur de revenu agricole net par actif (dimension économique de la durabilité), de nature quantitative, le groupe d’experts a retenu, comme benchmark, c’est-à-dire comme niveau de performance de 100 %, le revenu agricole maximum observé en France ; le revenu du producteur à la base des chaînes locales ou globales de tomates a donc été comparé à cette valeur ;
pour l’indicateur de préservation de la biodiversité cultivée (dimension environnementale de la durabilité), de nature qualitative, le benchmark choisi est un score de 7, constitué par une somme de scores de bonnes pratiques (correspondant à des sous-indicateurs) pouvant déjà être observées dans l’une ou l’autre des chaînes (tableau 15.1) ; un score de 7 atteint par une filière correspond alors à une performance de 100 % au regard de l’indicateur de préservation de la biodiversité cultivée ;
pour le critère de relation entre le producteur et le consommateur (dimension sociale de la durabilité), également de nature qualitative, le benchmark est un score de 10, correspondant au cumul, cette fois, de facteurs favorables à une relation forte entre producteur et consommateur (tableau 15.1).
Tableau 15.1. Choix des sous-indicateurs permettant la définition des benchmarks pour deux indicateurs qualitatifs favorables à la durabilité des filières de la tomate.
Indicateur favorable à la durabilité | Sous-indicateur de bonne pratique | Score attribué à chaque pratique | Score maximal à atteindre (benchmark) |
Préservation de la biodiversité cultivée | Diversité du modèle agricole | 2 | 7 |
Diversité des variétés cultivées | 0 à 2, selon le nombre | ||
Mise en œuvre de pratiques de préservation (lutte biologique, par exemple) | 0 à 2 | ||
Culture de variétés anciennes | 1 | ||
Relation entre le producteur et le consommateur | Proximité géographique | 1 | 10 |
Vente et/ou accueil sur l’exploitation | 1 | ||
Dispositifs ou médiations permettant une relation forte | 0 à 4, selon le nombre de dispositifs | ||
Informations échangées entre producteurs et consommateurs à travers la relation (sur les modes de production, les conditions de travail, etc.) | 0 à 4, selon le nombre d’informations |
Discuter autour de la mesure et des résultats
28Suite à la co-construction de cette première grille d’indicateurs, l’évaluation des scores s’est appuyée sur des données concrètes, produites ou recueillies sur chaque modèle de chaîne. Pour la chaîne locale, nous avons présenté aux experts des résultats d’enquêtes approfondies, auprès d’une vingtaine d’exploitations représentatives du modèle choisi, que nous avons mis en perspective avec des enquêtes auprès d’un échantillon plus important (Bellec-Gauche et Chiffoleau, 2015). Pour la chaîne globale, nous avons proposé des données secondaires très fournies, issues de travaux de thèses récentes sur les exploitations de tomates en Andalousie ainsi que sur des entretiens avec des personnes ressources en Espagne. Ces données ont conduit à ajuster la première grille d’indicateurs et ont permis de fixer des valeurs ou des scores pour chacun des indicateurs, pour chaque chaîne.
29Toutefois, l’objectif n’était pas tant de proposer des valeurs dans l’absolu que de saisir les atouts et les limites de chaque chaîne alimentaire, à travers les pratiques mises en œuvre, tant courantes qu’innovantes. Nous n’avons donc pas agrégé les valeurs ou les scores à l’échelle de chaque dimension du développement durable mais au contraire conservé les calculs de performance pour chaque indicateur. Les résultats montrent finalement qu’aucune des deux chaînes n’est, pour l’ensemble des indicateurs, plus performante que l’autre. Chaque chaîne présente un intérêt au regard de certains indicateurs et une performance limitée au regard de certains autres. Pour autant, si certains experts ont ainsi trouvé de nouveaux arguments pour plaider l’intérêt d’une coexistence de différents modèles agricoles, d’autres ont pointé que certains indicateurs avaient plus d’importance que d’autres et ont introduit ainsi la perspective d’une possible hiérarchie entre les deux types de chaînes. D’autres experts ont quant à eux ouvert la discussion vers une évaluation des performances au regard des moyens dont disposent les acteurs (accès aux terres, aux subventions, aux technologies…) et des contraintes auxquels ils sont soumis (organisation du travail, notamment), soulignant alors l’efficience des chaînes locales, qui ont peu de moyens et font face à beaucoup de contraintes, par rapport aux chaînes globales. Ces conclusions nous amènent à croiser cette démarche avec la nouvelle méthode IDEA, pour ouvrir une discussion plus large sur les modalités et les enjeux d’une évaluation multicritères et participative des innovations.
Retour sur les questions ouvertes par l’évaluation d’innovations
L’évaluation d’innovations, pour quoi faire ?
30Les deux exemples présentés ici illustrent la manière de mettre en œuvre des procédures d’évaluation multicritères, non pas tant pour proposer des valeurs de performance dans l’absolu ou comparer objectivement des systèmes, que pour projeter les acteurs concernés dans la prise en compte des impacts et des effets possibles de certains choix et pour mieux appréhender les atouts, mais aussi les limites, des différentes possibilités d’évolution qui s’offrent à eux.
31Au départ, IDEA (Indicateurs de durabilité des exploitations agricoles) n’était pas une méthode visant à évaluer l’innovation. L’objectif était, dans la dynamique de la conférence de Rio et de l’émergence de la multifonctionnalité de l’agriculture en France, de traduire en outil opérationnel le concept de durabilité et de former, à travers une approche normative, les cadres de l’enseignement agricole et les étudiants en agronomie, pour qu’à leur tour ils accompagnent les agriculteurs dans cette voie. Bien entendu, en comparant différents systèmes, on en est venu à repérer des formes d’agriculture plus durables que d’autres, et la demande pour comparer différents types de systèmes agricoles (biologiques, raisonnés, agro-écologiques…) n’a fait qu’augmenter, amenant les concepteurs de la méthode IDEA à se positionner de plus en plus sur ces comparaisons et sur l’évaluation et l’accompagnement du changement. IDEA, par son approche globale basée sur des indicateurs pour la plupart facilement mesurables, peut évaluer les effets des systèmes innovants (des systèmes reconfigurés et stabilisés) qui sont en rupture notable avec les systèmes dominants. Mais elle est mal adaptée à l’évaluation quand l’innovation est uniquement source de changements incrémentaux (un simple changement d’équipement d’épandage de produits phytosanitaires, par exemple). Là où IDEA a été mise en œuvre, les utilisateurs ont mis en exergue l’attrait que la méthode suscite, du fait de son caractère global et de son utilisation possible à différentes échelles. En effet, elle fait apparaître des effets ou des conséquences de certains changements auxquels les agriculteurs n’avaient pas pensé (par exemple, sur les questions alimentaires, sur les pertes et le gaspillage et sur la gestion des déchets). Cela permet à l’agriculteur de rectifier et d’ajuster la trajectoire de transition de son exploitation et aux acteurs qui le conseillent de mieux comprendre la complexité des changements.
32Dans le projet Glamur, l’approche multicritères se comprenait à la fois comme une démarche permettant de produire de nouvelles connaissances sur les chaînes alimentaires et comme un outil au service d’une démarche de progrès pour l’ensemble des acteurs de ces chaînes. De plus, si le projet ne visait pas à opposer chaînes locales et chaînes globales, il s’agissait quand même, pour certains concepteurs du projet, de donner un ensemble d’arguments et de pistes concrètes aux politiques publiques pour soutenir des chaînes locales durables, dans un contexte encore largement orienté vers les chaînes globales.
L’évaluation d’innovations, comment faire ? Retour sur l’évaluation multicritères
33L’évaluation multicritères se distingue de l’analyse multicritères. Cette dernière notion, issue des sciences de gestion, est un outil d’aide à la décision, créé pour résoudre des problèmes complexes qui incluent des aspects qualitatifs et/ou quantitatifs dans un processus décisionnel (Roy, 1985). L’évaluation multicritères, quant à elle, n’est pas directement orientée vers un objectif de prise de décision mais vers un diagnostic d’une situation. Par rapport à l’analyse multicritères, l’évaluation ajoute une comparaison du système étudié à des systèmes connus, ou situe ses résultats par rapport à des valeurs de référence. Nous l’avons vu, que ce soit pour la méthode IDEA ou pour le projet Glamur, ce n’est pas la valeur absolue des indicateurs qui permet d’évaluer un système mais la distance entre ces valeurs et celles prises par ces mêmes indicateurs dans un autre système ou un système de référence (Acosta-Alba et Van der Werf, 2011).
34En approfondissant cette réflexion, nous revendiquons que les démarches mises en place ne visent pas nécessairement à aider à choisir le meilleur système, mais à proposer un regard évaluatif ouvert sur un ensemble de critères, sans définir de hiérarchie ou de référence entre les systèmes évalués. Au final, la démarche sert surtout à modifier les représentations et à favoriser les apprentissages des acteurs (Chia et al., 2009). Dans cette perspective, l’enjeu est aussi d’élargir le champ d’analyse au-delà des indicateurs considérés classiquement, en prenant en compte, comme cela a été fait dans le cas du projet Glamur, les préoccupations et l’expérience d’acteurs divers. L’approche s’inscrivait explicitement dans les travaux sur les nouveaux indicateurs de richesse (Gadrey et Jany-Catrice, 2005), cherchant à élargir l’évaluation des richesses produites par les activités économiques au-delà du seul PIB (produit intérieur brut), en valorisant les pratiques des acteurs des innovations. Certains chercheurs, néanmoins, ont refusé de traduire les critères qualitatifs en scores, les considérant comme trop subjectifs pour être évalués, même à travers des sommes de bonnes pratiques. Les mêmes controverses sont apparues dans le cas du renouvellement de la méthode IDEA. La subjectivité y a quand même été prise en compte, puisqu’on a laissé les agriculteurs pratiquer une auto-évaluation pour certains critères, parfois combinée à un critère considéré comme plus objectif ; par exemple, la viabilité économique est regardée non seulement en situant le revenu net par actif par rapport au Smic, mais aussi en abordant avec le ménage son degré de satisfaction par rapport à ce revenu.
L’évaluation d’innovations, avec qui et dans quelle perspective ? Régime délibératif et performance globale
35Dans la méthode IDEA, les critères et les indicateurs sont élaborés par des chercheurs, des enseignants, des formateurs et des membres d’instituts techniques spécialisés. Autrement dit, le point de vue sur les systèmes est porté par des experts non-agriculteurs, au regard d’une conception de la durabilité de l’agriculture, d’un ensemble de problèmes et d’enjeux soulevés par la société et mis à l’agenda d’instances nationales ou internationales, et de ce que la littérature scientifique et les rapports d’experts disent sur l’agriculture française et sur le fonctionnement d’une diversité d’exploitations agricoles. Les agriculteurs et leurs représentants directs ne participent pas directement à l’évaluation car pour les concepteurs de la méthode il importait de demeurer en dehors des groupes de pression et des intérêts particuliers. À la création d’IDEA, à la fin des années 1990, en effet, il était capital de demeurer en dehors du courant de l’agriculture raisonnée, par exemple. Cette approche présente toutefois des limites puisque les institutions sont souvent en retard par rapport à ce que font et savent les acteurs (Darré, 1999).
36Dans l’approche Glamur, les acteurs des innovations ont été directement impliqués dans l’évaluation, au côté de chercheurs et d’accompagnateurs, et nous avons cherché à prendre en compte des acteurs représentatifs de différentes stratégies observées. La participation critique de tous, toutefois, suppose à la fois que les acteurs aient les connaissances suffisantes sur ce qui est en jeu dans l’évaluation et qu’ils en connaissent les règles (Friedberg, 1988) ; en ce sens, la participation se prépare, et ne se décrète pas, au risque d’être manipulatoire. En cherchant à créer les conditions de cette participation critique, la démarche Glamur voulait expérimenter une forme concrète de mise en œuvre d’un régime délibératif de performance (Jany-Catrice, 2012), dans lequel tant les critères que les façons de les évaluer sont décidés collectivement, avec l’ensemble des acteurs concernés, en veillant à ce que ceux-ci puissent réellement participer.
37Finalement, dans IDEA comme dans Glamur, nous considérons que les indicateurs d’évaluation des innovations ne peuvent être réduits à des instruments de mesure, ils sont également des instruments de médiation et de coordination, ou bien encore des objets intermédiaires (Vinck, 1999), supports d’apprentissages et créateurs de liens, révélant à la fois des dynamiques objectives et la façon subjective avec laquelle la société regarde le développement durable. En tant qu’objets permettant à des acteurs hétérogènes de discuter et d’arbitrer, ils sont aussi supports d’un processus démocratique considéré comme favorable à la transition des systèmes alimentaires (Lang, 1998).
Conclusion : les enseignements des deux études de cas
38Dans un secteur agricole et agroalimentaire soumis à de nouveaux défis (chapitre 2), la mise en œuvre d’innovations multi-performantes prend une dimension stratégique majeure. Dans ce chapitre, nous avons présenté et croisé deux exemples d’application de l’évaluation multicritères, pour accompagner les processus de changement autour de la transition agro-écologique des exploitations agricoles et de la mise en place de chaînes alimentaires plus durables. Parce que l’enjeu est de prendre en compte toutes les dimensions du développement durable, éventuellement difficiles à concilier, nous montrons l’intérêt, mais aussi les difficultés, d’une évaluation à la fois multicritères et participative. En particulier, dans les deux exemples, nous soulignons l’intérêt de traduire des données qualitatives sur une échelle quantitative, y compris dans les controverses que cette traduction génère. Cette démarche permet en effet de mieux comprendre les enjeux autour des innovations, en matière d’effets sur leurs acteurs mais aussi de questions scientifiques et méthodologiques à approfondir.
39Utiliser des méthodes d’évaluation multicritères pour accompagner l’innovation présentera néanmoins toujours une difficulté puisque les pratiques innovantes sont souvent des pratiques non stabilisées, dont les effets ne sont pas bien connus et sur lesquelles l’agriculteur, l’intermédiaire des chaînes alimentaires, mais aussi les conseillers et les chercheurs, peuvent manquer de recul. Cette incertitude des connaissances sur les processus suppose la plus grande prudence, car la plupart des données pour identifier les impacts et documenter les conséquences possibles manquent encore. De façon plus radicale, l’usage de ces outils pour aider à concevoir de novo de nouveaux systèmes, n’existant pas encore, reste à appréhender.
Remerciements
40Ce chapitre n’aurait pu exister sans le travail commun réalisé depuis 2012 avec tous les membres du conseil scientifique de la méthode IDEA : F. Zahm (animateur-responsable) ainsi que A. Alonso Ugaglia, H. Boureau, B. Del’homme, M. Gafsi, P. Gasselin, L. Guichard, C. Loyce, V. Manneville, A. Menet et B. Redlingshöfer. Nos remerciements vont également à A. Barbottin, avec qui J.M. Barbier a rédigé, pour le compte du département « SAD » de l’Institut national de la recherche agronomique, un état des lieux des recherches sur l’évaluation multicritères au sein du département. De la même manière, nous remercions le collectif de recherche du projet européen Glamur, au sein duquel, avec J.M. Touzard, de l’unité mixte de recherche « Innovation », nous avons pu formuler et discuter une approche spécifique à partir du cadre commun.
Bibliographie
Des DOI sont automatiquement ajoutés aux références bibliographiques par Bilbo, l’outil d’annotation bibliographique d’OpenEdition. Ces références bibliographiques peuvent être téléchargées dans les formats APA, Chicago et MLA.
Format
- APA
- Chicago
- MLA
Bibliographie
10.3390/su3020424 :Acosta-Alba I., van der Werf H.M.G., 2011. The use of reference values in indicator-based methods for the environmental assessment of agricultural systems. Sustainability, 3, 424-442.
10.4074/S196696071500404X :Bellec-Gauche A., Chiffoleau Y., 2015. Construction des stratégies et des performances dans les circuits courts alimentaires : entre encastrement relationnel et gestionnaire. Revue d’études en agriculture et environnement, 96(4), 653-676.
Bossel H., 1998. Earth at a crossroads: Paths to a sustainable future, Cambridge University Press, Cambridge.
10.1684/agr.2009.0298 :Chia E., Rey-Valette H., Lazard J., Clément O., Mathé S., 2009. Évaluer la durabilité des systèmes et des territoires aquacoles : proposition méthodologique. Cahiers Agricultures, 18, 211-219.
Darré J.-P., 1999. La production de connaissance pour l’action. Arguments contre le racisme de l’intelligence, Éditions de la Maison des sciences de l’homme, Paris.
Delmotte S., Barbier J.-M., Mouret J.-C., Le Page C., Wery J., Chauvelon P., Sandoz A., Lopez-Ridaura S., 2016. Participatory integrated assessment of scenarios for organic farming at different scales in Camargue, France. Agricultural Systems, 143, 147-158.
Doré T., Makowsky D., Malézieux E., Munier-Jolain N., Tchamitchian M., Tittonell P., 2011. Facing up to the paradigm of ecological intensification in agronomy: revisiting methods, concepts and knowledge. European Journal of Agronomy, 34, 197-210.
10.3917/dec.flich.2003.01 :Flichy P., 2003. L’innovation technique. Récents développements en sciences sociales. Vers une nouvelle théorie de l’innovation, collection Sciences en société La Découverte, Paris.
Friedberg E., 1988. L’analyse sociologique des organisations. Pour, 28.
10.3917/dec.gadre.2016.01 :Gadrey J., Jany-Catrice F., 2005. Les nouveaux indicateurs de richesse, La Découverte [3e édition 2012], Paris.
Granovetter M.S., 2000. Les marchés autrement. Les réseaux dans l’économie, Desclée de Brouwer, Paris.
Jany-Catrice F., 2012. La performance globale : nouvel esprit du capitalisme ?, Presses du Septentrion, Villeneuve d’Asq.
Lairez J., Feschet P., Aubin J., Bockstaller C., Bouvarel I., 2015. Évaluer la durabilité en agriculture. Guide pour l’analyse multicritère des productions animales et végétales, éditions Quæ / Educagri, Versailles / Dijon.
Lang T., 1998. Towards a food democracy. In: Consuming passions: Cooking and eating in the age of anxiety (S. Griffiths, J. Wallace, eds), Mandolin, Manchester, 13-24.
López-Ridaura S., Masera O., Astier M., 2002. Evaluating the sustainability of complex socioenvironmental systems. The MESMIS framework. Ecological Indicators, 2, 135-148.
Maréchal G., 2008. Les circuits courts. Bien manger dans les territoires, Educagri, Dijon.
Pujol J.-L., Dron D., 1999. Agriculture, monde rural et environnement : qualité oblige. Rapport au ministère de l’aménagement du territoire et de l’environnement. La documentation Française, Paris.
Roy B., 1985. Méthodologie multicritère d’aide à la décision, Economica, Paris, 423 p.
10.1051/agro:2007043 :Sadok W., Angevin F., Bergez J.E., Bockstaller C., Colomb B., Guichard L., Reau R., Doré T., 2008. Ex ante assessment of the sustainability of alternative cropping systems: implications for using multi-criteria decision-aid methods. A review. Agronomy for Sustainable Development, 28, 163-174.
Terrier M., Gasselin P., Le Blanc J., 2013. Assessing the Sustainability of Activity Systems to Support Households’ Farming Projects. In: Methods and Procedures for Building Sustainable Farming Systems. Application in the European Context (Marta-Costa A.A., Soares da Silva E., eds), Springer, Dordrecht (The Netherlands), 47-61.
Touzard J.-M., Chiffoleau Y., Maffezzoli C., 2016. What is local or global about wine? An attempt at the objectification of a social construction. Sustainability, 8(5), 417, 20 p. [Online, open access].
Vilain L. (dir.), 2008. IDEA : Indicateurs de durabilité des exploitations agricoles, troisième édition actualisée, Educagri, Dijon, 184 p.
10.2307/3322770 :Vinck D., 1999. Les objets intermédiaires dans les réseaux de coopération scientifique. Contribution à la prise en compte des objets dans les dynamiques sociales. Revue française de sociologie, 40(2), 385-414.
Zahm F., Alonso Ugaglia A., Boureau H., Del’homme B., Barbier J.-M., Gasselin P., Gafsi M., Guichard L., Loyce C., Manneville V., Menet A., Redlingshofer B., 2015. Agriculture et exploitation agricole durables : état de l’art et proposition de définitions revisitées à l’aune des valeurs, des propriétés et des frontières de la durabilité en agriculture. Innovations agronomiques, 46, 117-137.
Notes de bas de page
45 Nous considérons ici les impacts comme des effets directs des pratiques sur les états des biens, des personnes et des ressources ; les effets sont des réorganisations à l’intérieur du système (pouvant affecter différents sous-systèmes), dont il est difficile en première instance d’apprécier la nature et les conséquences à terme sur les états des objets précédemment évoqués.
46 Un critère est une catégorie relativement large permettant de juger de l’état d’une dimension du système analysé (par exemple, l’endettement, pour évaluer la dimension économique de la durabilité d’une exploitation agricole). Concrètement, un critère est mesuré par un ou plusieurs indicateurs.
47 Dans les faits, IDEA s’est révélé posséder une valeur beaucoup plus universelle, puisque la méthode a été abondamment utilisée et adaptée dans de nombreuses régions du monde (Tunisie, Maroc, Canada, Argentine, La Réunion…).
48 Un critère peut être évalué à partir de un ou plusieurs indicateurs. De même, l’indicateur est souvent composite et il est alors le résultat de la mesure de plusieurs sous-indicateurs. On obtient ainsi un arbre hiérarchique qui nécessite de se questionner sur la manière d’agréger les résultats obtenus à chaque niveau.
49 Modes de vente n’impliquant pas d’intermédiaire, ou en impliquant un seul, au maximum, entre le producteur et le consommateur (ministère de l’Agriculture, de l’Alimentation et de la Pêche, 2009).
50 L’acronyme Glamur correspond à Global and Local food chain Assessment: a MUltidimensional performance-based approach.

Le texte seul est utilisable sous licence Creative Commons - Attribution - Pas d'Utilisation Commerciale - Pas de Modification 4.0 International - CC BY-NC-ND 4.0. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Apprendre à innover dans un monde incertain
Concevoir les futurs de l’agriculture et de l’alimentation
Émilie Coudel, Hubert Devautour, Christophe-Toussaint Soulard et al. (dir.)
2012
Transformations agricoles et agroalimentaires
Entre écologie et capitalisme
Gilles Allaire et Benoit Daviron (dir.)
2017
Innovation et développement dans les systèmes agricoles et alimentaires
Guy Faure, Yuna Chiffoleau, Frédéric Goulet et al. (dir.)
2018
One health, une seule santé
Théorie et pratique des approches intégrées de la santé
Jakob Zinsstag, Esther Schelling, David Waltner-Toews et al. (dir.) Josette Derangère et Isabelle Thibaudière (trad.)
2020
Agriculture et qualité de l'air
Comprendre, évaluer, agir
Carole Bedos, Sophie Génermont, Jean-François Castell et al. (dir.)
2019
L'eau en milieu agricole
Outils et méthodes pour une gestion intégrée et territoriale
Delphine Leenhardt, Marc Voltz et Olivier Barreteau (dir.)
2020
Alerter la population face aux crues rapides
Compréhension et évaluation d’un processus en mutation
Johnny Douvinet
2020
Consommation et digestion des végétaux
Rôles des microbiotes et fonctions essentielles à la biodiversité
Gérard Fonty, Annick Bernalier-Donadille, Évelyne Forano et al.
2019
La fabrique de l’agronomie
De 1945 à nos jours
Jean Boiffin, Thierry Doré, François Kockmann et al. (dir.)
2022