Pour une nouvelle geste évaluative
p. 171-202
Texte intégral
« Afin d’être certain, il fallait s’assurer ; afin de connaître, il fallait agir. »
H. Arendt, Condition de l’homme moderne, 1961.
L’évaluation : vingt ans après…
1Depuis son apparition en France, il y a une vingtaine d’années, le concept d’évaluation et les pratiques qui lui sont attachées ont connu des fortunes diverses. La pensée actuelle sur l’évaluation reste néanmoins marquée par un certain scepticisme, justifié par le constat que les évaluations n’ont en fait souvent qu’une influence limitée et que leurs résultats sont rarement utilisés. C’est dans ce soupçon jeté sur l’évaluation que la perplexité qui est la nôtre trouve son origine.
2Ce travers n’est certes pas spécifique à la France. De façon générale, les administrations publiques semblent avoir développé une certaine capacité à faire la sourde oreille aux recommandations qui peuvent leur être faites1. Constat pour le moins surprenant alors que les États modernes mobilisent de plus en plus les experts pour fonder leurs décisions. Tout se passe en fait comme si la démarche évaluative restait retorse à son utilisation et si son utilité même demeurait incertaine2.
3Diverses raisons ont été avancées pour expliquer cette faiblesse rédhibitoire de l’évaluation. Carol H. Weiss3 explique ainsi que les trois déterminants qui affectent les prises de position politique consistent dans l’imbrication de ce que l’auteur désigne par le terme « I-I-I Framework » qui renvoie à l’interaction de l’idéologie, des intérêts et de l’information. Cette dernière catégorie recouvre une variété immense (savoir commun, émotions, résultats scientifiques…) dont l’évaluation ne représente qu’un élément. Il n’est donc guère surprenant de constater que la recherche évaluative ne puisse guère prétendre à autre chose que d’assurer un rôle marginal, partiel et souvent indirect au sein du processus politique, d’autant que les deux autres « I » jouent un rôle important. L’évaluation se trouve ainsi inévitablement en concurrence avec d’autres démarches. De surcroît, elle est souvent menée à l’extérieur de l’arène politico-administrative, sur des critères essentiellement académiques, ce qui contribue à l’éloigner de l’action politique. C’est une interprétation complémentaire qu’avance F. Lacasse4 lorsqu’il explique que les administrations, qui disposent pourtant d’expertises fiables, finissent le plus souvent par s’accommoder de fausses croyances et de mythes. Ce paradoxe résulte selon lui des jeux du clientélisme, de la conjonction d’intérêts entre pouvoirs publics et groupes d’intérêts qui favorise la perpétuation des mythes plus que le recours à des choix publics rationnels et scientifiquement fondés.
4Ces constats, aussi désabusés soient-ils, ne doivent pas décourager. C’est d’ailleurs, pour les sciences de gestion, un défi important que de débusquer les facteurs capables de stimuler l’usage et les capacités opérationnelles de l’évaluation. Ils invitent donc plutôt à s’interroger sur la désirabilité, l’efficacité et l’utilité (relevance) des recherches évaluatives.
5Dans cette perspective, l’analyse menée ici plaide pour un renouvellement des modes opératoires de l’évaluation et pour sa conversion. pragmatique. Cette réconciliation entre l’évaluation et l’action pourrait passer par une meilleure utilisation des ressorts de l’apprentissage organisationnel.
I. VERS UN RENOUVELLEMENT DES MODES D’ÉVALUATION
6Dès l’origine, la démarche évaluative est marquée par une tension entre deux conceptions où s’opposent, d’une certaine façon, l’évaluation de l’action et l’évaluation dans l’action. La première vise à élucider ex post les effets des politiques. La seconde, plus pragmatique, inscrit le processus d’évaluation dans le cours même de l’action dont elle vise à infléchir, chemin faisant, la dynamique même. Chacune de ces approches correspond à des sensibilités mais aussi à des méthodes et à des pratiques différentes5. Au plan épistémologique, elles se situent également dans des filiations différentes : alors que les relents scientistes de la première la rattachent à la vieille ambition durkheimienne6 d’une science de l’État, la seconde est davantage orientée vers une posture constructiviste et proche des modèles de management de l’action. En France, les vues défendues par Deleau7 et par Viveret8 incarnent assez ces figures distantes sur l’échiquier évaluatif. Celui-ci insiste sur la dimension politique de l’évaluation conçue comme une épreuve de jugement alors que celui-là souligne la dimension analytique et scientifique de l’évaluation.
A. DE L’ÉVALUATION DE L’ACTION…
7Incontestablement, l’évaluation de l’action coïncide avec l’attention croissante portée par la science politique au processus de mise en œuvre, constatant que celle-ci ne se limite pas à l’exécution des objectifs et que c’est précisément dans cette phase de mise en œuvre que les acteurs développent des comportements stratégiques et opportunistes susceptibles de dévoyer les objectifs initiaux. Dans la palette dont disposent les évaluateurs, le recours à ce type d’évaluation se justifie alors pour au moins deux raisons :
- le déficit de mise en œuvre (program failure) : le programme n’est pas mis en œuvre comme prévu par ses instigateurs ;
- le déficit théorique du programme (theory failure) : le programme est mis en œuvre comme prévu mais ne produit pas les effets escomptés.
8Même s’il a pu constituer naguère un modèle d’analyse puissant et s’il a eu une fonction heuristique incontestable, ce modèle d’évaluation connaît à l’usage quelques dérives susceptibles d’entraver le développement d’autres formes d’évaluation.
1. Le modèle hérité.
9Ce modèle n’est pas dénué de présupposés. Il procède d’une certaine idée de l’action publique.
10C’est d’abord un modèle séquentiel où l’évaluation constitue pour ainsi dire le dernier maillon d’une chaîne (le maillon faible diront les mauvais esprits), succédant chronologiquement à la phase d’implementation.
11C’est également un modèle linéaire qui suppose la conformité de l’action publique à la formule mère du management public autour des deux fonctions de production liant objectifs-moyens-résultats9. Cette conception de l’action publique que d’aucuns ont qualifiée de « balistique »10 fait la part belle aux objectifs conçus comme des « cibles ». L’évaluation consiste alors diversement à mesurer l’efficience (moyens/résultats) ou l’efficacité (objectifs/résultats) ou encore l’impact.
12Enfin, la finalité de l’évaluation se justifie par l’idée même de bouclage, puisque l’évaluation intervient pour « corriger » l’action publique et réajuster les objectifs initiaux.
13Cette conception qui a inspiré nombre de dispositifs d’évaluation demeure très prégnante. Ce modèle a du reste connu une certaine fortune, bien qu’il repose sur une interprétation simpliste du policy cycle et sur une vision très contestable de l’action publique. C’est ce que soulignent par exemple les tenants du Garbage Can11 qui insistent au contraire sur le caractère essentiellement aléatoire de l’action publique, l’ambiguïté des choix des acteurs et la faible structuration des processus de décisions, relativisant ainsi la portée de démarche par objectifs, puisque ceux-ci ne préexistent pas nécessairement à l’action. L’antériorité de solutions par rapport à des problèmes peut ainsi venir d’un effet d’imitation ou d’une sensibilité trop forte des décideurs publics aux offres qui leur sont faites12. D’autres contestations sont venues d’approches cognitives qui insistent sur la dimension fondamentalement interprétative de l’action publique. En effet, dans les contextes riches en polémiques et controverses qui caractérisent le plus souvent l’évaluation, la fixation des objectifs, tout comme la mesure de l’efficacité, requièrent également une part d’interprétation. C’est le cas, par exemple, des politiques environnementales, où l’évaluation s’exerce souvent sous une pression polémique qui donne aux enjeux scientifiques et aux débats d’experts une acuité particulière. L’évaluation devient alors une scène particulière du débat, à la fois scientifique et décisionnel. Elle organise même un cadre de confrontations entre experts et acteurs, pouvant déboucher sur de nouvelles représentations ou des conventions communes13.
14Le modèle hérité d’évaluation, essentiellement centré sur la mesure des effets, se révèle alors inapte à rendre compte de ces phénomènes, tant du caractère aléatoire des processus de décision publique que de l’activité de controverses et d’interprétation des acteurs qui y participent. Il hérite d’une pensée qui reste profondément fascinée par un certain scientisme. Dès lors, la conscience, les idées, le politique, les valeurs ou le symbolique sont sous-estimés. Ils sont seconds au sens plein du terme et faute de prendre en compte ces dimensions, la démarche évaluative perd inévitablement de sa crédibilité.
2. Les quatre péchés capitaux de l’évaluation.
15Succombant ainsi à une version souvent très idéalisée des processus d’action publique, la démarche évaluative s’expose inévitablement à quelques dérives, avec le risque de se fourvoyer dans de vaines espérances scientifiques, par un attachement excessif aux considérations de méthode, également par une vision excessivement abstraite des processus de décision et, en définitive, sans prise réelle sur l’action. Scientisme, méthodisme, historicisme et activisme constituent ainsi quatre dérives perverses de l’évaluation :
16Scientisme. L’idée que les phénomènes politiques doivent être considérés comme des choses découle d’un préjugé scientiste tenace, enraciné dans une tradition durkheimienne d’une « science de l’État ». Cette affirmation du primat de la science peut sembler de l’ordre de l’évidence dans les années quatre-vingt quand se cristallise l’idée d’évaluation. Elle reprend même aujourd’hui de la vigueur avec la promotion de nouvelles procédures managériales. Cette naturalisation de l’action publique a cependant pour effet de négliger les effets propres du politique pour assimiler l’évaluation à l’arsenal du nouveau managérialisme public. Elle s’opère en faveur des managers au détriment des politiques. Il s’ensuit une certaine désacralisation du politique dont le principal revers est une déresponsabilisation des personnels politiques, la concentration sur les résultats de court terme de l’action publique et sur les préoccupations d’efficience au détriment d’une vision à long terme des effets. Cette critique rejoint celle développée, dans les années quatre-vingt, par les théoriciens du Public Choice selon lesquels les modèles bureaucratiques traditionnels étaient victimes de la confiscation des pouvoirs par les fonctionnaires qui usurpent le pouvoir des élus et sapent ainsi le débat public.
17Méthodisme. En écho à ses prétentions scientifiques, l’évaluation se veut une démarche rigoureuse. L’excès de prudences méthodologiques qui entoure alors l’exercice d’évaluation peut néanmoins, dans certains cas, confiner à un véritable fétichisme. Cette dérive ne manque pas de surprendre quand on sait que l’évaluation est essentiellement une discipline d’emprunts puisant dans des champs variés pour les besoins du questionnement évaluatif. Néanmoins, l’accent mis sur l’ingénierie évaluative autant que la pression exercée pour la mise en forme de standards et d’indicateurs tendent à transformer l’évaluation en une procédure très routinisée, avec ses rituels et ses figures imposées. Celle-ci s’organise alors autour de quelques étapes clés qui jalonnent la démarche, comme la rédaction d’un cahier des charges, la mise en place d’un comité d’évaluation, l’élaboration d’indicateurs et enfin, la mise en forme d’un « rapport d’évaluation ». Ce dernier, qui effectivement, dans bien des cas, marque chronologiquement la fin de la démarche, est souvent présenté comme une fin en soi. Cet excès de méthode que Clausewitz se plaisait à fustiger comme du « méthodisme14 » a pour effet de progressivement détourner l’évaluation de l’action. Il s’exerce au détriment de l’efficacité même de la démarche. Ainsi, l’accent mis sur les résultats s’opère souvent au détriment d’une réflexion de fond sur la compréhension et l’appropriation de ces résultats ou encore sur les mécanismes correctifs. Le « service après-vente » de l’évaluation se trouve pour ainsi dire souvent négligé alors même que nombre de précautions ont entouré son élaboration. Tout se passe alors comme si l’attachement à la méthode contribuait à détourner l’évaluation de vocation. Ce mécanisme de sous-optimisation, du reste assez caractéristique du phénomène bureaucratique15, est assez révélateur de la propension de la démarche à se routiniser. Cependant, comme le suggère M. Power à propos de la montée en puissance de la société de l’audit16, ce méthodisme n’est sans doute pas fortuit, ne serait-ce que parce qu’il rend la démarche inaccessible aux profanes. Il fait ainsi incontestablement le jeu des experts dont il légitime le recours.
18Historicisme. Ces excès découlent en fait d’un certain nombre de présupposés sur la nature même de l’action publique. Toute politique publique étant assimilée à une théorie d’action, elle agit comme une prédiction sociale. L’accent est donc davantage mis sur les régularités et les récurrences que sur les aléas ou les perturbations qui pourraient les mettre en cause. Ce travers que Popper dénonce comme de l’historicisme17 consiste finalement à extrapoler les tendances du passé au détriment d’une clairvoyance sur les phénomènes qui pourraient survenir. Cette myopie prive en fait l’évaluation de réelles visées prospectives.
19Activisme. Cette même vision des processus publics nourrit également une conception déterministe du changement social qui justifie alors des prétentions réformistes et planificatrices. Elle se traduit par un certain activisme, une sur-activité, un réformisme qui n’est pas dénué de vanité18. Cette conception se heurte d’abord à l’ambiguïté causale, les décideurs publics ayant de la difficulté à savoir d’où proviennent les effets des politiques mises en œuvre. Elle échoue aussi à prendre en compte les phénomènes émergents or c’est précisément une difficulté clé de l’évaluation que de prendre en compte les événements qui surviennent au cours même de l’exercice et qui peuvent en modifier le cours.
20Ces quatre péchés capitaux (scientisme, méthodisme, historicisme, activisme) agissent comme autant d’excroissances anormales, qui ne constituent évidemment pas des défauts inhérents à l’évaluation, mais qui traduisent plutôt les excès d’une certaine pratique de l’évaluation. Victime de ces excès, l’évaluation est devenue dogmatique, la référence expérimentale s’est estompée et son utilité sociale est devenue secondaire. Toutes ces dérives semblent contribuer à affaiblir la portée de la démarche quand elles ne justifient pas, plus radicalement, sa révocation. Elles soulignent aussi l’inadaptation fondamentale du modèle classique d’évaluation et suggèrent de « réinventer l’évaluation ». Tous ces obstacles ne sont donc pas rédhibitoires, comme le montrent d’ailleurs quelques démarches entreprises avec succès. Mutatis mutandis l’évaluation accomplit une conversion similaire à celle qu’a connue naguère la pensée stratégique19.
B. …À L’ÉVALUATION DANS L’ACTION.
21Face à ces problèmes, les évaluateurs ne sont pas restés inactifs, des solutions sont esquissées pour mettre en place de nouvelles pratiques évaluatives davantage en prise sur l’action.
1. Le temps de la connaissance, le temps de l’action.
22Elles procèdent d’une vision radicalement différente de l’action publique : elles prennent en compte l’ambiguïté fondamentale de l’action publique et en soulignent la dimension essentiellement interprétative, indissolublement liée à ses autres aspects, tant opérationnels que stratégiques. Intégrant également la nature turbulente des phénomènes publics, elles soulignent l’importance des effets émergents et induits.
23L’évaluation est alors conçue comme accompagnement de l’action, lié au processus même de l’action publique. L’idée consiste à « endogénéiser » en quelque sorte l’évaluation, à stimuler des interactions entre le processus d’évaluation et le déroulement de l’action, amenant ainsi à en infléchir le cours. Cette ambition d’une évaluation dynamique s’éloigne alors d’une démarche centrée sur la construction scientifique du résultat pour glisser vers un modèle de management de l’action.
24Dans ce type d’évaluation, le rapport au temps est fondamentalement différent : la première démarche, à la fois rétrospective et prospective, plaçait l’évaluation dans une séquence « prévision-objectifs-mise en œuvre-évaluation ». Au contraire, lorsqu’elle se situe dans le temps de l’action, l’évaluation accompagne cette dernière. Elle permet non seulement de prévoir et de vérifier mais aide aussi à anticiper et à réagir. Pour caractériser ces démarches, on pourrait créer le néologisme d’« évalu-action ».
25Ces développements récents de l’évaluation ont ainsi intégré des méthodes privilégiant les attitudes réactives et pro-actives, s’appuyant sur l’utilisation de techniques nouvelles (les systèmes d’information en temps réel, la veille, le management des connaissances, etc.). Concrètement, ces formes d’évaluation dans l’action recouvrent des pratiques assez variées, comme le monitoring et le suivi, ou l’évaluation de projet. À ce titre, elles se rapprochent des démarches d’amélioration continue. C’est le cas, par exemple, des démarches menées par certains observatoires dont le rôle est d’examiner l’environnement d’une institution, la qualité des réponses apportées et les effets de ces réponses sur l’environnement de l’institution. L’évaluation ne réside plus alors dans une réponse ponctuelle ou une étude ad hoc mais s’inscrit dans l’évaluation permanente des forces et faiblesses de la structure. Ces démarches contribuent inévitablement à brouiller les frontières traditionnellement admises entre l’évaluation et le contrôle de gestion20. Il s’ensuit également que les acteurs de l’évaluation ne sont plus nécessairement et exclusivement les experts mais les professionnels eux-mêmes et les managers.
26Dans une perspective managériale, ces démarches ne sont pas dénuées d’intérêt. Trois effets notables peuvent en être escomptés. Elles contribuent à affranchir l’évaluation du contrôle tant elles privilégient l’analyse des effets et le pilotage de l’action. Cette dédramatisation de l’évaluation est particulièrement importante dans des univers publics qui persistent à assimiler l’évaluation à la sanction.
27Elles s’ancrent dans les pratiques concrètes des acteurs. Aussi sont-elles susceptibles de favoriser l’acquisition de nouvelles méthodes de travail, voire de nouvelles compétences. C’est le cas, par exemple, des évaluations menées dans le domaine de la santé pour promouvoir de nouveaux gestes professionnels21.
28Enfin, ces démarches participent au développement de compétences stratégiques. Elles permettent en effet de susciter chez les personnels des capacités d’anticipation et surtout des capacités à réagir à l’analyse des résultats. Cette dynamique participative est d’ailleurs au cœur même de l’exercice d’évaluation. L’intérêt de l’évaluation peut alors être analysé à la lumière de la théorie des ressources, dans sa version originelle présentée par Wernerfelt22, au sens où l’évaluation permettrait aux organisations publiques d’identifier leurs ressources décisives, de mieux les exploiter et éventuellement d’en acquérir de nouvelles. Certes, la théorie des ressources trouve son origine dans une réflexion sur l’avantage concurrentiel des firmes. À l’heure où les administrations, évoluant elles-mêmes de plus en plus dans des univers concurrentiels, s’interrogent sur les secrets de leurs performances, l’apport de la théorie des ressources ne doit pas être négligé d’autant qu’elle met l’accent sur les facteurs de performance durable qui sont précisément souvent au cœur de la permanence des institutions publiques. Cette théorie réhabilite la portée stratégique de l’évaluation dans la mesure où cette dernière permet de repérer des facteurs de performance durable et peut éclairer les stratégies des organisations publiques. Plus encore, par son caractère participatif, elle peut contribuer à mobiliser ces ressources stratégiques. L’évaluation a alors une fonction d’incitation et de transformation. Cette perspective est relativement nouvelle. Elle suggère un lien entre deux fonctions de l’évaluation, à la fois stratégique et managériale. Makadok23 incorpore ainsi ces deux dimensions, soulignant la complémentarité entre ces perspectives : il faut à la fois savoir ce qu’il faut faire et savoir motiver le personnel de l’entreprise pour qu’il le fasse. L’évaluation intervient précisément pour combiner ces deux dimensions, intégrant la réflexion sur les ressources et celle sur la gouverne organisationnelle.
29Cette nouvelle approche évaluative, plus empirique et plus dynamique, se caractérise ainsi par un double mouvement : un ancrage plus fort dans la pratique des acteurs publics et la prise de conscience de la portée stratégique de l’exercice.
30Un exemple suffit à rendre compte de l’intérêt de ce virage pragmatique. Il s’agit de l’évaluation du contrat de progrès 2004-2008 entre l’État et l’AFPA (Association de Formation Professionnelle des Adultes).
2. Entre exploitation et exploration : l’exemple de l’évaluation du 3e contrat de progrès entre l’État et l’AFPA.
31Cette perspective pragmatique d’« évalu-action » a été appliquée à l’évaluation du contrat de progrès entre l’État et l’AFPA. Les travaux du comité d’évaluation24 qui a fonctionné pendant trois années apportent des éléments précieux sur ce type d’évaluation, conçue au plus près de l’action.
32De par son histoire et son organisation, l’AFPA occupe, au sein de la sphère publique, une position inédite. Elle bénéficie d’ailleurs d’un statut et d’une gouvernance qui lui confèrent une place spécifique. Association (loi 1901), elle œuvre en étroite liaison avec les pouvoirs publics et les partenaires sociaux. Son financement est, très majoritairement, d’origine publique. L’État assurait notamment, jusqu’à la mise en place du transfert de compétences aux régions (progressivement transférées au terme d’une période transitoire prévu le 31 décembre 2008), le financement du « programme d’action subventionné » (PAS). Cette « commande » de l’État est, depuis quinze ans, encadrée par un contrat pluriannuel appelé « contrat de progrès ». D’une durée de cinq ans, il fixe des objectifs à l’association et définit en contrepartie les engagements de l’État. Cette relation contractuelle a indéniablement modernisé les relations classiques de tutelle entre l’État et l’AFPA. Elle est assortie d’une obligation d’évaluer la mise en œuvre des engagements du contrat et le degré d’atteinte des objectifs qu’il fixe.
33Depuis plus de dix ans que l’État et l’AFPA sont engagés dans des relations contractuelles, l’évaluation s’apparente à un exercice classique. L’évaluation de ces contrats de progrès est ainsi devenue une pratique ritualisée avec l’évaluation du premier contrat (1994-1998) puis celle du deuxième (1999-2003), avant ce troisième exercice couvrant la période 2004-2008 qui marque une certaine maturité. Les deux premières évaluations ont été conduites sous la même présidence d’un universitaire, expert en matière de politique de formation professionnelle. La troisième évaluation, avec la nomination d’un nouveau président, marque un changement dans le leadership même si le nouvel exercice s’inscrit résolument dans le sillage des précédents.
34Au plan méthodologique, ce ritualisme offre incontestablement des avantages. La présence, au fil de ces trois exercices, d’un même rapporteur, ainsi que de quelques membres du comité d’évaluation, incarne d’une certaine façon la mémoire de l’évaluation et facilite la relève de la présidence. Ajoutons également la permanence d’un secrétariat technique qu’assure l’administration centrale. Cette continuité traduit un certain enracinement de la pratique évaluative, autant qu’un environnement actif et stimulant en matière d’évaluation des politiques de formation professionnelle. Cette culture d’évaluation partagée et une bonne intelligence des membres du comité sont autant d’acquis des exercices précédents. L’évaluation n’est donc pas assimilée, comme trop souvent, à un mode de contrôle supplémentaire ou à une forme d’audit. Il est désormais admis que l’évaluation du contrat de progrès qui lie l’État et l’AFPA constitue bien une aide à l’accomplissement des objectifs de progrès. De surcroît, cette évaluation de troisième génération s’appuie sur un socle tangible d’informations et de connaissances qui ont pu être constituées antérieurement. Une série d’indicateurs (définis en annexe du contrat et régulièrement renseignés) alimente cette base technique, formalisée au fil des évaluations. Leur interprétation, sur la durée, confère une vision longitudinale. En définitive, ce troisième contrat de progrès satisfait assez bien aux deux conditions qui, selon M. Power25, fondent l’évaluabilité d’un objet : il s’appuie sur une base de connaissances légitime et institutionnellement acceptable pour les différentes parties prenantes et il bénéficie de surcroît d’environnements réceptifs à cette connaissance et intéressés par l’évaluation, qu’il s’agisse des instances de gouvernance de l’AFPA ou des administrations concernées. De cette façon, les résultats de l’évaluation sont assurés en quelque sorte de trouver preneurs.
35L’inconvénient majeur de ce ritualisme évaluatif est qu’il porte finalement peu à innover. Le dispositif d’évaluation est d’ailleurs assez classique dans sa forme, reproduisant le dispositif antérieur, moyennant quelques aménagements. Conforme à l’idée d’une évaluation pluraliste, il associe les diverses parties prenantes au contrat. Un comité d’évaluation est ainsi constitué, composé de personnalités indépendantes (dont son président et son rapporteur) et de représentants du ministère de l’Économie, de l’Industrie et de l’Emploi, de membres de la direction générale de l’AFPA et de représentants des partenaires sociaux. En dépit d’une activité soutenue, au rythme d’une réunion mensuelle, le dispositif méthodologique est également assez convenu, le comité d’évaluation se fondant pour l’essentiel sur les résultats d’enquêtes diligentées sur le terrain et sur des auditions.
36C’est en fait surtout par son ambition que tranche cette évaluation de troisième génération. Elle est bien rappelée par le président en préambule du rapport26 : « L’ambition partagée a été de produire un document utile aux signataires du contrat de progrès, aux différents partenaires de l’AFPA mais également aux différentes parties prenantes de l’institution ». Il ajoute que « c’est dans cet esprit qu’a fonctionné le comité d’évaluation avec la volonté d’éclairer l’adaptation de l’AFPA à de nouveaux contextes nés de la décentralisation. La posture d’évaluation a très vite été trouvée : permettre des regards (spectare) sans intention d’inspection (inspectare) ou d’audit mais en s’appuyant sur une analyse rétrospective (retrospectare) pour faciliter une gestion prospective (prospectare) de meilleure qualité ».
37L’ambition est peut-être moins partagée que ne le soutient ici le président. En fait, des vues assez différentes s’opposent au sein du comité : la première approche, émanant essentiellement de l’administration centrale, insiste sur la conformité de l’exercice qui doit consister à reprendre systématiquement les termes du contrat pour recenser, parmi les objectifs, ceux qui sont atteints et ceux qui ne le sont pas. Dans cette perspective, l’échéance du contrat marque sans équivoque l’horizon temporel de l’évaluation. L’approche du président est sensiblement différente. Prenant acte que le comité d’évaluation réunit les principales parties prenantes signataires du contrat, il a d’abord renoncé à la fiction d’une évaluation « distante » et « objective », s’efforçant au contraire de tirer parti de la subjectivité des acteurs pour instituer « la scène évaluative » comme un lieu de confrontation de ces différents points de vue. Très vite convaincu de l’instabilité du contexte, il a également pris la mesure des incertitudes qui pèsent sur l’AFPA, dans cette période transitoire. Aussi a-t-il souhaité ouvrir la réflexion du comité sur la question de l’après-contrat, engageant alors l’évaluation sur une voie plus prospective. À l’évidence, ces deux approches au sein du comité s’inscrivent dans un rapport au temps différent, soit comme objet de connaissance (chronos), soit comme flot chaotique d’événements (kairos) face auquel il convient d’entretenir la vigilance et la souplesse nécessaire. Elles suggèrent également des pratiques différentes de l’évaluation. La première engage l’évaluation sur la voie de l’objectivité, de la vérification et de la mesure : il s’agit de s’assurer en définitive de la conformité aux engagements contractuels. La deuxième pousse à entreprendre une démarche plus dynamique. Selon les cas, le champ de l’évaluation, n’est pas le même : dans la première approche, il est borné aux termes mêmes du contrat. Il y est d’ailleurs précisé que l’évaluation porte clairement sur la relation contractuelle entre l’État et l’AFPA et qu’elle ne constitue en aucun cas un audit de l’AFPA. Considérant que les choix stratégiques de l’AFPA (plan d’entreprise interne, passage à un nouveau système comptable, introduction d’une fonction marketing, restructuration de l’appareil central et mise en œuvre de la déconcentration) n’ont pas seulement des conséquences internes mais inévitablement des incidences sur la mise en œuvre du contrat, la deuxième approche, défendue notamment par le président, invite au contraire à élargir le champ de l’évaluation pour prendre en compte l’influence du contexte. Finalement, la marge de manœuvre est étroite pour le président du comité qui doit s’inscrire dans le sillage des précédentes évaluations, qui ont imprégné leur style et leur marque, et qui souhaite par ailleurs se projeter dans les futurs possibles. On retrouve, incarnée au sein même du comité, cette « ambidextrie »27 caractéristique des démarches de gestion qui balancent entre un conformisme d’exploitation et une dynamique d’exploration.
3. Vers un nouveau design évaluatif.
38En définitive, la démarche qui a progressivement pris forme, sous la férule du président du comité, se caractérise par une triple tentative d’impulser un processus dynamique, enraciné dans les pratiques des acteurs et doté d’une réelle portée stratégique. En dépit de limites évidentes et d’obstacles inévitables28, le dispositif mis en place traduit assez bien ces ambitions.
39Un processus dynamique et une évaluation « chemin faisant » : l’univers de la formation professionnelle évolue vite, avec une tendance à ancrer de plus en plus les activités de formation professionnelle dans le champ économique concurrentiel, mettant à mal l’ambiguïté, longtemps entretenue, sur le positionnement de l’AFPA, entre le marché et l’État. De surcroît, avec la loi du 13 août 2004 qui approfondit le mouvement de décentralisation des compétences en matière de formation professionnelle, la formation des demandeurs d’emploi se voit désormais confiée aux régions. L’AFPA se trouve donc confrontée à un double défi : la territorialisation de son action et l’adaptation aux règles des marchés, tant pour la collaboration avec les entreprises et les branches que pour les achats publics que pratiquent les conseils régionaux. La période de l’évaluation correspond précisément à cette dynamique de changements majeurs pour l’AFPA. Le calendrier de l’évaluation coïncide notamment avec celui de négociation de conventions tripartites (État, Région, AFPA) et avec l’organisation de ces transferts. Une évaluation in itinere prend donc tout son sens à travers le suivi en continu de ces transformations. Une question importante de l’évaluation consiste d’ailleurs à apprécier dans quelle mesure l’AFPA s’impose, pendant cette période, comme un partenaire crédible et efficace des régions. Sans négliger le rôle d’opérateur de l’AFPA auprès des branches et des entreprises, le comité d’évaluation, pendant la première partie de son mandat, s’attache ainsi à suivre le processus de décentralisation des financements de l’AFPA vers les régions. Un autre point retient son attention : celui du positionnement de l’association sur les marchés régionaux de la formation professionnelle. Il s’agit en effet d’un défi essentiel alors même que l’AFPA doit gérer la transition d’un régime de la subvention vers celui de la mise en concurrence telle que prévu par le code des marchés publics. Évaluer, dans un contexte aussi instable, est une vraie gageure tant la situation se transforme en permanence. La première difficulté consiste donc à « coller » à l’action et au processus décisionnel et à s’adapter au cycle de vie du contrat. Du fait notamment du transfert progressif aux régions et du jeu de négociations qui en résulte, l’évaluation s’inscrit de surcroît dans un contexte éminemment politique et instable que les évaluateurs ne peuvent pas ignorer. Une deuxième conséquence est l’obligation d’intégrer chemin faisant les résultats de l’évaluation puisque celle-ci s’insère dans une dynamique, à laquelle d’ailleurs elle contribue en partie. Dès lors, une démarche en continu impose de fournir aux partenaires les informations indispensables pour faire évoluer la forme de leurs interventions. Dans cette perspective, l’évaluation du contrat doit permettre de soutenir et d’accompagner l’AFPA et l’État dans l’application de la loi de décentralisation. Il ne s’agit donc pas simplement d’une évaluation des actions (passées) mais bien d’une évaluation dans l’action, ce qui impose non seulement d’être particulièrement attentif à la diffusion et à la communication des résultats mais aussi d’enraciner la démarche dans la pratique concrète des acteurs.
40Cet ancrage empirique se traduit par le poids donné, dans le dispositif évaluatif, aux constats de terrain, considérant que les acteurs chargés de mettre en œuvre ces réformes ont voix au chapitre. En dépit d’une composition assez technocratique, le comité s’est donc emparé des problèmes concrets, attentif à mettre les acteurs de terrain au cœur de l’évaluation. Cet ancrage empirique se traduit de diverses manières : outre les démarches d’enquêtes classiques menées par les prestataires extérieurs (chargés d’élaborer des monographies régionales) et de l’audition d’acteurs clés (par exemple, des directeurs régionaux de l’AFPA), le comité s’est efforcé de collecter une information vivante et fiable à la faveur des réunions « décentralisées » menées en régions, l’objectif étant de saisir concrètement les nouvelles règles du jeu régional. Enfin, des démarches originales ont été conduites, comme les ateliers de prospective animés par les membres du comité d’évaluation et associant différents acteurs de l’AFPA, aux responsabilités différenciées (directeurs régionaux, formateurs, développeurs). Ces échanges ont permis une meilleure compréhension des points de vue, perceptions et attentes des acteurs quant aux transformations qu’est appelée à connaître l’AFPA. Ils visaient également à susciter une dynamique participative émanant des régions. Plus profondément, cette volonté d’enraciner la démarche d’évaluation dans une matière vivante est indissociable des visées stratégiques poursuivies par les évaluateurs.
41La portée stratégique : dans l’esprit du président du comité, l’évaluation doit permettre de se projeter et de définir des orientations stratégiques. C’est ainsi que la démarche évaluative a mis en lumière les incertitudes persistantes quant à la gouvernance de l’AFPA qui risquent d’obérer sa conversion stratégique. Elles portent notamment sur le rôle des différentes parties prenantes et la place respective de chacun dans le processus de décision. Finalement, à qui appartient l’AFPA ? Quels sont les apports des membres ? Quelles sont, dans le nouveau contexte de la décentralisation, les modalités concrètes de prise de décision ? Dans l’éventualité où l’AFPA aurait comme priorité de devenir l’opérateur national de référence sur le secteur de la formation professionnelle aux côtés de Pôle Emploi et en relation avec les conseils régionaux, des réponses à ces questions sont nécessaires et des clarifications de gouvernance s’imposent.
42Ces trois types de considération (dynamique, empirique, stratégique) ont obligé à réviser le rôle du comité et la conception d’ensemble de l’évaluation (son « design »). Le dispositif s’apparente assez à ce que les spécialistes de la gestion de projet appellent de l’ingénierie concourante, fondée sur la complémentarité des divers acteurs. Certes, de prime abord, le dispositif d’évaluation semble marqué par une forte division du travail et la spécialisation des différents acteurs qui contribuent à la démarche (comité d’évaluation, secrétariat technique, prestataires extérieurs, etc.) En fait, la complémentarité et la coopération entre les acteurs du dispositif sont assurées de plusieurs manières, d’abord par le président lui-même qui a exposé, lors de la séance inaugurale du 25 novembre 2005, la conception de son rôle : « celui d’un maître d’ouvrage, qui veille à maintenir le sillon et la finalité des travaux, également d’un maïeuticien attentif à faire émerger les idées, enfin d’un " micro-manager " garant de la production rigoureuse et de la libre circulation des informations ». De surcroît, la double appartenance de certains acteurs clés du dispositif (comme le rapporteur) au comité d’évaluation et au secrétariat technique facilite cette coopération. Enfin, comme dans les process d’ingénierie concourante, la production de connaissances évaluatives est « tirée » en quelque sorte par les acteurs de l’aval (les bénéficiaires de l’évaluation, en l’occurrence les signataires du contrat) qui coopèrent avec ceux de l’amont (qui conçoivent la démarche d’évaluation).
43À contrevent des positions orthodoxes sur l’indépendance de l’évaluation et d’une vision linéaire des processus d’action publique, un tel dispositif se révèle, à l’usage, avantageux à plus d’un titre. Il facilite d’abord l’accès à l’information dont on sait qu’il constitue un écueil souvent dirimant en matière d’évaluation. Il contribue également à garantir la légitimité de l’évaluation et à favoriser la confiance entre les évaluateurs et les maîtres d’œuvre du contrat. Enfin, de façon générale, il permet d’accroître l’acceptation par les personnes concernées des solutions trouvées lors de l’évaluation. En dépit de quelques points de vulnérabilité, liés notamment au turn-over des membres du comité, inévitable sur une aussi longue durée, et à la non-disponibilité des représentants des régions29, le dispositif mis en place esquisse un dispositif original tant par la place prise par les acteurs périphériques que par le caractère entrepreneurial de la démarche30. Il offre en tout cas l’exemple d’une conversion de l’évaluation à une démarche pragmatique.
II. LE VIRAGE PRAGMATIQUE
44À l’heure où nombre de démarches de gestion ont accompli leur conversion31, l’évaluation semble tarder à prendre ce « virage pragmatique », à passer de l’évaluation de l’action à l’évaluation dans l’action. En fait, tout se passe comme si l’évaluation peinait à franchir le seuil qui fait passer de la vie contemplative à celui de la vie active, pour reprendre la distinction majeure de Hannah Arendt32 entre Vita contemplativa et Vita activa. L’évaluation gagnerait d’ailleurs à s’inspirer de cette anthropologie philosophique pour retrouver prise dans l’action. D’autant que précisément, cette notion d’action figure au cœur de la réflexion menée par Hannah Arendt. Le critère principal de l’action réside selon elle dans la révélation de l’homme qui initie et qui régit (le terme grec arkhein a les deux sens) et c’est au sein d’un « réseau de relations humaines », que cette révélation prend toute sa portée, renvoyant ainsi au domaine public et à la sphère politique. Hannah Arendt insiste à ce propos sur la fragilité des affaires humaines, l’action en commun n’existant qu’aussi longtemps que les acteurs l’entretiennent.
45Ce lien qu’elle établit entre la fragilité des affaires humaines et l’entreprise politique fournit un fil pour comprendre les péripéties de l’évaluation. La tendance à éclipser la dimension proprement politique pour dissoudre l’évaluation dans une activité d’ingénieur et la fondre dans une procédure ne serait en fait qu’une manière de conjurer cette fragilité. C’est bien cette faculté d’agir dans le domaine public qu’il convient de trouver.
46Cette conception plaide alors pour un véritable « agir évaluatif ». Prolongeant l’examen de l’exemple précédent à propos de l’évaluation du troisième contrat de progrès entre l’État et l’AFPA, quelques pistes sont suggérées pour repenser les pratiques évaluatives, en soulignant les conditions à réunir pour développer cet « agir évaluatif ».
A. QUELQUES PISTES POUR UN AGIR ÉVALUATIF
47Les sciences de gestion partagent avec l’évaluation la revendication d’un savoir actionnable et elles se rangent volontiers sous la bannière de cette connaissance utile qui inspire J. Mokyr33 mais cette ambition se heurte en réalité à de nombreux obstacles : faible prise sur les décisions, distance au terrain, imprévisibilité des circonstances et influences exogènes, difficulté des administrations à capter et à traiter en temps réel les résultats de l’évaluation… Autant de freins qui limitent la portée de la démarche et compromettent l’accomplissement de ces savoirs actionnables. À l’examen néanmoins, il apparaît, à partir du cas considéré, que cette impuissance n’est pas une fatalité et que l’évaluation peut avoir une résonance active. Celle-ci se manifeste de deux façons.
48D’abord l’évaluation participe à des découvertes : elle ne se contente pas de fixer des idées communes, elle instille aussi de nouvelles façons de penser, par exemple sur le fonctionnement des marchés de la formation professionnelle ou encore sur la gouvernance de l’AFPA. Le président du comité d’évaluation s’impose alors comme un acteur de changement, un véritable « issue entrepreneur » qui débusque des enjeux et pousse à leur révélation. L’exploration de ces idées stimule aussi l’apprentissage et peut activer des mécanismes proches de ceux identifiés par Argyris et Schön34 qui bouleversent les routines des acteurs, leurs façons de penser et d’agir.
49L’évaluation a aussi une fonction anticipatrice et stimule des propensions à agir : ainsi les discussions ont mis en évidence l’intérêt pour l’AFPA de déployer des démarches pro-actives. L’analyse stratégique, en termes d’atouts et d’attraits, a révélé notamment la possibilité de réviser la segmentation de ses activités, en investissant de nouveaux marchés et en développant de nouveaux types de prestation. À contrevent des idées reçues de départ, les analyses effectuées au cours de l’évaluation ont alors progressivement accrédité l’idée que l’AFPA n’était pas fatalement menacée mais pouvait même être menaçante pour certains de ses concurrents. L’évaluation s’invite ainsi comme un trouble-fête, introduisant des théories d’action concurrentes qui sont autant d’alternatives stratégiques. Elle suscite ainsi de nouvelles conjectures et perspectives.
50En définitive, il apparaît que l’évaluation ne peut être réduite à sa seule fonction sentinelle (vigilante sur la conformité et le suivi des engagements contractuels). Elle n’agit pas non plus simplement comme un processeur d’informations, mais plus activement, comme moniteur d’apprentissages et catalyseur de changement. Elle joue ainsi cette double fonction heuristique et anticipatrice. Elle s’impose comme une méthode pour élucider ce qui va se faire, non ce qui est déjà fait, ce qui est en train de faire ou ce qui doit être fait. D’une certaine façon, l’évaluation « fait agir ». Cela suppose néanmoins, notamment pour celui qui la conduit, d’assumer les incertitudes d’une telle démarche.
51Développer un agir évaluatif conduit ainsi à explorer plusieurs pistes : explorer la dimension proprement entrepreneuriale de l’évaluation ; mobiliser des ressources d’apprentissage ; gérer l’évaluation en mode projet.
52Concrètement, de telles vues ont des implications pratiques, notamment sur le fonctionnement des instances d’évaluation qui, davantage qu’un terrain d’interactions, deviennent alors un véritable terrain d’actions.
53Il y aurait encore beaucoup d’autres façons d’illustrer cette idée « d’agir évaluatif ». Ces premiers éléments de réflexion ne visent qu’à poser les linéaments d’une conception de l’évaluation pragmatique. Son approfondissement ne pourra cependant progresser que par la multiplication des tentatives et démarches empiriques. Bien que l’on puisse imaginer et mettre en œuvre des dispositifs d’évaluation de ce type35, l’exercice nécessite pour le moins quelque prudence et requiert certaines conditions.
B. LES CONDITIONS D’UN « AGIR ÉVALUATIF »
54Poser en d’autres termes les rapports de l’évaluation à l’action suppose au préalable de se départir des conceptions usuelles sur la performance publique, de mobiliser des savoir-faire organisationnels et managériaux et également, de développer des compétences entrepreneuriales.
1. Une autre conception de la performance publique.
55La quête de performance est une préoccupation fondamentale, au cœur de l’ambition du nouveau management public et, plus particulièrement, de l’évaluation. Cette dernière se justifie d’ailleurs par l’idée même d’améliorer la performance publique. Pour essentiels que soient ces enjeux de performance dans les administrations publiques, la notion même de performance ne fait pas vraiment consensus. L’usage courant semble considérer que la performance est le résultat d’actions passées. Cette définition est d’ailleurs cohérente avec le modèle classique d’évaluation qui met effectivement l’accent sur la mesure des effets.
56L’idée d’un agir évaluatif suggère au contraire que la clé de la performance se trouve non pas dans les résultats passés mais plus en amont, dans les capacités d’action des acteurs, notamment leurs capacités à mettre en œuvre leur sens de l’initiative pour faire face aux aléas. Passer ainsi d’une vision rétrospective de la performance à une conception qui privilégie davantage le potentiel de réalisation, soumet l’évaluation à de nouvelles exigences même si elle lui ouvre des perspectives enrichissantes. Ainsi, l’exercice d’évaluation peut ne plus se limiter à mesurer des effets mais consiste plutôt à travailler sur les conditions nécessaires pour permettre cette performance.
57La notion courante de performance est également souvent associée à la référence à des objectifs, renvoyant ainsi à une vision téléologique de l’action publique. L’objectif finalement serait un moyen de mesurer la performance. Il s’ensuit que l’évaluation est souvent conçue en référence à ces « objectifs », avec mission de vérifier s’ils sont atteints ou pas, or cette notion même d’objectifs, apparaît, en pratique, éminemment contestable36, pour plusieurs raisons. La principale est que ces objectifs sont nécessairement très volatils et qu’ils sont appelés à évoluer au cours même de l’évaluation. C’était le cas pour l’AFPA où l’évolution du contexte a rendu prépondérants les objectifs de décentralisation. De surcroît, ces objectifs sont le plus souvent difficiles à expliciter, d’autant qu’ils procèdent en général de théories d’action concurrentes. Dans l’exemple considéré, cette ambiguïté pouvait se lire dans l’hésitation sur les missions mêmes assignées à l’AFPA, tantôt présentée comme organisme d’insertion, tantôt comme un organisme de formation professionnelle.
58En dépit des clarifications permises par la nouvelle architecture budgétaire issue de la LOLF37, cette notion d’objectifs reste donc très problématique38, quand elle n’est pas préjudiciable à l’innovation même39. Elle est d’ailleurs peu compatible avec l’ambition même d’un agir évaluatif qui assigne à l’évaluation davantage de flexibilité et qui requiert de la part des acteurs plus de pro-activité que de réactivité. Il s’agit moins pour eux de se conformer à des objectifs que de développer des conduites actives et s’appuyer sur les ressources de l’évaluation pour se frayer des voies nouvelles.
59Face à ces nouveaux modes d’évaluation, il devient nécessaire d’inventer de nouveaux critères d’évaluation. Se départir de cette tyrannie des objectifs suppose l’expérimentation de nouveaux référentiels d’évaluation qui ne soient plus simplement fondés sur des standards fixés a priori mais sur des critères qui prennent en compte la dynamique de l’action en train de se faire. Quelques tentatives ont été faites en ce sens, s’inspirant notamment des apports de l’observation ethnologique. La Caisse des dépôts et consignations s’est ainsi essayée à l’évaluation de la mise en place de cyberbases40. L’absence d’accords sur les objectifs de la démarche a conduit l’instance d’évaluation à renoncer à une évaluation fondée sur les objectifs et à déplacer la question évaluative. Il s’agissait moins de voir si les objectifs étaient atteints que d’observer, dans les espaces multimédias où étaient installées ces cyberbases, les publics qui s’étaient emparés du dispositif, d’analyser l’usage qu’ils en faisaient et les pratiques qu’ils inventaient. Le recours à une équipe d’ethnologues a alors constitué un apport original et essentiel, débusquant les pratiques au plus près du terrain et s’efforçant d’y apporter des améliorations.
60Une autre voie, très différente dans son inspiration, consiste, à l’instar des pratiques habituelles dans l’industrie lorsqu’il s’agit de concevoir un produit nouveau, à travailler sur la base de scénarios ouverts à la discussion et proposant aux acteurs plusieurs options possibles soumises à un examen contradictoire. Cela suppose un fonctionnement plus ouvert des comités d’évaluation alors même qu’ils ont trop souvent tendance à s’enfermer dans un huis clos.
61Enfin, à l’heure où les notions de valeurs et d’éthique sont souvent invoquées pour caractériser le service public41 et la motivation même de ses agents42, il ne paraîtrait pas inconcevable de fonder des référentiels d’évaluation sur des valeurs : une manière de montrer que l’action publique n’est pas simplement fondée sur des routines, sur une rationalité en finalité mais aussi sur une rationalité en valeur, pour reprendre la typologie devenue classique de Max Weber43. Une manière également, pour l’évaluation, de renouer avec sa vocation originelle puisqu’acceptée dans son sens étymologique, l’action d’évaluer (« ex-valuare »), consiste précisément à faire apparaître la valeur des actes, des choses voire des personnes.
2. Des savoir-faire organisationnels et managériaux.
62Conduire de telles évaluations suppose aussi la mobilisation de savoir-faire organisationnels et managériaux. Cet agir évaluatif prend naturellement toute sa portée dans des organisations réflexives et apprenantes.
63Concrètement, ces agencements organisationnels peuvent se traduire par :
- la reconnaissance d’un droit à l’erreur, s’appuyant notamment sur une relance de l’expérimentation, indissociable d’une dynamique d’apprentissage ;
- un nouveau design évaluatif privilégiant des dispositifs interactifs et dynamiques qui ouvrent des espaces de discussion, stimulent l’ajustement entre acteurs et inspirent des processus d’apprentissage croisés44.
64Sur ces points, la conduite de l’évaluation pourrait fort opportunément s’inspirer des avancées de la gestion de projet. C’est une prise de conscience, récente mais importante dans ce domaine de la gestion, que la discussion joue dans les transactions un rôle aussi important que les médias traditionnellement étudiés en économie (le prix, la règle, la négociation). La discussion tendrait même à devenir un mode d’ajustement privilégié, en lieu et place des modes de coordination habituellement codifiés à travers des règles de gestion. Ces démarches montrent notamment la nécessité d’associer les opérateurs de base qui sont les seuls susceptibles, dans l’interaction et au plus près du terrain, de mettre en accord les objectifs du sommet stratégique avec les demandes variables de ses clients. Empruntant aux travaux d’Habermas sur l’espace public45, ces analyses montrent comment les acteurs sont appelés à construire en commun des solutions, en donnant leur opinion et en les débattant, en faisant un usage public de leur raison critique. Les situations de gestion étudiées, dans le domaine logistique notamment46 ou, plus généralement, dans le domaine des réseaux, portent sur des contextes hautement incertains, des coopérations aléatoires, en définitive des ensembles faiblement couplés. Autant d’éléments qui ne sont pas sans évoquer certaines caractéristiques souvent attribuées à l’action publique contemporaine. Ces réflexions sur les espaces de discussion paraissent donc transposables sur le plan de l’évaluation.
65L’évaluation devient alors le lieu de déploiement d’une discussion collective devant permettre d’aboutir à la construction conjointe d’une perspective commune. Elle participe aux développements de nouveaux modes de régulation. La démarche d’évaluation ainsi conçue suppose un contexte d’interprétation commun aux parties qui s’entendent47, s’appuyant sur la construction de procédures collectives d’interprétation et de règlement de problèmes, issues d’un travail de conventionnalisation. Dans cette perspective, l’évaluateur est requis non pas tant pour ses qualités d’expert que pour sa capacité particulière à agencer ces espaces de discussion dont précisément l’architecture et l’ingénierie ne peuvent être calquées sur un patron standard. Ce mode d’évaluation est donc particulièrement adapté aux situations où l’incertitude porte sur les modus operandi ou sur la nature même de la prestation. Les acteurs de l’évaluation sont alors appelés à « agir » au sens d’Arendt, à entreprendre, bref à développer un rapport de créativité et de responsabilité, à mobiliser des capacités d’anticipation. Il devient alors véritablement loisible de parler d’un agir évaluatif.
3. Des ressources entrepreneuriales.
66Enfin, ce type d’évaluation requiert des compétences entrepreneuriales. Cette dimension est d’ailleurs curieusement sous-estimée par la littérature. Elle est éclipsée au profit d’une perspective pluraliste qui justifie, par exemple, le recours à un « comité d’évaluation ». Inspirée par le modèle des parties prenantes48, cette approche met l’accent sur la diversité des acteurs, de leurs intérêts et de leurs points de vue. C’est précisément à l’évaluation qu’il incombe de rechercher un consensus et au président du comité d’évaluation d’ajuster ces rationalités composites. En fait, dans cette approche, sa propre analyse et ses choix importent peu. Cette perspective reste ainsi prisonnière d’une vision à la fois totalisante et déterministe de l’instance d’évaluation où celle-ci doit représenter la pluralité des points de vue et s’adapter aux demandes des parties prenantes. Elle ne laisse guère de place à une approche pro-active. L’appel au partenariat qui découle de cette perspective pluraliste prédispose donc peu en définitive à une interprétation individualisante, volontariste et entrepreneuriale de l’action publique. À l’ombre du partenariat, la figure même de l’évaluateur se trouve même en quelque sorte éclipsée. Les qualités mises en avant le dépeignent d’ailleurs surtout comme un animateur ou un facilitateur49. De l’entrepreneur, l’évaluateur n’aurait de fait ni l’allant, ni le goût du risque, ni la capacité de décision. Ses marges de manœuvre seraient assez réduites et son influence sur le cours des événements, réellement très limitée. Sa légitimité tient en fait surtout à sa notoriété d’expert, quand il ne bénéficie pas du crédit généralement accordé au marginal sécant.
67L’expérience vécue à l’AFPA renvoie cependant à une image plus nuancée du travail d’évaluation. Elle souligne les compétences spécifiques du président du comité, qu’on pourrait même envisager comme un véritable entrepreneur de sens. Saisi sur le vif, il se comporte en effet moins en expert ou en vérificateur qu’en homme d’action. Il participe activement à la carte des parties prenantes, à la révélation d’enjeux ou encore à l’invention de nouveaux moyens d’actions. Il s’apparente alors beaucoup plus à cet « entrepreneur qualifié et astucieux » évoqué par Fligstein50 et à l’instar d’un véritable entrepreneur, il mobilise un répertoire d’actions très hétérogènes.
68Dans l’exemple considéré, il joue principalement sur trois registres que l’on peut résumer d’une formule en forme de triptyque : connexion, cohérence, convention (les 3 « C »).
69Connexion : dans le cours de son activité, il consacre une partie de son énergie à tisser des liens, jeter des ponts entre des personnes, des problèmes et des idées. Ce travail de connexion est d’autant plus remarquable que la gouverne bureaucratique prédispose plutôt à des phénomènes de découplage51. Le président du comité s’ingénie au contraire à mettre du liant, procédant à une série de couplages.
70Couplages d’acteurs : faisant fi des habituels découpages fonctionnels, il s’affranchit des servitudes de l’organigramme et des frontières institutionnelles pour mettre en relation différents acteurs. Concrètement, cela se traduit par le rapprochement de bureaux d’administration centrale aux attributions séparées, par des dispositifs qui associent acteurs du centre et de la périphérie (comme ces groupes témoins réunissant des acteurs de différents niveaux hiérarchiques), également par des confrontations inédites (entre l’AFPA et ses concurrents, par exemple). Ces dispositifs favorisent incontestablement une certaine mobilisation, suscitent des apprentissages et préfigurent, dans certains cas, de nouveaux modes d’action collective. Dans ce process, le président du comité, est celui qui précisément conçoit, organise et active les connexions entre acteurs. Il joue donc un rôle éminent.
71Couplages cognitifs : c’est aussi le président qui contribue à façonner de nouvelles façons de penser, en opérant des rapprochements auxquels les acteurs n’ont pas spontanément pensé. En raccordant entre elles des réflexions souvent disjointes voire éparses, l’évaluation permet une intelligence plus globale des problèmes. Une réflexion a ainsi été amorcée au sein du comité pour tirer les conséquences sur les systèmes d’information des évolutions de l’AFPA, tant de son organisation que de son positionnement sur le marché. Cette réflexion en a aussitôt suscité une autre sur la mise en cohérence des besoins des publics. De même, la place de l’AFPA dans le jeu de la concurrence régionale a été abordée sous un angle à la fois technique, juridique et politique. Là encore, c’est à celui qui conduit l’évaluation qu’il incombe d’assurer ces passerelles entre différentes expertises, contribuant ainsi à élaborer le jugement évaluatif.
72Couplages d’engagements : à travers la discussion collective et régulière sur les indicateurs, le comité d’évaluation et son président stimulent des engagements de réalisations et de résultats et participent à un mode de régulation conjointe, évaluant la mise en œuvre des engagements pris par l’AFPA et l’État dans le contrat de progrès.
73Couplages de temporalités : articuler le calendrier de l’évaluation à celui de l’action est un enjeu essentiel pour asseoir la crédibilité de la démarche et éviter son enlisement. Points d’étapes, liaison en continu avec le maître d’ouvrage sont autant de manière d’assurer ce lien. Pour raccorder les différentes séquences, les comptes rendus, en forme de rapsodie, jouent un rôle décisif dans la capitalisation de la réflexion collective.
74Cette logique d’appariement est donc au cœur de l’activité du président du comité. Ce travail de combinaison/transformation des ressources lui confère une fonction d’ensemblier, également caractéristique, selon Schumpeter, du travail de l’entrepreneur puisqu’il est celui qui coordonne l’activité d’individus qui, sans lui, resteraient séparés.
75Cohérence : la cohérence d’une évaluation est loin d’être donnée a priori. La diversité des membres de l’instance, la variété des matériaux recueillis et des méthodologies utilisées ainsi que les fortes particularités territoriales sont autant d’éléments de dispersion. Le rôle du président consiste précisément à donner de la cohérence à cette collection d’éléments disparates et d’objets intermédiaires (témoignages d’acteurs, monographies régionales, visites sur sites, auditions, repérage de bonnes pratiques, etc.) qui précèdent la livraison du rapport final. Cette cohérence émerge au fil d’épreuves, d’exercices, également de rencontres avec des acteurs de terrain, selon un itinéraire qui n’est pas fixé d’avance. Cette « connaissance ambulatoire », pour reprendre la jolie formule de W. James ne procède pas de standards reconnus et éprouvés mais s’inspire d’expériences concrètes. Cette façon de faire est en quelque sorte dictée par l’instabilité même de la situation. Cette cohérence n’est pas pour autant soluble dans un consensus. Du moins celui-ci n’est-il qu’apparent ou provisoire52. Ainsi, les débats restent vifs sur le positionnement stratégique de l’AFPA. C’est précisément au président du comité qu’il revient d’organiser cette concurrence des idées et d’en dégager des directions cohérentes pour l’action. À l’image d’un patchwork, l’évaluation s’apparente à un assemblage de morceaux, certes hétérogènes par leurs motifs ou leurs étoffes mais homogènes par leur dessin. C’est assez suggérer le travail créatif et patient du président du comité.
76Convention : il y a enfin un travail proprement cognitif qui sous-tend l’activité du comité d’évaluation, lieu de confrontation mais aussi espace d’échange. La fabrication de l’évaluation se fait au fil de cette élaboration constructive et c’est bien le rôle de celui qui conduit une évaluation que d’organiser cette « communauté d’interprétation »53 sur la base de conventions communes. Cela renvoie à sa fonction proprement managériale, également à sa faculté de formaliser des règles d’interprétation au fur et à mesure que s’organisent les échanges. Ce travail de synthèse et de formalisation est essentiel : il permet aux différents membres, au-delà de leurs différences d’appréciation, de se doter d’outils communs pour appréhender la situation. Cela participe à la mise en cohérence évoquée précédemment et à un certain alignement des cadres de pensée.
77Le président chargé de la conduite de l’évaluation a ainsi une activité simultanée de production (de connaissances) et de mise en relation (des idées, des façons de faire). Patchwork et Network : telles sont les deux images qui peuvent illustrer cette double activité. Les ressorts activés sont donc très variés : connexion, mise en cohérence d’acteurs et d’idées, fabrication de conventions communes. C’est en jouant sur ce répertoire que s’accomplit le travail entrepreneurial et que le président de l’instance s’impose comme un véritable entrepreneur d’intelligence collective.
78Dans cette perspective, l’évaluation est conçue comme une pensée essentiellement pragmatique, telle que la décrit W. James54, s’accomplissant dans une connaissance à la fois « saltatoire » (qui établit des ponts) et « ambulatoire » (qui déambule d’une idée à une autre). Cette connaissance est aussi une connaissance « active » qui débouche sur des réalisations et des performances concrètes.
Notes de bas de page
1 D. Morin, « Lorsque les administrations publiques font la sourde oreille aux rappels à l’ordre du vérificateur général et que nul ne s’en préoccupe… », Gestion, vol. 30, n° 2, été 2005, p. 16-22.
2 L. E. Lynn, Knowledge and policy : the Uncertain Connection, National Academy Press, Washington, 1978.
3 C. H. Weiss, « Ideology, Interests, and Information : the basis of Policy decisions » in Ethics, The Social Science and Policy analysis, D. Callahan et B. Jennings, New York, Plenum Press, 1983, p. 213-245. Voir aussi : R. Martin et S. White, « Can Policy research Help Policy ? », The Public Interest, vol. 49, 1977, p. 119-136 et Ch. E. Lindblom et D. K. Cohen, Usable knowledge. Social Science and Social Problem-Solving, New Haven, Yale University Press, 1979.
4 F. Lacasse, Mythes, savoirs et décisions politiques, Paris, PUF, 1995.
5 V. Chanut, « Pour une évaluation créatrice de valeur », in B. Albanel (dir.), Le management au ministère de la défense, Paris, Éditions d’Organisation, 2004.
6 E. Durkheim, La Science sociale et l’action, Paris, PUF, 1987.
7 M. Deleau (dir.), Évaluer les politiques publiques. Méthodologie, déontologie, organisation, Paris, Commissariat général du Plan, 1986, 181 p.
8 P. Viveret, L’évaluation des politiques et des actions publiques, Rapport au Premier ministre, Coll. des rapports officiels, Paris, La Documentation française, 1988.
9 P. Gibert, « L’analyse de politique », Revue d’économie politique, 99 (2), mars-avril, 1989, p. 355-392.
10 J.-G. Padioleau, L’État au concret, Paris, PUF, 1982.
11 J. March, M. D. Cohen, J. P. Olson, « A garbage can model of organizational choice », Administrative Science Quartely, vol. 17, n° 1, 1972.
12 P. Gilbert, op. cit., 1989.
13 L. Mermet, « Les études d’évaluation entre stratégie et méthodologie. L’exemple des politiques publiques en matière de zones humides », Gérer et comprendre, Annales des mines, 1996, p. 55-63 et N. Buclet, « Gestion de crise environnementale et démocratie participative : le cas de l’incinération des déchets ménagers », Politiques et Management Public, vol. 23, n° 2, 2005, p. 91-115.
14 Cité par R. Aron, Penser la guerre, Clausewitz, t. I, Paris, Gallimard, 1976.
15 R. K. Merton, Social Theory and Social Structure, The free Press of Glencoe, 1957.
16 M. Power, La société de l’audit. L’obsession du contrôle, (1997) trad. française, Paris, La Découverte, 2005.
17 K. Popper, Misère de l’historicisme, 1957.
18 J. G. Padioleau, Le réformisme pervers, Paris, PUF, 2002.
19 H. Mintzberg, Grandeur et décadence de la planification stratégique, Paris, Dunod, 1994.
20 P. Gibert, M. Andrault, « Contrôler la gestion ou évaluer les politiques », Revue Politiques et management public, vol. 2, n° 2, 1984, p. 123-131 et P. Gibert, « L’évaluation de politique : contrôle externe de la gestion publique ? », Revue française de Gestion, n° 147, décembre, 2003, p. 259-273.
21 Voir les travaux de la Haute Autorité de Santé.
22 B. Wernerfelt, « A Resource-based View of the Firm », Strategic Management
Journal, 1984, 5 (2), 1984, p. 171-180.
23 R. Makadok, « Doing the right thing and knowing the right thing to do : why the whole is greater that the sum of the parts », Strategic Management Journal, 24 (10), 2003, p. 1043-1055.
24 Nous avons participé aux travaux du comité au titre de personnalité qualifiée de novembre 2005, date d’installation du comité, à la fin des travaux en mars 2009.
25 M. Power, op. cit.
26 F. Bournois (dir.), Rapport du comité d’évaluation du troisième contrat de progrès entre l’État et l’AFPA, 2004-2008, Version ronéo, mars 2009, à paraître à la Documentation française.
27 J. March, « Exploration and exploitation in Organizational Learning », Organisation Science, vol. 2, n° 1, 1991, p. 71-87.
28 Ces limites sont d’ailleurs analysées dans le rapport d’évaluation, sous forme d’un retour d’expérience critique intitulé, « l’évaluation de l’évaluation ».
29 Les régions ne sont pas présentes mais la diversité de leurs positions a été prise en compte à la faveur des nombreux travaux entrepris par le comité (monographies régionales, visites en régions, auditions, etc.).
30 F. Bournois, V. Chanut, « Le président d’instance, un entrepreneur d’évaluation ? », Communication au congrès annuel de la Société Française de l’Évaluation, juillet 2008.
31 Voir notamment, la communication : Y. Giordano, « Communication d’entreprise : faut-il repenser les pratiques managériales ? », Revue de gestion des ressources humaines, n° 13-14, décembre-janvier, 1995.
32 H. Arendt, Condition de l’homme moderne, Paris, Calmann-Lévy, 1961.
33 J. Mokyr, The Gifts of Athena, Princeton University Press, 2002.
34 C. Argyris et D. Schön, Organizational learning : a Theory of action perspective, Addison Wesley, 1978.
35 J.-G. Padioleau dans Les arts pratiques de l’action publique ultra-moderne offre quelques tentatives de ce genre sur des problèmes concrets d’action collective comme la prévention des risques en matière d’inondation (chapitres 2 à 4), Paris, L’Harmattan, 2004.
36 E. Delavallée, Quand fixer des objectifs ne suffit plus !, Paris, Éditions d’organisation, 2006.
37 Loi organique relative aux lois de finances n° 2001-692 du 1er août 2001.
38 J.-R. Brunetière, « Les indicateurs de la loi organique relative aux lois de finances : une occasion de débat démocratique ? », Revue française d’administration publique, n° 117, 2006, p. 95-112.
39 V. Chanut, P. Lièvre, « Contraintes, possibilités et formes de l’évaluation d’une action publique innovante », Communication à la journée organisée par le CREST (ESC Saint-Étienne) et MAGELLAN (IAE Lyon 3), L’innovation organisationnelle : état des lieux, état de l’art, ESC Saint-Étienne, 28 janvier 2008.
40 Caisse des dépôts et consignations, Évaluation du programme cyberbases, Version ronéo, 2002.
41 R. Sennet, La Culture du nouveau capitalisme, Paris, Hachette, 2008.
42 J. L. Perry, L. R. Wise, « The Motivation Bases of Public Service », Public Administration Review, vol. 50, n° 3, 1990, p. 367-373.
43 M. Weber, Économie et société, trad. Plon, 1971.
44 A. Hatchuel, « Apprentissages collectifs et activités de conception », Revue française de gestion, n° 99, juin-juillet-août 1994, p. 109-120.
45 J. Habermas, Théorie de l’agir communicationnel, Paris, Fayard, 1987.
46 M. Detchessahar, « Pour une théorie de l’espace de discussion. Quand discuter c’est produire », Revue française de gestion, janvier-février 2001, p. 32-43.
47 Y. Giordano, op. cit.
48 R. E. Freeman, Strategic Management : A stakeholder approach, Boston, Pitman, 1984.
49 M. Conan, Théories et pratiques de l’évaluation des programmes et des projets à caractère expérimental, Plan urbain-CSTB, 1988.
50 N. Fligstein, « Fields, power and social skills : a critical analysis of the new institutionnalism », in M. Miller, Power and organizations, Londres, Sage, 1996.
51 J.-G. Padioleau dans Les arts pratiques de l’action publique ultra-moderne, Paris, L’Harmattan, 2004.
52 Ph. Urfalino, « La décision par consensus apparent. Nature et propriétés », Revue européenne des sciences sociales, n° 136, 2007, p. 34-59.
53 J. Royce, The problem of Christianity, Mc Millan.
54 W. James, Le Pragmatisme, Paris, Seuil, trad. fr., 2007.
Auteur
Véronique Chanut est actuellement professeur agrégée à l’Université d’Auvergne, membre du LARGEPA-Université de Paris II Panthéon-Assas et chercheur associé au CRCGM-Université d’Auvergne. Ses recherches portent sur la gestion des ressources humaines dans le secteur public, sur l’évolution des organisations publiques et sur l’évaluation de l’action publique. Ancien rapporteur général du Conseil national de l’évaluation (2000-2002), elle a également été responsable de la mission évaluation de la direction du Personnel du ministère de l’Équipement (1990-1993), puis chargée de mission au Comité pour la réorganisation et la déconcentration des administrations (1993-1995). Elle a publié notamment La formation continue de l’encadrement supérieur de l’État. Bilan des pratiques et perspectives (1998) et L’État didactique (2004).
Le texte seul est utilisable sous licence Licence OpenEdition Books. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
Gouverner les territoires
Antagonismes et partenariats entre acteurs publics
Giuseppe Bettoni (dir.)
2011
Les réorganisations administratives
Bilan et perspectives en France et en Europe
Julien Meimon (dir.)
2008
Évaluer les politiques publiques pour améliorer l’action publique
Une perspective internationale
Sylvie Trosa (dir.)
2009
Économie sociale et solidaire
De nouveaux référentiels pour tempérer la crise
Florence Jany-Catrice, Nicolas Matyjasik et Philippe Mazuel (dir.)
2014
L’éthique de la gestion publique
Stratégies nationales et internationales de prévention de la corruption
Marcel Guenoun et Jean-François Adrian (dir.)
2016
Économie sociale et solidaire et État
À la recherche d’un partenariat pour l’action
Jean-Claude Barbier (dir.)
2017
L’avenir des administrations locales en Europe
Leçons tirées de la recherche et de la pratique dans 31 pays
Geert Bouckaert, Sabine Kuhlmann et Christian Schwab (dir.)
2018
Faire preuve par le chiffre ?
Le cas des expérimentations aléatoires en économie
Arthur Jatteau
2020
Encyclopédie du management public
Manel Benzerafa-Alilat, Danièle Lamarque et Gérald Orange (dir.)
2022