Jusqu’alors réduite à mesurer l’efficacité de l’action publique, l’évaluation des politiques publiques est désormais une exigence démocratique. Pour autant, dans un paysage institutionnel complexe où de nombreuses compétences sont imbriquées, quels peuvent en être son champ, ses résultats, ses limites ? Quels éléments de comparaison internationale peuvent éclairer notre action et plus largement, le débat relatif à notre organisation institutionnelle ? C’est à ces questions que cet atelier a tenté de répondre lors du Congrès de Régions de France le 28 septembre 2017 à Orléans, autour d’intervenants provenant du monde économique, de l’administration, d’instances internationales et bien évidemment des Régions.

Avec :

• Virginie Besrest, Secrétaire générale de la Société Française de l’Evaluation et Associée Gérante de Quadrant Conseil;
• Claire Charbit, Responsable de l’unité des dialogues territoriaux de l’OCDE ;
• Stéphane Perrin, Rapporteur général du budget, Région Bretagne ;
• Patrick Tassin, Président du CESER Grand-Est;
• Michel Yahiel, Commissaire général de France Stratégie.

Un atelier animé par Bastien Scordia, journaliste à Acteurs publics.

Comment définir l’évaluation des politiques publiques et quels en sont les contours?

• Il n’existe pas de définition unique de l’évaluation des politiques publiques.
• Pour autant, la définition sur laquelle une majorité d’acteurs s’est accordée et qui est soutenue par la Société française de l’évaluation consiste à considérer que « l’évaluation est un outil d’aide à la décision publique qui vise à apprécier la valeur d’une action, d’une politique publique, d’un programme ou d’un dispositif au regard de ses résultats et de l’intérêt général. »
• Dès lors, les critères d’évaluation les plus communément utilisés sont l’efficacité et l’efficience, ce qui peut induire une proximité avec l’audit de performance.
• En allant au-delà, l’évaluation s’en distingue en interrogeant la pertinence et la cohérence des politiques publiques ou programmes évalués pouvant ainsi conduire à leur remise en cause.

“Pour lutter contre la crise de confiance à laquelle nous sommes confrontés, il faut plus de transparence, de partage de la décision avec les citoyens.”

Patrick Tassin, Président du CESER Grand-Est

 Quels sont les principaux enjeux de l’évaluation des politiques publiques aujourd’hui?

• Ils sont de deux ordres :

1. La contrainte financière qui est désormais une réalité pour l’ensemble des acteurs publics.
2. Une demande croissante des citoyens, vis-à-vis de leurs représentants, afin qu’ils rendent des comptes sur l’action qu’ils mènent.

• Dès lors, cela conduit à s’interroger sur :

1. La solidité et la fiabilité technique et scientifique de l’évaluation qui peuvent la rendre complexe.
2. Le degré d’association de l’ensemble des acteurs concernés à l’élaboration des évaluations.
3. L’accessibilité au plus grand nombre des résultats des évaluations.

 Où en est l’évaluation régionale?

• Dans certaines Régions comme la Région Bretagne, l’évaluation sert énormément, au quotidien, dans la vie de l’institution. Rattachée à la Direction des finances, l’évaluation dans cette Région a même permis de décrisper les relations souvent tendues que l’on connait habituellement entre les directions des finances et les autres directions.

“Pour pouvoir inscrire l’évaluation dès la conception de la politique publique, un changement de culture est nécessaire. L’élu doit accepter de s’entendre dire que sa politique publique ne fonctionne pas et qu’elle doit être modifiée.”

Stéphane Perrin, Rapporteur général du budget, Région Bretagne.

• Selon l’Observatoire de l’évaluation des politiques publiques mis en place par la Société française de l’évaluation et le Secrétariat général pour la modernisation de l’action publique (SGMAP), les Régions sont depuis 2007, les seconds commanditaires d’évaluations. Les principaux thèmes traités sont l’aménagement du territoire et le développement local (30 %) ; la formation professionnelle (22 %) ; le développement économique, l’innovation, l’emploi (22 %) ; l’environnement ; le sport, la culture et la jeunesse (8 %) ; la coopération décentralisée (4 %) ; le transport (1 %).
  

  “Sur les évaluations des politiques nationales, il y a une bonne méthode qui s’est s’imposée qui est celle de l’étude d’impact. Cela serait tout à fait transposable aux Régions, sur quelques délibérations majeures par exemple. ”

  Michel Yahiel, Commissaire général de France Stratégie

• Les Régions ont donc joué un rôle historique dans le développement de l’évaluation en France.
• Mais depuis 1 ou 2 ans, hormis ce qui est obligatoire, les travaux d’évaluation des Régions ont considérablement chuté.
• Bien évidemment, la mise en œuvre de la réforme territoriale a pu contribuer à ce ralentissement. Mais il peut s’agir dans certains cas d’un choix politique.
• Une autre question est celle de la formation. Si certaines Régions ont mis en place des cycles de formation, notamment à destination des agents, leur hiérarchie, les élu(e)s et au-delà, les médias, restent des publics assez hermétiques.

 Quelles sont les difficultés rencontrées ?

• Aujourd’hui, l’évaluation a tendance à n’être actionnée que pour sanctionner ou récompenser (exemple : UE vis-à-vis des Etats membres).
• Dans ce cas de figure, elle ne peut répondre aux véritables besoins et attentes des citoyens, ce qui peut expliquer qu’ils s’en désintéressent.
• Par ailleurs, on ne peut pas penser l’évaluation sans prendre en compte le contexte institutionnel. Savoir qui fait quoi et avec quels moyens est un élément crucial.
• D’autre part, lorsque les politiques publiques régionales sont définies, elles peuvent l’être sans bases ni objectifs véritablement clairs. Dans ce cas, l’évaluation devient quasiment impossible.
• Autre difficulté : si les Régions sont plutôt bien outillées pour évaluer l’efficience et l’efficacité d’une politique publique, elles ne disposent pas toujours d’éléments objectifs pour en évaluer la cohérence et la pertinence, ce qui se traduit par des réponses parfois radicales telles que le « coup de rabot » ou la suppression. La culture de la pièce comptable, au détriment de celle de la donnée, reste très prégnante au sein des Régions. D’ailleurs, en découle souvent la très grande difficulté d’y collecter de la donnée qui est aujourd’hui peu sécurisée, peu structurée et peu homogénéisée.
• Enfin, plus largement, un changement de culture est nécessaire car les élu(e)s ont encore beaucoup de difficulté à accepter la remise en cause des politiques publiques qu’ils portent.
• De la même manière, au regard de l’enchevêtrement et de la complexité des politiques publiques, il est nécessaire de faire admettre à nos concitoyens que l’évaluation ne peut répondre à toutes les questions qui se posent (Exemple : combien d’emplois créés pour 1 euro dépensé ?).

 

Quelles sont les pistes d’amélioration de l’évaluation en France et tout particulièrement dans les Régions ? 

• Pour les Ceser, l’évaluation doit permettre de lutter contre la crise de confiance qui touche aujourd’hui tous les acteurs publics. En ce sens, ils se sont donc pleinement emparés des nouvelles dispositions législatives qui prévoient – au-delà des avis qu’ils émettent – qu’ils contribuent à l’évaluation des politiques régionales. Pour autant, les Ceser ne sont pas devenus des évaluateurs. L’objectif est d’y travailler de concert avec les Conseil régionaux et de cibler les politiques publiques stratégiques.
• Au niveau des politiques nationales, s’impose peu à peu le principe de l’étude d’impact qui implique une évaluation ex-ante (Exemple : CICE, Loi dites Macron, Ordonnances sur la Loi travail, etc.). Cette pratique pourrait être transposée, au moins pour quelques délibérations majeures, au niveau régional. Ce qui implique de prévoir en amont des dispositifs techniques, académiques, de conseil, de la Région, pour découper le travail de manière autonome.

 

“Pour l’élu, le problème de l’évaluation est que son champ temporel est trop long. Il faut donc que nous parvenions à réduire le temps de réalisation de l’évaluation et des livrables pour qu’ils soient appropriables plus rapidement. Pour se faire, il faut sécuriser, structurer et homogénéiser la donnée en amont, ce qui est un vrai chantier.”

Virginie Besrest, Secrétaire générale de la Société Française de l’Evaluation et Associée Gérante de Quadrant Conseil.

• L’évaluation ex-ante étant l’une des garanties de la réussite d’une évaluation, il conviendrait, pour les Régions, de se doter d’un dispositif à deux niveaux :

1. Un niveau technique composé de techniciens et d’experts susceptibles de dialoguer avec les évaluateurs tout en assurant le lien avec les politiques
2. Un niveau politique composé d’élu(e)s qui doivent être associés et se sentir en confiance avec la méthode adoptée.

• Il n’en demeure pas moins que pour les élu(e)s, le champ temporel de l’évaluation reste trop long.
• Il est essentiel que l’évaluation soit aussi un outil d’apprentissage qui passe de la verticalité (Cf. demandes de l’Europe) à plus d’horizontalité.

 “L’évaluation des politiques publiques, ça n’est pas simplement évaluer ce que l’on fait, c’est aussi évaluer où on le fait. Il s’agit là d’identifier les territoires prioritaires et faire accepter des choix en faveur de certains d’entre eux. ”

Claire Charbit, Responsable de l’unité des dialogues territoriaux de l’OCDE

• Il est donc nécessaire de travailler sur des indicateurs mutuellement utiles (entre les collectivités territoriales et l’Etat et entre les collectivités territoriales entre elles) (Exemple : en Norvège, les indicateurs COSTRA visent à évaluer les publiques décentralisée des communes permettant ainsi le partage d’expériences. Plus que du « benchmarking », il s’agit là de « benchlearning ». Si l’outil d’évaluation ne sert pas à apprendre, il est fatalement inapproprié.
• S’agissant de l’accessibilité des évaluations, il faut sortir de la vision impériale de l’évaluation et travailler à leur représentation, notamment via des infographies qui doivent pousser les lecteurs à vouloir aller plus loin.
• Réussir cette accessibilité et l’appropriation des évaluations se posent aussi au moment de leur élaboration où l’ensemble des acteurs concernés, à commencer par les usagers, doivent être associés. Si cela implique d’y consacrer du temps et faire preuve d’une plus grande ouverture d’esprit, cela s’avère de plus en plus indispensable pour les Régions qui évoluent au gré des réformes, vers des collectivités plus opérationnelles, alors qu’elles n’étaient jusqu’alors que des collectivités stratèges (Exemple : derniers transferts de compétences en matière de transports scolaires et transports interurbains).

Echanges avec la salle 

Eric Breton (Directeur d’études de l’Anateep): “au regard de la complexité des transports scolaires, une évaluation pluraliste serait utile qui pourrait s’appuyer sur la mise en place d’observatoires régionaux du transport scolaire”.

Marie-Claude Briet-Clemont (Ceser Grand Est) : “l’évaluation, c’est un processus qui doit non seulement permettre de comprendre et mettre une lumière sur les résultats, les effets, les impacts mais aussi, pour le citoyen, de comprendre ce qu’est l’action publique, avec l’ensemble du cylcle de l’action publique”.

 Thierry Perreau (Conseiller régional de Nouvelle-Aquitaine): “les échanges transfontaliers sont aussi très intéressants car ils permettent de voir ce qui se passe dans les autres Régions”.