Intervention de Rozenn Desplatz

Je rappellerai en préambule quelques définitions et notre positionnement car la notion d'évaluation des politiques publiques prête parfois à confusion. Il n'existe pas de définition unique, gravée dans le marbre, mais plusieurs définitions sont apparues au fil des rapports : du rapport de Patrick Viveret en 1989 à celui, plus récent, du CESE en 2015.

La définition de l'évaluation des politiques publiques adoptée par France Stratégie est circonscrite car nous cherchons à mesurer les effets de ces politiques. C'est la raison pour laquelle nous parlons d'évaluation « d'impact » des politiques publiques : nous cherchons à savoir si la politique a atteint ses objectifs – critère d'efficacité – et si elle aurait pu le faire à un coût inférieur – critère d'efficience.

Habituellement, on distingue trois types d'évaluations des politiques publiques : l'évaluation ex ante est réalisée avant la mise en oeuvre de la politique pour en simuler les effets – les études d'impact préalables aux projets de loi, au sens de la loi organique d'avril 2009, relèvent de cette catégorie. L'évaluation à mi-parcours, dite « chemin faisant » ou « in itinere », est réalisée durant le déploiement de la politique et permet de vérifier qu'elle est conforme à ce qui était attendu. L'évaluation ex post se déroule une fois que la politique a été déployée et qu'elle commence à produire des effets : on cherche alors à mesurer ses effets réels.

À chaque type d'évaluation correspondent des outils particuliers d'évaluation. L'évaluation ex ante nécessite des modèles macroéconomiques ou des outils de microsimulation. Pour les bilans à mi-parcours, on utilise des outils de suivi ou du monitoring. L'évaluation ex post fait appel à des méthodes plus statistiques et empiriques et repose sur la notion de « contrefactuel » : il s'agit de mesurer la situation qui aurait prévalu sans la politique ou le dispositif, afin d'évaluer ensuite l'effet et la plus-value de cette politique. Ces méthodes sont mises en oeuvre par des universitaires.

France Stratégie est spécialisée dans ce dernier type d'évaluation des politiques publiques. Nous menons actuellement quatre évaluations. Comment se déroulent-elles ? La pratique est désormais établie. Le bon déroulement des évaluations repose sur le respect de quatre principes : en premier lieu, l'implication des parties prenantes dans les commissions est importante, plus particulièrement lorsqu'il s'agit de discuter des questions évaluatives puis des résultats.

En deuxième lieu, nous recourons à des chercheurs et mobilisons souvent plusieurs équipes qui travaillent en parallèle. Cela nous permet de disposer de résultats robustes et de compléter les résultats quantitatifs par des analyses plus qualitatives.

En troisième lieu, nous organisons toujours une contre-expertise avec d'autres chercheurs. Cette contre-expertise a lieu dans d'autres instances – instances techniques de pilotage – au sein desquelles les chercheurs et les services producteurs de données travaillent ensemble. Cela nous permet de disposer d'une double compétence – sur les méthodes et sur les données.

Dernier élément important, la transparence : cela recouvre la transparence des processus et des méthodes employées par les chercheurs – nous soulignons leurs avantages, mais aussi leurs limites – mais implique également la publication systématique de l'ensemble des documents, mis en ligne sur le site de France Stratégie – rapport des commissions, des équipes universitaires et d'expertise.

Quelles sont schématiquement les différentes étapes ? On peut distinguer six étapes, depuis l'installation du comité jusqu'à la communication, en passant par les premiers résultats d'évaluation. La première étape consiste à discuter des questions évaluatives en commission, afin de recenser toutes les questions pertinentes – effets directs, bénéficiaires, effets potentiellement pervers, effets micro et macroéconomiques – et les sources d'information existantes. Cette étape prend un à quelques mois.

La deuxième étape est constituée par le lancement des appels à idées et à projets de recherche. Qu'est-ce qu'un appel à idées ? Il s'agit de compléter ce que nous avons conclu en commission, en sensibilisant la communauté académique et en la consultant sur les dimensions pertinentes d'analyse, les méthodes et les données. Nous lançons ensuite un appel à projets de recherche afin d'organiser la mise en concurrence et de sélectionner les meilleures équipes, dans l'année qui suit.

La troisième étape est la plus longue. Lorsque nous avons sélectionné les équipes, nous les accompagnons et les suivons en continu dans le cadre de comités de pilotage technique. Durant cette étape, les travaux d'évaluation sont produits et analysés en plusieurs phases, en général au début, au milieu et à la fin. Cette étape peut durer jusqu'à deux ans. Nous disposerons alors de premiers résultats robustes.

Les travaux produits par les chercheurs ou les administrations sont ensuite discutés en présence des équipes en commission. Puis vient l'étape de rédaction de l'avis et du rapport par les rapporteurs de France Stratégie. Ces rapports sont très concis, clairs et pédagogiques, tout en étant rigoureux. Il en est de même pour la communication qui intervient ensuite.

Quatre évaluations de politiques publiques sont actuellement menées par quatre commissions de France Stratégie : une commission sur le crédit d'impôt pour la compétitivité et l'emploi (CICE) ; le Comité de suivi et d'évaluation des aides publiques aux entreprises (COSAPE) ; la Commission nationale d'évaluation des politiques d'innovation (CNEPI) et le comité des « ordonnances travail ».

Le dispositif le plus original est sans doute celui du CICE, puisqu'il a été créé par la loi. Ce comité comprend à la fois des partenaires sociaux, des parlementaires, des représentants des administrations et des chercheurs. Il a été installé en juillet 2013. La loi prévoyait la remise annuelle d'un rapport au Parlement avant le dépôt du projet de loi de finances à l'Assemblée nationale : depuis sa création en juillet 2013, le comité a donc produit cinq rapports.

Son mandat ayant ensuite été étendu à l'ensemble des aides publiques aux entreprises, il est devenu COSAPE en novembre 2014. Il a produit un rapport en 2017 sur les allégements généraux de cotisations sociales sur les bas salaires.

La CNEPI a été créée dans le cadre de la mise en oeuvre du plan gouvernemental « Nouvelle donne pour l'innovation » et installée en juin 2014. À la différence des deux premiers comités, elle ne comprend pas de partenaires sociaux, ni de parlementaires. Elle a défini un programme de travail pluriannuel. Elle a produit un état des lieux sur la politique d'innovation en France début 2016. Début 2017, elle a émis un avis sur la politique des pôles de compétitivité. Un avis sur le dispositif du crédit impôt recherche (CIR) est prévu pour avril 2018.

Ces trois premiers comités sont présidés par le commissaire de France Stratégie.

Le dernier, et le plus récent, est le comité des « ordonnances travail », créé suite à une demande de la ministre du travail, exprimée dans une lettre de mission envoyée au commissaire. La présidence en a été confiée à trois personnalités qualifiées et la coordination aux administrations – dont France Stratégie. Ce comité a été installé en novembre 2017 et a publié un mois plus tard une note d'étape précisant ses modalités d'évaluation et son calendrier. Les premières publications sont attendues à l'automne 2018.

Comment cela se passe-t-il concrètement ? Je prendrai l'exemple du CICE : il est entré en vigueur le 1er janvier 2013 et le comité a été installé en juillet 2013. Il a produit cinq rapports, dont le premier dès octobre 2013, recensant les questions évaluatives et les sources de données. Les rapports 2014 et 2015 comprenaient surtout des éléments de suivi – coût du dispositif, montée en charge, taux de recours, caractéristiques des entreprises bénéficiaires.

À partir de 2016, les rapports contenaient de premiers résultats d'évaluation – celui de septembre 2016 pour la période 2013-2014 et celui d'octobre 2017 pour 2013-2015 – basés sur différents matériaux – auditions en réunion plénière, éléments de suivi fournis par les administrations (Institut national de la statistique et des études économiques - INSEE, direction générale des Finances publiques – DGFIP, Agence centrale des organismes de sécurité sociale – ACOSS et Bpifrance sur le pré-financement) et travaux d'évaluation réalisés par les équipes de recherche sélectionnées et par certaines administrations capables d'en produire – INSEE, DARES, France Stratégie.

Pour votre bonne information, vous trouverez dans le document la liste des travaux conduits dans le cadre de l'évaluation du CICE. Sept équipes ont travaillé sur le sujet : trois équipes universitaires sélectionnées par appel à projet de recherche – l'équipe de la Fédération travail emploi et politiques publiques (TEPP) du CNRS, dirigée par Yannick L'Horty, celle du Laboratoire interdisciplinaire d'évaluation des politiques publiques (LIEPP), dirigée par Clément Carbonnier, et celle de l'Observatoire français des conjonctures économiques (OFCE) dirigé par Sarah Guillou –, l'Institut de recherches économiques et sociales (IRES) était attributaire d'un appel à projets plus qualitatif, également suivi par la direction de l'animation de la recherche, des études et des statistiques (DARES) du ministère du travail ; enfin les administrations ont elles-mêmes contribué à l'évaluation – INSEE, DARES et France Stratégie.