Nous recevons M. Gilles de Margerie, commissaire général de France Stratégie, et Mme Rozenn Desplatz, experte référente pour l'évaluation des politiques publiques. En préambule, je vous rappelle que le rapport de Mme Valérie Petit et M. Pierre Morel-à-l'Huissier sur l'évaluation des dispositifs d'évaluation des politiques publiques sera présenté à 11 heures au comité d'évaluation et de contrôle (CEC). Cette publicité n'est pas complètement gratuite, puisque ce rapport reprend certaines préconisations formulées par notre groupe de travail, ainsi que celles du rapport de Régis Juanico, concernant la réorganisation du temps parlementaire, les semaines de contrôle et la loi de règlement.

Au regard des objectifs de notre groupe de travail ce semestre, je citerai un paragraphe de la page soixante-deux du rapport : « l'ensemble des intervenants aux tables rondes animées par les rapporteurs sont tombés d'accord sur la nécessité de doter le Parlement d'une structure de recherche et d'étude autonome. Cette structure doit être en mesure d'apporter au Parlement des compétences humaines et des moyens financiers pour qu'il dispose de la capacité d'évaluer les politiques publiques de manière indépendante et qu'il occupe ainsi une place charnière entre l'évaluation et la prise de décision ». Les rapporteurs poursuivent en indiquant qu'ils proposent « de doter le Parlement d'une agence d'évaluation sur laquelle les instances chargées d'une mission d'évaluation – par exemple, à l'Assemblée nationale, les commissions, le CEC, etc. – auraient un droit de tirage. Cette proposition permettrait d'établir une séparation entre l'évaluateur – l'agence en question – et le commanditaire – l'instance parlementaire qui a passé commande. ».

Les conclusions de ce rapport justifient pleinement notre travail et l'audition de ce jour qui doivent nous permettre de définir ce que pourraient être les outils d'expertise du Parlement.

France Stratégie, ou plus exactement aux termes du décret du 22 avril 2013 qui le crée, le Commissariat général à la stratégie et à la prospective, a succédé au Centre d'analyse stratégique, lui-même héritier du Commissariat général au plan.

Aux termes de l'article 1er de ce décret, France Stratégie apporte son concours au Gouvernement pour la détermination des grandes orientations de l'avenir de la Nation et des objectifs à moyen et long termes de son développement économique, social, culturel et environnemental, ainsi que pour la préparation des réformes décidées par les pouvoirs publics. Il est notamment chargé de conduire des travaux de prospective et d'études stratégiques et de participer à l'évaluation des politiques publiques.

Monsieur le commissaire général, je vais maintenant vous laisser la parole pour que, en vous aidant d'un Powerpoint, vous nous présentiez l'institution que vous dirigez, puis les députés présents, et tout d'abord notre rapporteur, Jean-François Eliaou, engageront le débat avec vous.

Notre présentation comportera trois parties : je présenterai France Stratégie en quelques mots. Rozenn Desplatz, notre experte référente en matière d'évaluation, présentera nos travaux et nos méthodes d'évaluation. Puis je conclurai sur les enseignements que nous pouvons tirer de l'analyse de notre activité.

Vous l'avez rappelé, France Stratégie est le successeur du Commissariat général au Plan, créé après la seconde guerre mondiale, dans un contexte de reconstruction du pays, afin de gérer le plan Marshall. Le Commissariat au Plan était donc initialement une instance dotée d'une très forte dimension opérationnelle : les investissements dans les infrastructures étaient considérables, le secteur public extrêmement large. De ce fait, les travaux du Commissariat au Plan contribuaient de manière très importante à la programmation effective des grands investissements.

Puis, le poids des infrastructures dans les grands investissements a diminué, les règles du Marché commun se sont graduellement imposées, les chocs pétroliers ont rendu les prévisions plus difficiles. Au début des années quatre-vingt-dix, la logique de planification est graduellement tombée en désuétude, sans qu'on la supprime formellement.

La création de France Stratégie est issue de la volonté des pouvoirs publics de continuer à disposer d'un instrument prospectif afin d'éclairer les choix publics de moyen et long termes, l'accent étant plutôt mis sur le long terme. En quelques années, nous avons publié de nombreux rapports. Leur impact a été important, ils ont gagné une audience considérable – nos documents sont massivement téléchargés et lus depuis le site – et nous en sommes extrêmement satisfaits.

Quel est notre rôle dans ce réseau que l'on appelle France Stratégie ? Nous sommes responsables de son animation et de la gestion des moyens des sept institutions qui le composent : le Conseil d'analyse économique, le Conseil d'orientation des retraites, le Conseil d'orientation pour l'emploi, trois Hauts conseils liés au ministère des solidarités et de la santé – celui pour l'avenir de l'assurance maladie, celui pour le financement de la protection sociale et celui de la famille, de l'enfance et de l'âge, ce dernier réunissant d'ailleurs trois conseils en son sein –, le centre d'études prospectives et d'informations internationales (CEPII) – institut de recherche universitaire – et la plateforme Responsabilité sociétale des entreprises (RSE) depuis 2013. Par ailleurs, la réforme de notre décret constitutif de 2013 en 2017 nous charge d'accueillir le Conseil national de la productivité, instance qui va être créée dans les prochaines semaines, en application d'une recommandation de septembre 2016 du Conseil européen.

Ces Conseils nationaux de productivité doivent être créés dans tous les pays de la zone Euro. Les pays membres de l'Union européenne et non membres de la zone Euro peuvent également en créer. Ils ont vocation à produire un rapport annuel, soumis à la revue des partenaires sociaux et de toutes les parties prenantes.

Notre organisation interne est extrêmement simple. France Stratégie est composée de quatre départements sectoriels : Économie ; Développement durable et numérique ; Travail, emploi, compétences ; Société et politiques sociales. Je dirige France Stratégie avec Fabrice Lenglart, commissaire général adjoint, et l'appui d'une secrétaire générale, Véronique Fouque. Notre département Édition-Communication-Évènements est important car un des points forts de France Stratégie est lié au rayonnement de nos travaux, que nous nous efforçons de rendre accessibles. Cela fonctionne : 900 000 visiteurs uniques se sont connectés à notre site en 2017 et nous avons dépassé les deux millions de pages vues.

Quelles sont les missions de France Stratégie ? La première est liée à l'analyse prospective, qui peut aboutir à des propositions. Cette mission existe depuis la création du Plan et nous avons récemment relancé un de nos grands exercices de prospective : la prospective des métiers et des qualifications. Ce travail très lourd, mais très utile, est réalisé à partir de projections sectorielles et permet de donner des estimations raisonnablement fiables, secteur par secteur, de ce que seront les recrutements. Le document final fait près de quatre cents pages et il a été téléchargé plus de 30 000 fois sur notre site – c'est un de nos grands succès de librairie virtuelle !

Entre avril 2016 et janvier 2017, nous avons par ailleurs réalisé un exercice caractéristique et structuré de prospective : nous avons publié treize notes d'enjeux et quatorze actions critiques dans le cadre du projet « 17-27 ». Il s'agissait de donner à tous ceux qui souhaitaient s'en emparer un instrument d'analyse dans le contexte de la campagne électorale. Ces documents ont été complétés par un rapport important « Lignes de faille-une société à réunifier », auquel beaucoup d'acteurs se sont référés pendant cette période.

La deuxième mission de France Stratégie n'est pas nouvelle : le commissariat au Plan, puis les institutions qui lui ont succédé, ont toujours été un lieu important du dialogue social en France. Les organisations syndicales ont l'habitude de venir à France Stratégie. Deux exemples l'illustrent parfaitement : à la demande de la ministre du travail, nous avons hébergé la concertation sur l'apprentissage. Le groupe de travail, très actif, était dirigé par Sylvie Brunet, membre du Conseil économique, social et environnemental (CESE) et disposait de notre appui. Nous intervenons actuellement dans le cadre du comité de suivi mis en place sur le volet « Agents publics » d'Action Publique 2022. Dans ce cadre, nous avons réalisé un compte rendu de la révision générale des politiques publiques (RGPP) et de la modernisation de l'action publique (MAP) et entamons un cycle d'auditions avec les organisations professionnelles et les employeurs de la fonction publique.

Dernière mission – c'est votre principal sujet d'intérêt : l'évaluation. Nous effectuons deux types d'évaluation : des évaluations des politiques publiques – prévues par la loi ou à la demande d'un ministère – mais également des évaluations socio-économiques des investissements publics. Dans ce dernier cas, nous mesurons l'impact et les bénéfices socio-économiques attendus.

Quels moyens consacrons-nous à l'évaluation ? 2 millions d'euros sur un budget total – réseau inclus – d'environ 22 millions d'euros, dont 11 millions pour France Stratégie stricto sensu. Sur ces 2 millions, 1,6 concerne l'évaluation des politiques publiques et 0,4 million les analyses des investissements.

L'évaluation des politiques publiques est très majoritairement réalisée ex post et, par tradition, nous avons maintenu l'évaluation des projets d'infrastructures d'énergie ou de transport, car nous disposons d'un réel savoir-faire en matière de calculs socio-économiques.

Rozenn Desplatz est responsable à temps plein de l'évaluation au sein du département Économie de France Stratégie. Elle est en conséquence porteuse de l'expertise dans ce domaine et mobilise également des personnes à temps partiel dans nos autres départements. Au total 7,4 équivalents temps plein (ETP) travaillent sur ces questions à France Stratégie.

Je rappellerai en préambule quelques définitions et notre positionnement car la notion d'évaluation des politiques publiques prête parfois à confusion. Il n'existe pas de définition unique, gravée dans le marbre, mais plusieurs définitions sont apparues au fil des rapports : du rapport de Patrick Viveret en 1989 à celui, plus récent, du CESE en 2015.

La définition de l'évaluation des politiques publiques adoptée par France Stratégie est circonscrite car nous cherchons à mesurer les effets de ces politiques. C'est la raison pour laquelle nous parlons d'évaluation « d'impact » des politiques publiques : nous cherchons à savoir si la politique a atteint ses objectifs – critère d'efficacité – et si elle aurait pu le faire à un coût inférieur – critère d'efficience.

Habituellement, on distingue trois types d'évaluations des politiques publiques : l'évaluation ex ante est réalisée avant la mise en oeuvre de la politique pour en simuler les effets – les études d'impact préalables aux projets de loi, au sens de la loi organique d'avril 2009, relèvent de cette catégorie. L'évaluation à mi-parcours, dite « chemin faisant » ou « in itinere », est réalisée durant le déploiement de la politique et permet de vérifier qu'elle est conforme à ce qui était attendu. L'évaluation ex post se déroule une fois que la politique a été déployée et qu'elle commence à produire des effets : on cherche alors à mesurer ses effets réels.

À chaque type d'évaluation correspondent des outils particuliers d'évaluation. L'évaluation ex ante nécessite des modèles macroéconomiques ou des outils de microsimulation. Pour les bilans à mi-parcours, on utilise des outils de suivi ou du monitoring. L'évaluation ex post fait appel à des méthodes plus statistiques et empiriques et repose sur la notion de « contrefactuel » : il s'agit de mesurer la situation qui aurait prévalu sans la politique ou le dispositif, afin d'évaluer ensuite l'effet et la plus-value de cette politique. Ces méthodes sont mises en oeuvre par des universitaires.

France Stratégie est spécialisée dans ce dernier type d'évaluation des politiques publiques. Nous menons actuellement quatre évaluations. Comment se déroulent-elles ? La pratique est désormais établie. Le bon déroulement des évaluations repose sur le respect de quatre principes : en premier lieu, l'implication des parties prenantes dans les commissions est importante, plus particulièrement lorsqu'il s'agit de discuter des questions évaluatives puis des résultats.

En deuxième lieu, nous recourons à des chercheurs et mobilisons souvent plusieurs équipes qui travaillent en parallèle. Cela nous permet de disposer de résultats robustes et de compléter les résultats quantitatifs par des analyses plus qualitatives.

En troisième lieu, nous organisons toujours une contre-expertise avec d'autres chercheurs. Cette contre-expertise a lieu dans d'autres instances – instances techniques de pilotage – au sein desquelles les chercheurs et les services producteurs de données travaillent ensemble. Cela nous permet de disposer d'une double compétence – sur les méthodes et sur les données.

Dernier élément important, la transparence : cela recouvre la transparence des processus et des méthodes employées par les chercheurs – nous soulignons leurs avantages, mais aussi leurs limites – mais implique également la publication systématique de l'ensemble des documents, mis en ligne sur le site de France Stratégie – rapport des commissions, des équipes universitaires et d'expertise.

Quelles sont schématiquement les différentes étapes ? On peut distinguer six étapes, depuis l'installation du comité jusqu'à la communication, en passant par les premiers résultats d'évaluation. La première étape consiste à discuter des questions évaluatives en commission, afin de recenser toutes les questions pertinentes – effets directs, bénéficiaires, effets potentiellement pervers, effets micro et macroéconomiques – et les sources d'information existantes. Cette étape prend un à quelques mois.

La deuxième étape est constituée par le lancement des appels à idées et à projets de recherche. Qu'est-ce qu'un appel à idées ? Il s'agit de compléter ce que nous avons conclu en commission, en sensibilisant la communauté académique et en la consultant sur les dimensions pertinentes d'analyse, les méthodes et les données. Nous lançons ensuite un appel à projets de recherche afin d'organiser la mise en concurrence et de sélectionner les meilleures équipes, dans l'année qui suit.

La troisième étape est la plus longue. Lorsque nous avons sélectionné les équipes, nous les accompagnons et les suivons en continu dans le cadre de comités de pilotage technique. Durant cette étape, les travaux d'évaluation sont produits et analysés en plusieurs phases, en général au début, au milieu et à la fin. Cette étape peut durer jusqu'à deux ans. Nous disposerons alors de premiers résultats robustes.

Les travaux produits par les chercheurs ou les administrations sont ensuite discutés en présence des équipes en commission. Puis vient l'étape de rédaction de l'avis et du rapport par les rapporteurs de France Stratégie. Ces rapports sont très concis, clairs et pédagogiques, tout en étant rigoureux. Il en est de même pour la communication qui intervient ensuite.

Quatre évaluations de politiques publiques sont actuellement menées par quatre commissions de France Stratégie : une commission sur le crédit d'impôt pour la compétitivité et l'emploi (CICE) ; le Comité de suivi et d'évaluation des aides publiques aux entreprises (COSAPE) ; la Commission nationale d'évaluation des politiques d'innovation (CNEPI) et le comité des « ordonnances travail ».

Le dispositif le plus original est sans doute celui du CICE, puisqu'il a été créé par la loi. Ce comité comprend à la fois des partenaires sociaux, des parlementaires, des représentants des administrations et des chercheurs. Il a été installé en juillet 2013. La loi prévoyait la remise annuelle d'un rapport au Parlement avant le dépôt du projet de loi de finances à l'Assemblée nationale : depuis sa création en juillet 2013, le comité a donc produit cinq rapports.

Son mandat ayant ensuite été étendu à l'ensemble des aides publiques aux entreprises, il est devenu COSAPE en novembre 2014. Il a produit un rapport en 2017 sur les allégements généraux de cotisations sociales sur les bas salaires.

La CNEPI a été créée dans le cadre de la mise en oeuvre du plan gouvernemental « Nouvelle donne pour l'innovation » et installée en juin 2014. À la différence des deux premiers comités, elle ne comprend pas de partenaires sociaux, ni de parlementaires. Elle a défini un programme de travail pluriannuel. Elle a produit un état des lieux sur la politique d'innovation en France début 2016. Début 2017, elle a émis un avis sur la politique des pôles de compétitivité. Un avis sur le dispositif du crédit impôt recherche (CIR) est prévu pour avril 2018.

Ces trois premiers comités sont présidés par le commissaire de France Stratégie.

Le dernier, et le plus récent, est le comité des « ordonnances travail », créé suite à une demande de la ministre du travail, exprimée dans une lettre de mission envoyée au commissaire. La présidence en a été confiée à trois personnalités qualifiées et la coordination aux administrations – dont France Stratégie. Ce comité a été installé en novembre 2017 et a publié un mois plus tard une note d'étape précisant ses modalités d'évaluation et son calendrier. Les premières publications sont attendues à l'automne 2018.

Comment cela se passe-t-il concrètement ? Je prendrai l'exemple du CICE : il est entré en vigueur le 1er janvier 2013 et le comité a été installé en juillet 2013. Il a produit cinq rapports, dont le premier dès octobre 2013, recensant les questions évaluatives et les sources de données. Les rapports 2014 et 2015 comprenaient surtout des éléments de suivi – coût du dispositif, montée en charge, taux de recours, caractéristiques des entreprises bénéficiaires.

À partir de 2016, les rapports contenaient de premiers résultats d'évaluation – celui de septembre 2016 pour la période 2013-2014 et celui d'octobre 2017 pour 2013-2015 – basés sur différents matériaux – auditions en réunion plénière, éléments de suivi fournis par les administrations (Institut national de la statistique et des études économiques - INSEE, direction générale des Finances publiques – DGFIP, Agence centrale des organismes de sécurité sociale – ACOSS et Bpifrance sur le pré-financement) et travaux d'évaluation réalisés par les équipes de recherche sélectionnées et par certaines administrations capables d'en produire – INSEE, DARES, France Stratégie.

Pour votre bonne information, vous trouverez dans le document la liste des travaux conduits dans le cadre de l'évaluation du CICE. Sept équipes ont travaillé sur le sujet : trois équipes universitaires sélectionnées par appel à projet de recherche – l'équipe de la Fédération travail emploi et politiques publiques (TEPP) du CNRS, dirigée par Yannick L'Horty, celle du Laboratoire interdisciplinaire d'évaluation des politiques publiques (LIEPP), dirigée par Clément Carbonnier, et celle de l'Observatoire français des conjonctures économiques (OFCE) dirigé par Sarah Guillou –, l'Institut de recherches économiques et sociales (IRES) était attributaire d'un appel à projets plus qualitatif, également suivi par la direction de l'animation de la recherche, des études et des statistiques (DARES) du ministère du travail ; enfin les administrations ont elles-mêmes contribué à l'évaluation – INSEE, DARES et France Stratégie.

Quels enseignements peut-on tirer de nos premiers travaux ? Nous rencontrons certaines difficultés opérationnelles. Il n'est pas toujours facile d'accéder aux données : il faut du temps pour les produire – vous l'avez vu pour le CICE. On peut espérer un raccourcissement des délais de production de certaines données dans les prochaines années. Par ailleurs, il faut prendre de grandes précautions avec le secret statistique. Enfin, certaines administrations doivent s'accoutumer à l'idée de partager leurs données avec des services extérieurs – même s'ils sont publics…

En outre, une évaluation de type scientifique est longue. D'une part, l'obtention puis le traitement des données peuvent prendre plusieurs années. D'autre part, les résultats des politiques ne sont pas toujours visibles de suite. Je prendrai un exemple : nous avons récemment publié un document sur les pôles de compétitivité. Il souligne que les entreprises impliquées dépensent plus en recherche et développement que les autres, mais nous ne sommes pas encore en mesure d'indiquer si ces dépenses ont un impact sur leur croissance, leur capacité à exporter ou l'emploi. Cette politique mettra probablement plusieurs années à produire ses effets.

En conséquence, ces évaluations se déroulent sur un temps long, ce qui est frustrant pour tout le monde. Un deuxième aspect peut également entraîner de la frustration : ces évaluations sont réalisées avec le souci de la précision et de l'objectivité. Nous prenons toutes les précautions possibles – appels à projets de chercheurs, contre-expertise, implication de l'ensemble des acteurs. En conséquence, quelquefois, le résultat est extrêmement nuancé, au point d'être frustrant pour les parties prenantes qui préféreraient que l'on puisse affirmer plus clairement le succès ou l'échec d'une politique publique. On est assez souvent dans un entre-deux – effets positifs, effets incertains, échecs. Le tableau ainsi décrit n'est pas toujours facile à utiliser pour le décideur public, mais c'est la contrepartie d'une démarche rigoureuse et aussi scientifique que possible.

Quels sont nos points forts ? Même si nous consacrons des moyens limités à ces évaluations ex post, elles sont un vrai succès. En France, il existe de nombreuses évaluations des politiques publiques – corps d'inspection, Cour des comptes, rapports faits à la demande de l'Assemblée nationale ou du Sénat, organismes privés. Mais notre démarche est originale : nous faisons appel à des équipes universitaires d'excellent niveau, dotées d'une réelle expertise académique sur les méthodes d'évaluation les plus sophistiquées et le traitement des données. Les réunions que nous organisons permettent par ailleurs la confrontation régulière de tous acteurs. Même s'ils sont souvent très nuancés, nos résultats sont reconnus comme robustes et objectifs. Ils constituent donc une base de travail sérieuse et légitime pour l'ensemble des parties prenantes. Cela fait partie de la vocation de France Stratégie et nous en sommes très fiers. Nous voulons développer ces évaluations qui constituent un de nos points forts.

Je vous remercie de vos interventions qui illustrent les capacités très importantes de France Stratégie. Sans rentrer dans le détail de vos moyens financiers et humains, on peut s'étonner de la faiblesse de ceux qui sont consacrés à l'évaluation.

Vous n'avez pas développé d'outils d'évaluation ex ante ni chemin faisant. Or, il nous semble important de pouvoir nous appuyer sur de tels outils. Dans le cadre de l'élaboration de la loi de programmation militaire 2019-2025, à laquelle je participe activement en tant que rapporteur pour avis de la commission des lois, nous sommes chemin faisant puisque certaines dispositions du texte nous permettront de déterminer si les sommes importantes qui seront consacrées à la défense sont bien utilisées et quelles sont les possibilités d'investissements futurs, notamment dans le domaine de la dissuasion nucléaire. L'évaluation se fera donc au cours de l'application de la loi de programmation militaire et nécessite non seulement une compétence politique mais également une compétence scientifique.

Nous avons été sollicités pour faire une revue de littérature dans le cadre d'une évaluation ex ante il y a quelques années mais nous n'avons jamais fait d'évaluation ex ante à part entière. Pour réaliser de telles évaluations, il faut utiliser des méthodes de simulation, comprenant à la fois des dimensions macroéconomique et microéconomique, et avoir la capacité de faire des projections budgétaires, éventuellement sur longue période. Le Congressional Budget Office (CBO) du Congrès américain, instrument de référence, a pour principe fondamental de faire des évaluations sur dix ans, prolongées quelquefois sur vingt-cinq à cinquante ans, des conséquences pour les finances publiques d'une décision. Le CBO produit tous les ans entre 600 et 700 avis pour répondre aux demandes que lui adressent les parlementaires de chiffrage de tel ou tel projet ou amendement. Nous ne le faisons pas du tout parce que ce n'est pas dans le champ de nos missions. Comme vous avez pris l'exemple de la loi de programmation militaire, je précise que si nous travaillons dans un champ très large, ce dernier couvre essentiellement les questions économiques, sociales et environnementales – quelquefois technologiques. Nous n'avons pas du tout compétence sur les questions militaires.

Je salue le travail d'évaluation des politiques publiques de France Stratégie. Votre spectre de travail ne concerne pas que l'évaluation des politiques publiques, vos domaines d'expertise sont très variés – allant de l'économie à l'emploi en passant par les questions de protection sociale et de politique familiale, sans oublier la responsabilité sociale des entreprises et la productivité – et beaucoup d'acteurs font de l'évaluation des politiques publiques dans notre pays. Reste que France Stratégie est un acteur qui compte en ce domaine. Vos deux millions d'euros de budget représentent d'ailleurs une somme importante, si on les compare aux moins de 5 millions d'euros que le ministère de l'éducation nationale consacre, sur un budget total de plus de 70 milliards d'euros, à l'évaluation des dispositifs éducatifs.

Comment mieux coordonner l'ensemble du travail d'évaluation des politiques publiques qui est mené dans notre pays, compte tenu de la dispersion des acteurs et de la profusion des publications réalisées aussi bien ex ante qu'ex post ? Comment les moyens de France Stratégie peuvent-ils être les plus complémentaires possible avec ceux du Parlement ? Nous n'avons pas forcément besoin à l'Assemblée nationale de moyens d'expertise supplémentaires : nous pourrions très bien nous appuyer sur certaines de vos expertises même si les parlementaires ne sont plus présents dans les deux derniers comités dont vous assurez la présidence. Dans le cadre de l'évaluation du CICE, par exemple, quelle garantie d'indépendance par rapport à l'exécutif avez-vous été en mesure de fournir ? L'indépendance est en effet pour nous un critère indispensable à l'évaluation des politiques publiques. Il est vrai qu'à la suite de vos différents rapports sur le CICE, la presse a évoqué « un bilan nuancé » du dispositif. Nous souhaitons pour notre part qu'au maximum et le plus souvent possible, les évaluations de politique publique, ex ante et ex post, soient le fruit du travail des parlementaires, que ce soit au Sénat ou à l'Assemblée nationale. Ce qui nous manque aujourd'hui, ce sont plutôt les moyens de mener ce travail.

Je terminerai en soulignant que l'appel à projets pour les chercheurs me paraît être une procédure à reproduire à tous les échelons de l'évaluation.

Quel est le nombre total d'ETP de France Stratégie ? Vous en consacrez 7,4 à l'évaluation. Sachant que France Stratégie a été mobilisée sur quatre projets d'évaluation ambitieux au cours de la période 2013-2017, soit sur un projet par an en moyenne, combien vous faudrait-il d'ETP supplémentaires si l'on voulait doubler le volume de ces évaluations ? Quel est le niveau de qualification et le profil de formation de vos 7,4 ETP ?

Comment se répartit votre budget d'1,6 million d'euros entre les rémunérations et les autres dépenses – qui correspondent notamment à vos commandes extérieures ?

Enfin, pourriez-vous nous donner un exemple d'évaluation qui aurait conclu à un échec patent de la politique publique menée ? Même si vos procédures sont censées garantir l'indépendance de vos évaluations, il se peut que vos équipes intériorisent la contrainte de votre tutelle, ce qui peut entraîner un biais statistique et les conduire à confirmer, plus qu'elles ne le devraient, le bien-fondé des politiques publiques évaluées.

S'agissant de la gouvernance, j'ai eu l'occasion, au cours des dernières semaines, d'avoir un dialogue avec les instances qui nous ressemblent peu ou prou dans d'autres pays. Cette gouvernance est très différente d'un pays à l'autre. Cela va de la nomination par l'exécutif sans contrainte particulière – comme dans le cas de France Stratégie – jusqu'à des conseils dont les membres sont nommés dans des conditions très encadrées, pour un mandat renouvelable ou pas. Les instances de nomination elles-mêmes sont plus ou moins proches de l'exécutif et du législatif. À l'usage, je constate que la reconnaissance de l'indépendance et de la qualité vont beaucoup de pair. Les institutions qui ont fait reconnaître que leurs méthodes étaient rigoureusement suivies et qu'elles ne s'écartaient pas des résultats que ces méthodes procurent, sont reconnues comme légitimes, quelle que soit leur gouvernance. Ce n'est qu'un constat et l'on pourrait considérer comme plus sage de se doter d'un conseil dont les membres auraient un mandat limité dans le temps. À l'usage, je constate cependant qu'il n'y a pas eu de controverse sur l'indépendance des évaluations de politique publique menées ex post par France Stratégie. S'il y a eu des critiques, elles portaient plutôt sur le fait que les conclusions de ces évaluations ressemblaient à des conclusions de chercheur, c'est-à-dire qu'elles étaient précises, nuancées et qu'elles n'étaient pas forcément en ligne avec les attentes d'un public souhaitant savoir si telle politique est bénéfique ou pas et comment corriger le tir. Cela étant, les évaluations que nous fournissons sont considérées comme sérieuses et crédibles et sont prises par l'ensemble des parties prenantes comme une base de départ. La méthode est un élément essentiel des évaluations ex post.

Les choses sont très différentes pour les évaluations ex ante. On constate tout d'abord, dans les institutions qui font ce type d'évaluations, que les contraintes temporelles sont très différentes. Elles s'insèrent dans le calendrier du processus législatif. On parlera donc en jours, quelquefois en un petit nombre de semaines. Quant à nous, nous mettons ce petit nombre de semaines rien que pour organiser la première réunion du comité qui va définir les grilles d'évaluation. Le rythme de l'évaluation ex ante dans un processus législatif suppose de disposer d'équipes qui soient déjà prêtes et dotées d'instruments d'analyse mobilisables à tout moment et qui puissent en quelques heures commencer à travailler sur un sujet, une loi ou un amendement et sur cette base, donner en quelques jours des éléments arrivant suffisamment à temps pour être pertinents et utiles.

Les compétences sont-elles les mêmes ? Les mêmes équipes peuvent-elles faire à la fois de l'analyse ex post et ex ante ? Idéalement, oui mais dans les faits, pas tout à fait. Il y a de commun entre les deux méthodes qu'il faut regarder quels moyens sont mobilisés et essayer d'identifier leurs effets et de quantifier ces éléments de la manière la plus rigoureuse possible. Ce qui diffère sensiblement, c'est que dans l'évaluation ex ante, on utilise plutôt des méthodes de simulation alors que dans l'évaluation ex post, on ira chercher des données réelles, quelquefois un peu anciennes, et constater que dans la réalité, les choses ne se passent pas nécessairement de façon tout à fait identique à ce qu'on aurait pu imaginer dans une simulation ex ante. C'est à beaucoup d'égards tout à fait naturel : la vie nous apprend, chemin faisant, un certain nombre de choses que nous ne pouvons anticiper, même quand nous faisons des simulations ex ante. Le comité qui travaille sur les ordonnances « travail » a rapidement reconnu, alors qu'il y a plusieurs dizaines de critères à évaluer, que la liste de ces critères serait amenée à évoluer dans le temps parce que la pratique fera apparaître des sujets inattendus. L'ensemble des membres du comité accepte tout à fait l'idée que les grilles d'évaluation doivent pouvoir périodiquement être révisées et complétées et que certains éléments qui paraissaient a priori importants peuvent s'avérer l'être moins. En revanche, dans le cadre d'une procédure ex ante, on fait l'évaluation en quelques semaines et on produit un résultat qui doit servir de base ou être utilisé dans le cadre d'un processus législatif.

Notre pays a fait beaucoup d'allers-retours entre les méthodes d'évaluation des politiques publiques ex ante et ex post ainsi que pour déterminer qui les fait et comment on les organise. Il y a donc aujourd'hui un assez grand écart entre les études d'impact des projets de loi et nos évaluations ex post. On pourrait envisager d'assurer une plus grande cohérence dans la façon dont on aborde les choses ex ante et ex post, quitte à reconnaître dans la procédure ex post qu'on n'avait pas forcément pris en compte dans la procédure ex ante tous les effets qu'allait avoir une réforme. Aujourd'hui, les études d'impact et les évaluations ex post sont deux univers ayant peu de points communs entre eux.

S'agissant des qualifications des membres de notre équipe, il y a prédominance de profils d'universitaires, d'ingénieurs et de personnes venant des services d'études de l'administration. Ce peuvent être des personnes qui viennent du monde des sciences économiques et sociales ayant fait leurs études dans ce domaine ou des personnes provenant de l'Institut national de la statistique et des études économiques (INSEE). Nous avons au sein des équipes de France Stratégie un mélange très varié de compétences qui nous permet d'avoir le bon niveau d'exigence académique et intellectuel au départ. Surtout, la manière dont nous travaillons ensemble est notre plus grande compétence acquise.

Je ne crois pas qu'il nous soit jamais arrivé de conclure une évaluation par l'affirmation qu'une politique était un échec. Cela veut-il dire qu'on nous a empêchés de le faire ? À ma connaissance, jamais. Est-ce exact ?

Oui. Nous ne péchons pas par excès d'optimisme. Les effets du CICE sont plutôt modestes, plus faibles que ceux auxquels on aurait pu s'attendre – nous l'avons clairement dit dans nos rapports. Il n'y a pas que les dispositions d'ordre statutaire qui nous permettent de garantir notre indépendance de fonctionnement. Nous pouvons le faire aussi grâce aux processus que nous mettons en place, notamment en installant des commissions au sein desquelles siègent plusieurs parties prenantes – partenaires sociaux, parlementaires etc. La commission définit en toute indépendance son programme de travail et ses méthodes. D'autre part, à la différence d'autres acteurs de l'évaluation, France Stratégie publie systématiquement les résultats de tous ses travaux.

Je voudrais revenir sur l'évaluation ex ante et chemin faisant. Avez-vous des difficultés à accéder aux données, sachant que votre structure est sous l'autorité du Premier ministre ? Nous essayons parfois, nous parlementaires, d'accéder à celles-ci mais cet accès ne nous est pas facilité.

En l'état actuel des choses, vous ne disposez pas d'outils vous permettant de faire des évaluations ex ante et chemin faisant. Vous doter de tels outils représenterait-il un saut très important pour vous, en termes d'acquisition de compétences, de ressources humaines, de moyens et de changement de rythme de travail ? Pensez-vous que cette évolution soit faisable, afin que vous puissiez réaliser des études à destination des parlementaires, évaluant ex ante ou chemin faisant les politiques publiques ou les textes de loi en cours d'élaboration ?

En ce qui concerne les difficultés d'accès aux données, nous ne nous heurtons à aucune mauvaise volonté mais à deux autres types d'obstacles. Le premier est celui du secret statistique. Surmonter cet obstacle suppose de prendre des précautions méthodologiques importantes. Il nous faut des habilitations pour pouvoir traiter des données provenant de bases de données non anonymes. Nous pouvons avoir accès, dans des conditions très encadrées, à des données anonymisées nous permettant de faire nos travaux. Nous sommes dans un domaine où se conjuguent deux phénomènes : une tradition française de protection très rigoureuse des données individuelles et le fait que nous ayons moins l'habitude de travailler avec des données statistiques que d'autres pays. Les administrations commencent à se prêter à cette habitude de travail car elle se développe mais nous ne sommes qu'au début de ce processus.

Nous bénéficions du même traitement que les chercheurs. Quand nous voulons faire des études micro-économiques quantitatives, il nous faut passer par le Comité du secret statistique puis, bien souvent, par le Centre d'accès sécurisé aux données. Dans le cadre de l'évaluation du CICE, nous avons pu appuyer les chercheurs pour accélérer l'accès aux données, grâce à l'INSEE qui a bien voulu mettre à disposition des chercheurs les données des déclarations annuelles de données sociales (DADS) de manière anticipée. Cela nous a permis de publier en 2016 des résultats provisoires concernant l'année 2014.

Le second obstacle tient au fait que les statisticiens mettent du temps à considérer que leurs bases de données sont propres et de qualité. Il peut néanmoins nous arriver de reconnaître qu'il n'y a pas grand danger à utiliser des données qui ne sont pas encore complètement validées pour le type d'études que nous avons à faire.

Faire des études ex ante ou chemin faisant supposerait-il que nous fassions un saut important ? Saurions-nous, si la demande nous était faite, mettre en place des moyens nous permettant de faire des évaluations ex ante ? Et s'il nous fallait faire deux fois plus d'évaluations ex post, nous faudrait-il deux fois plus de moyens ? Schématiquement, oui, nous devrions pouvoir faire. Et s'il y avait deux fois plus d'évaluations à faire, il nous faudrait à peu près deux fois plus de moyens car les méthodes d'évaluation ex post que nous avons décrites demandent beaucoup de temps et de personnes. Nous passons énormément de temps, en comité, en commission et avec les chercheurs pour discuter de leurs méthodes et nous assurer de leur bonne compréhension des grilles d'évaluation et de la rigueur avec laquelle sont faits les traitements. Si nous avons essentiellement une fonction de coordination, d'animation, de gestion d'appels à projets ou d'appels pour sélectionner des laboratoires, cette fonction est très consommatrice de temps. Je ne pense pas que nous puissions faire beaucoup d'économies d'échelle dans notre équipe car il faut vraiment payer de sa personne pour pouvoir suivre et piloter des processus assez complexes. Pour réaliser des évaluations ex ante, il nous faudrait probablement acquérir quelques compétences nous permettant de faire des micro-simulations et de faire le lien entre ces micro-simulations de projection budgétaire et des éléments macroéconomiques. Les autres pays avec lesquels nous nous sommes comparés ont plutôt des institutions spécialisées dans l'ex ante ou dans l'ex post que des institutions faisant les deux. C'est typiquement le cas, aux États-Unis, de la différence entre le Congressional Budget Office (CBO) et le Government Accountability Office (GAO), institutions aux compétences clairement disjointes. C'est également le cas au Royaume-Uni, sachant que selon les pays et sans qu'il y ait de logique évidente liée à la nature des institutions, ces dernières rapporteront plutôt au pouvoir législatif ou plutôt au pouvoir exécutif.

Pourriez-vous revenir sur les garanties d'indépendance de France Stratégie par rapport au pouvoir exécutif ? Vous avez évoqué, parmi les points positifs, la proximité de France Stratégie avec les milieux académiques mais aussi avec les administrations. Or, nous essayons, que ce soit en amont de la discussion des projets de loi au Parlement ou dans le cadre de nos évaluations ex post, d'avoir la distance la plus importante possible vis-à-vis des administrations qui sont à l'origine de l'élaboration des projets de loi et, souvent, de leurs études d'impact.

D'autre part, comment assurer une coordination plus poussée et une programmation pluriannuelle concertée de l'ensemble des évaluations des politiques publiques en France ?

Comme je l'ai dit tout à l'heure, la principale garantie d'indépendance tient aux procédures que nous suivons dans nos évaluations ex post ainsi qu'à la manière dont France Stratégie est dirigée. Il est clair pour tous que le Commissaire général de France Stratégie assumera la responsabilité de publier et de soutenir une évaluation même si elle ne fait pas plaisir. Je suis très conscient que cela ne répond pas pleinement à votre interrogation et que la question de la ligne formelle de reporting et de l'organisation de l'indépendance mérite d'être posée. Il ne m'appartient pas d'y répondre mais il faudrait, pour le faire, examiner les solutions retenues dans les autres pays et s'il est possible de les transposer en France.

En ce qui concerne nos rapports avec les mondes académique et administratif, l'expérience, la familiarité que nous avons, étant rattachés à l'exécutif, avec l'administration ne nous empêche pas de dire assez librement ce que nous pensons être la situation dans laquelle elle se trouve. L'une de nos devises est que nous avons le droit d'être impertinents si nous sommes toujours pertinents. Ce principe est reconnu par nos interlocuteurs et les choses se passent plutôt bien.

Comment assurer la coordination de l'évaluation des politiques publiques ? Les choix de politique institutionnelle appartiennent au Parlement et à l'exécutif. Dans le domaine qui est le mien, en matière d'évaluation ex post, nous sommes un peu les seuls à suivre la méthode que nous utilisons. La Cour des comptes, qui fait un travail important, peut être sollicitée par le Parlement ou s'autosaisir de certains sujets. Elle est donc dans une situation très particulière de ce point de vue. Il n'y a pas de coordination entre les travaux que mène la Cour et ceux de France Stratégie. Comme vous l'avez vu, les commandes d'évaluation de politique publique ex post qui nous sont adressées sont d'origines variables. Elles peuvent avoir une base légale comme provenir d'une demande ministérielle. Pour le moment, je constate que quelle que soit cette origine, nous menons à bien nos études avec la même méthode et la même liberté d'appréciation et que nous les portons à la connaissance du public de la même manière.

Je vous remercie d'être venus mais aussi d'avoir accepté de présenter les résultats de l'enquête que vous menez sur les moyens d'évaluation dans les pays de l'Organisation de coopération et de développement économiques (OCDE) lors de la conférence que notre groupe de travail organisera le 28 juin prochain.