QUE SAIS-JE ?

L’évaluation des politiques éducatives

XAVIER PONS

Maître de conférences à l’université Paris-Est Créteil

Bibliographie thématique QUE SAIS-JE ?

Agnès van Zanten, Les politiques d’éducation, n° 2396.

Hélène Buisson-Fenet, L’administration de l’Éducation nationale, n° 1957.

Pierre Muller, Les politiques publiques, n° 2534.

Vincent Troger, Jean-Claude Ruano-Borbalan, Histoire du système éducatif, n° 3729.

Agnès van Zanten, Jean-Pierre Obin, La carte scolaire, n° 3820.

978-2-13-061667-2

Dépôt légal – 1re édition : 2011, mars

© Presses Universitaires de France, 2011
6, avenue Reille, 75014 Paris

Introduction

A priori, on pourrait attendre de l’évaluation des politiques éducatives qu’elle favorise, voire oriente, le débat public en éducation¹. En tant que production de connaissance (donnant lieu à un rapport, une étude, etc.), elle est destinée à renseigner les décideurs et les acteurs du système éducatif sur les effets des mesures entreprises. En tant qu’activité, avec ses acteurs et ses règles de fonctionnement, elle est supposée, pour certains politologues classiques, constituer une étape clé dans la carrière d’une politique publique, intervenant après la phase de mise en œuvre, dont on fait le bilan, et avant la terminaison ou la reformulation de ladite politique (Jones, 1970).

Or l’évolution de ce débat public en France reste pour le moins ambivalente. D’un côté, depuis 1971, la plupart des réformes envisagées par les décideurs donnent lieu à une prolifération d’enquêtes et de rapports publics, au point qu’un sociologue comme Pierre Bourdieu a pu parler de véritable « célébration de la réforme » pour qualifier ce mode de gouvernement et ses hésitations (Robert, 2010). Les acteurs du système éducatif ont ainsi l’impression que « tout a déjà été dit » sur les dysfonctionnements de ce dernier et les actions de remédiation possibles (Poupeau, 2003, p. 7), impression d’autant plus forte que l’univers scolaire est familier et que chaque individu peut rapidement se faire une opinion, souvent sur la base de sa propre expérience d’élève ou de parent (van Zanten, 2004). D’un autre côté, nous sommes souvent incapables de trancher des questions éducatives essentielles – véritables serpents de mer pour les professionnels du champ – comme l’aménagement optimal des rythmes scolaires, la démocratisation effective du système éducatif ou encore l’éventuelle baisse de niveau des élèves dans le temps. D’une part, nous assistons chaque année à un grand débat sur les politiques éducatives qui suscite souvent passions, large couverture médiatique et manifestations d’ampleur : la mastérisation de la formation des enseignants en 2010, la réforme du lycée en 2009, la réduction du nombre de postes d’enseignants en 2008, l’assouplissement de la carte scolaire en 2007, le Contrat première embauche en 2006, la réforme du baccalauréat en 2005, la décentralisation en 2004… D’autre part, chaque rentrée scolaire donne lieu, sans surprise, à une inflation de discours et d’essais sur la prétendue crise de l’école (Vogler, 1996) qui reposent sur un nombre limité de mythes et de métaphores clairement identifiables comme la maladie de ce grand corps qu’est l’école, l’âge d’or « des préaux et blouses grises » ou le complot des pédagogues contre les enfants du peuple (Paveau, 1999, 22).

Cette situation donne l’illusion tenace d’un débat public cyclique, au nombre fini de pistes d’action et de réflexion possibles et qui inviterait chaque acteur collectif à entrer dans un jeu de rôle préétabli et connu de tous, entretenant ainsi de nombreux stéréotypes que les grands médias se gardent le plus souvent de nuancer : les enseignants syndicalistes manifestant contre la baisse des moyens, les intellectuels de droite élitistes stigmatisant le renoncement des enseignants, les décideurs mus uniquement par la satisfaction de leurs propres intérêts politiques, les chercheurs dénonciateurs tirant la sonnette d’alarme, etc. Cette apparente difficulté à avoir un débat serein, rationnel et relativement cumulatif sur le fonctionnement de l’école doit-elle alors nous amener à conclure à l’échec de l’évaluation des politiques éducatives en France, voire à son absence ?

Une évaluation impossible ?

D’après le Conseil scientifique de l’évaluation (CSE), en activité de 1990 à 1998, évaluer une politique publique consiste à mesurer en qualité d’instance évaluative, le plus objectivement possible, les effets d’une politique sur le segment de la société sur lequel elle entend agir. C’est aussi aider le commanditaire de l’évaluation à prendre une décision, en formulant par exemple un jugement de valeur crédible sur la politique évaluée, ce qui implique de comprendre tant sa logique que son fonctionnement concret. C’est enfin contribuer sur un plan pratique à l’amélioration de la politique en question (CSE, 1996). Cette définition peut être lue comme une synthèse des deux grandes conceptions de l’évaluation des politiques publiques qui se sont opposées dès les débuts de cette activité au niveau interministériel. Pour la première, évaluer une politique publique, « c’est rechercher si les moyens juridiques, administratifs ou financiers mis en œuvre permettent de produire les effets attendus de cette politique et d’atteindre les objectifs qui lui sont fixés »² ou encore « apprécier (…) l’efficacité de cette politique en comparant ses résultats aux objectifs assignés et aux moyens mis en œuvre »³. Pour les politologues Patrice Duran et Éric Monnier (1992), cette conception de l’évaluation, fortement inspirée du rapport Deleau de 1986, est gestionnaire et vise avant tout à vérifier la conformité des actions aux objectifs fixés. Pour la seconde, mentionnée dans le rapport Viveret de 1989, « évaluer une politique, c’est former un jugement sur sa valeur ». En insistant sur la racine étymologique, ce rapport entend donner une définition plus normative de l’évaluation. Pour P. Duran et É. Monnier (1992), il s’agit d’une évaluation démocratique car elle suppose que le jugement de valeur soit prononcé par de multiples acteurs et toujours dans le souci de l’intérêt du plus grand nombre. On retrouve cette dualité dans la définition retenue à ce jour par la Société française de l’évaluation, créée en juin 1999, pour qui l’évaluation des politiques et des programmes publics « vise à produire des connaissances sur les actions publiques, notamment quant à leurs effets, dans le double but de permettre aux citoyens d’en apprécier la valeur et d’aider les décideurs à en améliorer la pertinence, l’efficacité, l’efficience, la cohérence et les impacts » (SFE, 2006).

Ainsi envisagées, très peu d’évaluations de politiques publiques sont finalement menées en France dans le secteur de l’éducation depuis le début des années 1980, pour plusieurs raisons. En amont du processus d’évaluation tout d’abord, les objectifs du système éducatif français sont en général soit trop flous (80 % d’une classe d’âge au niveau du baccalauréat, aucune sortie sans qualification, etc.), soit trop généraux (la réussite de tous les élèves, l’éducation à la citoyenneté, conduire un maximum d’élèves à tel niveau de compétences, etc.) pour permettre une évaluation de leur degré d’atteinte (Cour des comptes, 2003), y compris parfois ceux qui sont mentionnés dans les programmes de la LOLF⁴ (Pons, 2008). Depuis le milieu des années 1980, la majorité des ministres se sont résignés à ne pas mettre en œuvre de « politiques » éducatives, au sens de vastes programmes d’action clairement formalisés et à vocation totalisante (c’est le sens par exemple du refus de René Monory en 1986 de conduire « une grande réforme » du système éducatif). Leurs actions, en général ciblées sur un nombre limité de dispositifs d’action, relèvent principalement de l’aménagement gestionnaire du système éducatif en place, qui accorde une place très inégale à l’évaluation selon les périodes, les acteurs, les niveaux institutionnels et les thèmes considérés. Plus globalement, peu de lois ou de mesures annoncées prévoient explicitement et dès le départ une évaluation de leurs effets (Lascoumes, Setbon, 1996, Lascoumes, Varone, Pons, 2006). Le temps de l’action politique doit également être pris en compte. Rythmé principalement par l’organisation de la rentrée, la bonne administration des examens et la gestion quotidienne d’incidents de toute sorte, fortement limité par la faible durée de vie d’un ministre (28 mois en moyenne entre 1972 et 2007), il est un temps court et discontinu, qui s’accommode mal d’une action de longue durée, nécessaire à l’évaluation d’une politique (Leca, 1993).

En outre, au fur et à mesure du processus d’évaluation lui-même, d’autres obstacles principalement d’ordre technique apparaissent. Dans son évaluation de la politique de démocratisation scolaire en France entre 1950 et 1980, Antoine Prost (1985) se heurte par exemple à la discontinuité des statistiques disponibles sur l’origine sociale des élèves. Les évaluateurs sont constamment confrontés à la superposition des mesures prises par les ministres successifs. Il est dès lors très difficile d’isoler leurs effets directs. Enfin, une telle évaluation suppose que la politique ne soit pas fondamentalement modifiée en cours d’évaluation, ce qui n’est pas toujours le cas. L’évaluation de la contribution à la réussite des élèves des zones d’éducation prioritaires (ZEP) est emblématique. Malgré la pluralité des évaluations qui ont pu être menées à ce jour par différents organismes (inspections générales, INSEE, Cour des comptes, etc.), le doute persiste parmi certains évaluateurs et certains chercheurs quant à la mise en œuvre effective et la cohérence de cette « politique » dans la mesure où, par exemple, les critères de désignation des établissements en ZEP n’ont cessé de changer depuis 1981. A-t-elle seulement été complètement appliquée un jour, et par conséquent est-elle évaluable ?

Malgré tout, le mot « évaluation » fait recette depuis plus de quarante ans en France et il serait faux de dire qu’aucune action d’évaluation n’est menée ou alors que « l’évaluation des politiques éducatives » ne renvoie qu’à une expression de chercheur reprenant certains découpages académiques en vigueur. L’objectif de cet ouvrage est ainsi de fournir des éléments factuels et une synthèse des principales conclusions de la recherche en sociologie, en science politique et en sciences de l’éducation sur ce thème.

Le mot et les choses

Cependant, une telle ambition se heurte immédiatement au flou relatif qui entoure l’évaluation dans les textes officiels (articles L. 241-1 à L. 241-11 du Code de l’éducation), dans les programmes d’activité annuels des évaluateurs du ministère et dans les discours des ministres sur le sujet. Pour le dire simplement, le mot « évaluation » est régulièrement cité depuis le milieu des années 1980 mais la notion, la démarche et les finalités politiques attendues sont très rarement explicitées (Pons, 2010). C’est pourquoi nous partirons d’une définition volontairement large et générique de l’évaluation des politiques éducatives, comprise comme un processus collectif et réflexif de construction d’un retour d’information sur le fonctionnement du système éducatif permettant d’apprécier, en référence à des valeurs politiques multiples (pertinence, cohérence, légalité, efficacité, efficience ou encore équité), son organisation, ses résultats et les effets de différentes mesures mises en œuvre (politiques, programmes d’action, dispositifs, projets, innovations, expérimentations). Par convention, nous désignerons dans la suite de l’ouvrage par évaluation cette évaluation des politiques éducatives ainsi définie. Cette définition s’inscrit dans une sociologie de l’action publique selon laquelle on ne saurait réduire une politique publique à un programme d’action gouvernemental, celle-ci étant également façonnée par l’ensemble des acteurs qui participent à sa conception, sa mise en œuvre et sa réception (Lascoumes, Le Galès, 2007, Duran, 2010).

Il est impossible dans le format imparti d’envisager précisément tous les objets des évaluations conduites sur le territoire français (l’évaluation des élèves, des établissements, de tel dispositif, du système dans son ensemble, etc.), chacune d’elles ayant son histoire et sa dynamique propres. Cet ouvrage propose ainsi une synthèse par grandes entrées analytiques transversales : l’histoire de ce domaine d’action publique, les évaluateurs, leurs méthodes et outils, les effets de l’évaluation sur la régulation du système éducatif, les éventuelles spécificités françaises au regard d’autres systèmes et les principales interprétations du développement de l’évaluation formulées à ce jour. Sur ces bases, nous proposerons en conclusion une approche théorique particulière de l’évaluation, conçue comme un idiome réformateur.

Chapitre I

Historique du domaine

L’objet de ce chapitre est de proposer un historique de l’évaluation comme domaine d’action publique spécifique. Cette démarche se heurte d’emblée à la difficulté inhérente à toute genèse : quand faire commencer l’analyse et pourquoi ? Il est en effet toujours possible de trouver une origine antérieure à celle évoquée en fonction de la définition de l’évaluation et de la problématique de recherche retenues. Dans un ouvrage récent sur l’évolution de la politique française d’évaluation au niveau national, nous avons pris comme point de départ de notre analyse l’année 1958, année du lancement, par plusieurs chercheurs internationaux, réunis à Hambourg dans les locaux de l’Institut international de l’éducation (dépendant de l’UNESCO), de la première évaluation standardisée des acquis des élèves dans douze pays, dont la France (Pons, 2010). Dans son manuel consacré à l’évaluation de l’action des pouvoirs publics, tous secteurs confondus, Éric Monnier (1987), lui, fait naître l’évaluation des politiques publiques en 1905, quand le ministre de l’Instruction publique charge Alfred Binet de mettre au point une méthode permettant de détecter les enfants anormaux et de les séparer des enfants considérés comme normalement intelligents. Dans son histoire de la statistique de l’enseignement primaire, Jean-Noël Luc remonte pour sa part à 1831 quand, dans un contexte d’instabilité chronique des régimes politiques, les décideurs manifestent clairement l’intention de comparer dans le temps, sur la base d’une statistique publique qu’ils souhaitent rigoureuse et incontestée, l’état des écoles françaises avant et après leur prise de fonction. « Les chiffres recueillis aujourd’hui permettront, demain, d’évaluer l’œuvre scolaire du régime, et par la même occasion sa contribution personnelle » (Luc, 1985, p. 9-10). Enfin, certains travaux n’hésitent pas à lier le développement de l’évaluation à celui plus général des pratiques de contrôle et d’inspection, dont les premiers corps sont créés au tout début du XIXe siècle (Vogler, 1996, Broadfoot, 2000, Verdière, 2001).

I. – Le tournant des années 1970

Quelle que soit l’origine retenue, les années 1970 restent un tournant majeur en matière d’évaluation. Le mot fait son apparition dans l’organigramme et les publications du ministère (IGEN-IGAENR, 2005a, Pons, 2008). Les années 1974-1976 notamment voient converger deux enquêtes de grande ampleur, aux méthodologies différentes, mais qui toutes les deux posent la question de l’effet de différentes mesures sur les résultats des élèves. La première renvoie à la première vague d’enquêtes des chercheurs de l’Institut national de recherche et de documentation pédagogique (qui deviendra ensuite l’INRP), sous la direction de Louis Legrand, sur les effets de différentes innovations pédagogiques mises en œuvre entre 1967 et 1974 dans certains collèges, sur l’orientation et les résultats des élèves (Langouët, 1985). La seconde est la première évaluation de masse des acquis en français et mathématiques des élèves en fin de cinquième, menée entre 1974 et 1976 par le bureau des « évaluations pédagogiques », tout juste créé au sein du service statistique du ministère.

Cette nouvelle orientation prise au milieu des années 1970 s’explique par la congruence de quatre facteurs principaux. Le premier renvoie à la « mise en système » des établissements d’enseignement secondaire en France (Prost, 1983, p. 13), processus qui débouche sur la création du collège unique en 1975 (Robert, 2010). Ce processus pose progressivement la question de l’équité et de l’efficacité du fonctionnement de ce système éducatif ainsi unifié (en tout cas formellement), donc de son évaluation tant interne qu’externe, au regard notamment des résultats obtenus par les élèves aux différentes étapes de leur scolarité. Le deuxième facteur est d’ordre cognitif. Plusieurs courants de recherche, aux ancrages disciplinaires plus ou moins forts, contribuent à diffuser l’idée d’un développement nécessaire de l’évaluation. Historiquement, le premier est sans doute la docimologie (Merle, 1998). En montrant les multiples biais liés à l’évaluation des élèves par les enseignants, cette « étude systématique des examens » (Bonboir, 1972) et du comportement des examinateurs a pour principale conséquence de désacraliser l’évaluation professorale et d’inviter l’institution scolaire à multiplier les formes d’évaluation alternatives des élèves, dont les évaluations standardisées (Vogler, 1996). Les économistes de l’éducation proposent également dès les années 1960 les premières évaluations externes du système éducatif, en interrogeant aussi bien la rentabilité des formations d’enseignement supérieur (théories du capital humain, du filtre ou du signal) que les coûts de fonctionnement d’un système éducatif en expansion : calcul du mode optimal de financement et prévision des effectifs scolaires (Paul, 2007). Si la réception et la prise en compte des enquêtes sociologiques semblent ambivalentes, les chercheurs en sciences de l’éducation ont, quant à eux, contribué de manière significative à ce processus, par deux voies principales : par la participation aux enquêtes sur les acquis des élèves conduites par l’IEA⁵, association internationale d’organismes de recherche, créée en 1961 dans le prolongement de la conférence de Hambourg susmentionnée, et par la prise en compte progressive à partir des années 1970, certes inégale d’une tradition de recherche à l’autre, de la pédagogie par objectifs initiée aux États-Unis dès les années 1920. Le troisième facteur concerne l’action publique au niveau interministériel, notamment les développements de la planification et, à partir de 1968, de la procédure de rationalisation des choix budgétaires (RCB). Ces procédures interministérielles permettent à certains réformateurs de justifier la...