Les rapports de l’AERES : dire et faire l’évaluation : compte rendu de 2017
Table ronde animée par Pascal Roquet aux journées d’étude 2017
Christine Barats, Université Paris Descartes et Céditec, Université Paris Est Créteil
Emilie Née, Céditec, Université Paris Est Créteil
La multiplication de dispositifs et de pratiques d’évaluation dans l’enseignement supérieur et la recherche (ESR), comme par exemple les classements académiques, les labels ou les rapports d’évaluation de l’AERES (Agence d’évaluation de la recherche et de l’enseignement supérieur) invite à examiner les discours qui les portent, tout autant que les mécanismes de leur déploiement et de leur institutionnalisation (Paradeise, 2012 ; Mignot-Gérard, Sarfati, 2015). Il est important de rappeler que les pratiques d’évaluation dans l’ESR sont anciennes et variées (Gingras, 2014), que ce soit du point de vue de leurs modalités de mise en œuvre ou des situations dans lesquelles elles s’inscrivent (habilitation de formations, évaluation d’unités de recherche, de projets de recherche, etc.). Le CNE (Comité national d’évaluation), première instance ad hoc en charge de l’évaluation, a ainsi été créé en 1984. Les pratiques d’évaluation se sont cependant intensifiées au cours des années 2000 avec la création, en 2005, de l’ANR (Agence Nationale pour la Recherche) pour le financement et l’évaluation de projets de recherche, puis la création en 2006 de l’AERES pour l’évaluation des formations et des équipes de recherche, devenue HCERES (Haut Conseil de l’évaluation de la recherche et de l’enseignement supérieur) en 2013.
Christine Musselin note ainsi une agencification de l’ESR, avec la création d’instances d’évaluation, symboliquement désignées par le terme « d’agence », dans des systèmes où ce type d’instance n’existait pas (Musselin, 2017 : 107). Ces transformations se traduisent par une séparation stratégique entre l’autorité de tutelle et les agences en charge de l’opérationnel, ces dernières exerçant un micro-management basé sur la compétition et la sélection.
Dans le prolongement de travaux en science politique (Gozlan, 2016) et en sociologie (Pontille, Torny, 2010, 2012 ; Agulhon, 2013), les rapports rédigés par les comités d’experts de l’AERES et adressés aux laboratoires de recherche après expertise constituent un matériel d’investigation pour examiner comment se dit et se pratique l’évaluation. Ces rapports sont en effet à la fois le produit et le résultat d’un processus qui s’inscrit dans la durée et qui se caractérise par la production de nombreux documents en amont et en aval de la visite effectuée par le comité d’experts. Ce processus long s’accompagne de moments clefs où interagissent les acteurs (réunions, séminaires) que ce soit au niveau de l’AERES ou au niveau des entités évaluées qui préparent les documents nécessaires à l’évaluation. Tout au long du processus circulent différents types d’écrits (textes de cadrage, documents transmis par les entités évaluées…) qui disent et font l’évaluation. C’est également un instrument d’imposition -ou non-, d’indicateurs (rythme de publication, type de publication etc.) et de pratiques qui sont valorisés par l’AERES, devenue HCERES. Comme outil d’évaluation normalisé et normalisant, le rapport AERES découle d’une grille de lecture préétablie ainsi que d’une conception de la recherche qui se matérialise et s’observe dans le plan adopté pour rédiger les rapports, la thématisation de certains aspects (nombre de publications, par exemple) et le choix d’un lexique spécifique adossé à des indicateurs (« publiants », « rayonnement »).
A partir d’un corpus de rapports, nous menons une étude socio-discursive afin d’examiner l’évolution dans le temps de ces descriptions-prescriptions en confrontant différentes vagues d’évaluation, celles de 2008-2010 et celles de 2012-2014. L’accent porte sur les régularités et les variations discursives qui caractérisent l’évaluation dans ce type de rapport. Il s’agit de mettre au jour leurs caractéristiques tout en tenant compte du profil des acteurs qui les rédigent. L’étude proposée tient également compte du poids des disciplines et de leurs logiques internes (Gozlan, 2016). Il s’agit aussi d’observer d’éventuelles variations ou discordances. Catherine Agulhon a ainsi noté dans le cas de l’évaluation de formations « des appréciations contradictoires pour des situations semblables : ici on reprochera un manque d’intervenants professionnels, là on trouvera qu’il y en a trop. Ici on trouvera que la formation est trop pragmatique, trop spécialisée, là au contraire qu’elle est trop générale, que ses objectifs ne sont pas assez ciblés. Ces discordances démontrent le manque de précisions des objectifs. On constate ainsi une certaine labilité de l’évaluation, mais aussi des jugements qui se basent sur des a priori temporaires et implicites. » (Agulhon, 2013 : 141).
C’est pourquoi, nous appréhendons les rapports comme le résultat d’un processus de dialogue et de négociation inscrit dans la durée, et également comme le fruit d’un rituel engageant les évaluateurs (i.e. le « comité d’experts ») et les évalués.
Références bibliographiques
AGULHON Catherine, « La mesure en éducation, un outil au service du politique », L’orientation scolaire et professionnelle, N°35/3, 2006, pp. 315-366.
AGULHON Catherine, « Accréditation-habilitation dans l’enseignement supérieur : de la distinction à la sanction », Carrefours de l’éducation, 2013/2, N°36, pp. 131-148.
BARATS Christine, « Textes numériques ou sur le numérique : rhétorique de l’internationalisation et « attractivité » des universités parisiennes », In Acteurs et contextes des discours universitaires, Tome 2, L’Harmattan, 2009, pp. 209-225.
GLAUDES Pierre, « L’évaluation de la production scientifique en France par l’Agence d’évaluation de la recherche et de l’enseignement supérieur », Mélanges de la Casa de Velázquez, N°44-2, 2014, mis en ligne le 15 novembre 2014, URL : http://mcv.revues.org/5858
MUSSELIN Christine, La longue marche des universités françaises, Paris, PUF, 2001.
OGER Claire et OLLIVIER-YANIV Caroline, « Conjurer le désordre discursif. Les procédés de « lissage » dans la fabrication du discours institutionnel », Mots. Les langages du politique N°81, 2006, pp. 63-77.
DARDY Claudine, DUCARD Dominique, MAINGUENEAU Dominique, Un genre universitaire. Le rapport de soutenance de thèse, Presses universitaires du Septentrion, 2002.
ESPELAND Wendy & SAUDER Michael, « Rankings and Reactivity: How Public Measures Recreate Social Worlds », American Journal of Sociology, nº 1, vol. 113, 2007, pp. 1-40.
GOZLAN Clémentine, « Les sciences humaines et sociales face aux standards d’évaluation de la qualité académique. Enquête sur les pratiques de jugement dans une agence française », Sociologie, Vol 7, 2016/3, pp. 261-280.
MIGNOT-GERARD Stéphanie, SARFATI François, « Dispositif de jugement sur la qualité ou instrument de construction de la réputation ? Le cas d’un classement universitaire », Terrains et travaux, nº 26, 2015, pp. 167-195.
MUSSELIN Christine, La longue marche des universités françaises, Paris, PUF, 2001.
NEE Emilie, OGER Claire, SITRI Frédérique (sous presse), « Le rapport : opérativité d’un genre hétérogène », in NEE E., OGER C., SITRI F. (coord.), Le rapport, entre description et prescription, Mots, n°114, parution prévue en juillet 2017.
NEE Emilie, SITRI Frédérique, VENIARD Marie, FLEURY Serge (sous presse), « Routines discursives et séquentialité dans des écrits professionnels : la mise au jour d’une séquence évaluative ? », Corpus, n°15 – « Segments et séquences textuelles : méthodologie et caractérisation », M. Bendinelli éd.
OGER Claire et OLLIVIER-YANIV Caroline, « Conjurer le désordre discursif. Les procédés de « lissage » dans la fabrication du discours institutionnel », Mots. Les langages du politique N°81, 2006, pp. 63-77.
PARADEISE Catherine, « Universités. Un marché mondial de la connaissance », Cahiers français, N°367, 2012, pp. 57-64.
PONTILLE David, TORNY Didier, 2015, «From Manuscript Evaluation to Article Valuation: The Changing Technologies of Journal Peer Review», Human Studies, 38, pp.57-79.
PONTILLE David, TORNY Didier, «Rendre publique l’évaluation des SHS : les controverses sur les listes de revues de l’AERES», Quaderni, 2012, pp.11-24
STAVROU Sofia, « Des discours politiques au discours de l’évaluation. Autour de la réforme des formations universitaires », Mots. Les langages du politique, n°102, juillet 2013, ENS Editions, pp. 85-102.
STAVROU Sofia, « La « professionnalisation » comme catégorie de réforme à l’université en France », Cahiers de la recherche sur l’éducation et les savoirs, Hors-série n° 3, 2011, pp.93-109.
VATIN François, (2013). « Évaluer et valoriser », in Vatin F. (dir.), Évaluer et valoriser, Toulouse, Presses universitaires du Mirail, pp. 17-37.
