Les classements académiques dans l’enseignement supérieur et la recherche : le tournant des années 2000
Christine Barats, Céditec (EA 3119), Université Paris Est Créteil, Université Paris Descartes
Julie Bouchard, Labsic (EA 1803), Université Paris 13
Que ce soit à l’échelle nationale ou à l’échelle européenne, les classements académiques se sont multipliés dans les années 2000, dans un contexte marqué par des réformes portant sur l’enseignement supérieur et la recherche (ESR) (Musselin, 2009, 2017 ; Garcia, 2009 ; Vilkas, 2009 ; Ravinet, 1998, 2011). Si les recherches se sont centrées sur les méthodologies des classements, plus rares en revanche sont les travaux attachés aux conditions de production, de diffusion et de mise en débat des classements académiques.
Les principaux travaux ont porté sur les pays anglo-saxons et en particulier, sur des expériences en lien avec les statistiques d’Etat ou les logiques de presse. Jamil Salmi et Alenoush Saroyan indiquent ainsi que dans le domaine de l’enseignement, c’est aux États-Unis, puis en Grande-Bretagne qu’ont émergé les premiers classements qui étaient nationaux. La Commission fédérale américaine du Bureau de l’Education (Commission of the US Bureau of Education) a publié pour la première fois en 1870 un rapport annuel de données statistiques qui comprenait un classement d’établissements (Salmi, Saroyan, 2007). Les premiers classements nord-américains, réalisés par des universitaires et des structures en charge de l’éducation faisaient donc appel aux premières données statistiques sur l’enseignement. À partir des années 1980, et du classement de l’US News and World Report (USN) de 1983, ils se sont multipliés et ils ont été produits par des entreprises de presse (Espeland, 2015 : 28) : l’hebdomadaire américain, Business Week, proposa un classement des MBA, au Canada, McClean’s publia un classement des universités, en Grande-Bretagne ce sera le Times Educational Supplement, et en Italie, la Republicca… Leur méthodologie reposait sur des enquêtes d’opinion menées auprès de responsables de formation, puis d’autres indicateurs furent intégrés afin de combiner l’évaluation par les pairs avec des statistiques transmises par les établissements.
En France, c’est autour des années 1970-1980 que des magazines, comme par exemple le mensuel Le Monde de l’Education ou le magazine L’Etudiant vont produire et diffuser des classements nationaux (Bouchard, 2013), reposant sur des enquêtes d’opinion et/ou des statistiques transmises par les établissements et/ou le Ministère de l’Education Nationale. Pour schématiser et situer l’émergence des classements académiques, trois principales conditions socio-historiques se sont avérées déterminantes pour leur production.
A la fin du 19ème siècle, la mise en œuvre d’une statistique d’État (Desrosières, 2008) va contribuer à la compilation de données et à la production de classements qui ne portaient cependant pas sur les établissements d’enseignement supérieur mais sur l’enseignement primaire (Matasci, 2014). À partir des années 1970-1980, des entreprises de presse vont produire des classements nationaux et les publiciser, dans une stratégie éditoriale d’informations dites utiles pour les étudiants et leur famille, en ayant recours au jugement des pairs et à des données statistiques.
Dans les années 2000, la multiplication des classements académiques, en particulier internationaux, est liée à une diversification des acteurs-producteurs de classement (organisations internationales, entreprises de presse, sociétés de conseil…), ainsi qu’à la place de certaines données, comme les données bibliométriques, accessibles via des bases de données en ligne, ce qui contribue à imposer ce standard dans les pratiques d’évaluation de l’ESR (Gingras, 2014). Si la diffusion des bases de données en ligne contribue à l’essor des indicateurs bibliométriques, le coût d’accès à ces bases, de même que la technicité nécessaire à leur exploitation confirment la mise en invisibilité des moyens et du travail liés à leur production. Wendy Espeland rappelle ainsi que les classements sont des technologies de simplification qui exigent cependant en amont, un important travail de collecte et de traitement des données, ce qui implique des infrastructures et des ressources en vue de leur production (Espeland, 2015 : 29).
Le travail d’historicisation de la forme « classement » ne peut pas être dissocié de l’action de classer et de la diffusion d’outils de comparaison comme le benchmark (Bruno, 2008) qui tendent à remettre en question les formes de jugement de la qualité académique, majoritairement qualitatives, c’est-à-dire situées et ancrées dans les normes endogènes de la profession universitaire (Mignot-Gérard, Sarfati, 2015 ; Gozlan, 2016) au profit d’indicateurs quantifiés qui auraient vocation à une certaine universalité. Si plusieurs travaux ont montré la diversité des modalités d’appropriation de ces outils de jugement, comme les indicateurs bibliométriques ou les classements (Pontille, Torny, 2010, 2012 ; Mignot-Gérard, Sarfati, 2015 ; Gozlan, 2016), ils attestent cependant de leur conformité axiologique avec le déploiement de discours sur l’évaluation et sur la performance académique qui favorisent une logique de name and shame (nommer pour blâmer) (Barats, In Bouchard et al., 2015).
La multiplication de dispositifs de jugement (classements, rapports d’évaluation de l’Agence d’évaluation de la recherche et de l’enseignement supérieur, label EQUIS…) invite à examiner les mécanismes de leur déploiement et de leur institutionnalisation (Paradeise, 2012 ; Mignot-Gérard, Sarfati, 2015). Il est important de rappeler que les pratiques d’évaluation dans l’ESR sont anciennes et variées, que ce soit du point de vue de leurs modalités de mise en œuvre ou des situations dans lesquelles elles s’inscrivent (habilitation de formations, évaluation d’unités de recherche, de projets de recherche, etc.). Elles se sont intensifiées au cours des années 2000 avec la création, en 2005, de l’ANR (Agence Nationale pour la Recherche) pour le financement et l’évaluation de projets de recherche, la création en 2006 pour l’évaluation des formations et des équipes de recherche de l’AERES (Agence d’évaluation de la recherche et de l’enseignement supérieur), devenue HCERES (Haut Conseil de l’évaluation de la recherche et de l’enseignement supérieur) en 2013. Dans ce contexte, les classements, comme instruments de production de valeurs et de jugements (Vatin, 2013) sont à la fois le résultat et l’opérateur de normes sociales de pensée et d’action : les entités classées tendant à se conformer aux critères du classement (Espeland, Sauder, 2007).
Ces instruments, s’ils font événement du point de vue des logiques de presse (Barats, 2013 ; Bouchard, 2015), fonctionnent dans les discours comme des instruments de mesure du prestige académique et ils peuvent être appréhendés comme conformes aux discours sur l’impératif d’évaluation ainsi qu’à certains « instruments de gouvernement » (Lascoumes, Le Galès, 2004), en particulier aux indicateurs dits de résultat, car ils contribuent d’une part à façonner les représentations sociales du prestige académique et que, d’autre part, ils se caractérisent par leur dimension normative et prescriptive. Wendy Espeland et Michael Sauder (2007) analysant les réactions au classement de l’US News and World reports dans le cas des écoles de droit nord-américaines ont ainsi observé la dimension prescriptive de ces outils : les écoles de droit tendent en effet à se conformer aux critères mis en avant dans les classements afin d’obtenir de meilleures places (Espeland et Sauder, 2007 ; Espeland, 2015). L’expression « instruments de gouvernement », proposée par Pierre Lascoumes et Patrick Le Galès pour l’analyse des politiques publiques prolonge le travail d’Alain Desrosières sur « l’instrumentation statistique » (1993 : 401).
Son emploi en dehors du contexte de l’analyse de l’action publique vise à souligner la dimension normative et prescriptive de ces outils de jugement et à rappeler leurs liens avec l’élaboration d’instruments statistiques étatiques (Matasci, 2014), tout autant qu’avec les débats publics et les réformes menées dans l’ESR. Dans la perspective retenue par Pierre Lascoumes et Patrick Le Galès, il s’agit d’instruments qui orientent et façonnent les pratiques sociales dans le cadre de politiques publiques. Cette expression met en exergue le fait que certains outils ou techniques ainsi que leurs discours contribuent directement à l’instrumentation de l’action publique, en l’occurrence à un gouvernement « par les instruments ». Dans le cas des classements académiques, ces instruments de jugement contribuent à la production d’un ordre du discours, « d’une soft law », c’est-à-dire « des dispositifs de mesure diffusant largement par imitation » (Paradeise, Thoenig, 2011).
L’enquête menée en 2006 au niveau international par Ellen Hazelkorn auprès de dirigeants d’établissements « sur l’impact du classement des établissements sur la prise de décision dans l’ESR » souligne l’intérêt accordé par ces acteurs aux classements dans leur planification stratégique et la contradiction apparente entre cet intérêt déclaré et les critiques émises par rapport aux méthodologies retenues. L’enquête indique en effet que la majorité des responsables d’établissement s’inquiète de l’influence négative des classements, que ce soit du point des entités classées ou des choix de réforme dans l’ESR (Hazelkorn, 2007).
Références bibliographiques
BARATS Christine, LEBLANC Jean-Marc, « Généalogie de la co-construction médiatique du « classement de Shanghai » en France. Corpus de presse et usages sociodiscursifs », In Mots. Les langages du politique, 102, juillet 2013, pp.67-83.
BOUCHARD Julie, « Les classements d’établissements d’enseignement supérieur et de recherche : des miroirs déformants aux instruments de régulation », Questions de communication, nº 23, 2013, pp. 175-196.
BOUCHARD Julie et al. (éds.), La médiatisation de l’évaluation, Evaluation in the Media, Peter Lang, 2015.
BRUNO Isabelle, A vos marques, prêts, partez…, Editions du Croquant, 2008.
DESROSIERES Alain, La politique des grands nombres. Histoire de la raison statistique, Paris, La Découverte, 1993.
DESROSIERES Alain, Pour une sociologie historique de la quantification, Paris, Les presses Mines ParisTech, coll. « Sciences sociales », 2008.
ESPELAND Wendy & SAUDER Michael, « Rankings and Reactivity : How Public Measures Recreate Social Worlds », American Journal of Sociology, nº 1, vol. 113, 2007, pp. 1-40.
ESPELAND Wendy, « Rankled by rankings : How media rankings redefined higher education », In BOUCHARD Julie, CANDEL Etienne, CARDY Hélène, GOMEZ-MEJIA Gustavo (éds.), La médiatisation de l’évaluation-Evaluation in the Media, Peter Lang, 2015, pp. 25-37.
GARCIA Sandrine, « Réforme de Bologne et économicisation de l’enseignement supérieur », Revue du mauss, n°39, 2009, pp. 154 -172.GINGRAS Yves, Les dérives de l’évaluation de la recherche, du bon usage de la bibliométrie, Raisons d’agir, 2014.
GINGRAS Yves, Les dérives de l’évaluation de la recherche, du bon usage de la bibliométrie, Raisons d’agir, 2014.
GOZLAN Clémentine, « Les sciences humaines et sociales face aux standards d’évaluation de la qualité académique. Enquête sur les pratiques de jugement dans une agence française », Sociologie, Vol 7, 2016/3, pp. 261-280.
HAZELKORN Ellen, « L’impact du classement des établissements sur la prise de décision dans l’enseignement supérieur », Politiques et gestion de l’enseignement supérieur, 2007/2, n° 19, pp. 95-122.
HAZELKORN Ellen, Rankings and the Reshaping of Higher Education: the Battle for World-Class Excellence, Palgrave Macmillan, 2011.
HAZELKORN Ellen, Rankings and the Reshaping of Higher Education. The Battle for World -Class Excellence, Palgrave McMillan, New York, second edition, 2015.
LASCOUMES Pierre et Le GALES Patrick (dir.), Gouverner par les instruments, Paris, Les presses de sciences po, coll. « Nouveaux débats », 2005.
MATASCI Damiano, « Aux origines des rankings. Le système scolaire français face à la comparaison internationale (1870-1900) », Histoire & mesure, Vol. XXIX-1, 2014, pp. 91-117.
MIGNOT-GERARD Stéphanie, SARFATI François, « Dispositif de jugement sur la qualité ou instrument de construction de la réputation ? Le cas d’un classement universitaire », Terrains et travaux, nº 26, 2015, pp. 167-195.
MOEGLIN Pierre, « Quand éduquer devient une industrie », Projet, 2015/2, N°345, pp. 62-71.
MUSSELIN Christine, « Les réformes des universités en Europe : des orientations comparables, mais des déclinaisons nationales », revue du MAUSS, N°33, 2009/1, pp. 69-91.
MUSSELIN Christine, La Grande course des universités, Presses de Sciences Po, 2017.
PARADEISE Catherine, « Le sens de la mesure. La gestion par les indicateurs est-elle gage d’efficacité ? How Much is Enough? Does Indicator-Based Management Guarantee Effectiveness? », Revue d’économie du développement, Vol. 20, 2012/4, pp. 67-94.
PONS Xavier, « La médiatisation de PISA en France : travail journalistique et action publique », In Bouchard, Julie et al. 2015, La médiatisation de l’évaluation, Evaluation in the média, Peter Lang, pp. 193-214.
PONTILLE David, TORNY Didier, « Revues qui comptent, revues qu’on compte : produire des classements en économie et gestion », Revue de la régulation, N°8, 2e semestre, Autumn 2010, en ligne URL : http://regulation.revues.org/8881
PONTILLE David, TORNY Didier, « Rendre publique l’évaluation des SHS : les controverses sur les listes de revues de l’AERES », Quaderni, N°77, 2012, pp.11-24.
RAVINET Pauline, « Comment le processus de Bologne a-t-il commencé ? La formulation de la vision de l’Espace Européen d’Enseignement Supérieur en 1998 », Education et sociétés, 2009/2, n° 24, pp. 29-44.
RAVINET Pauline, « La coordination européenne « à la bolognaise ». Réflexions sur l’instrumentation de l’espace européen d’enseignement supérieur », Revue française de science politique, 2011/1, Vol. 61, pp. 23-49.
SALMI Jamil & SAROYAN Alenoush, « Les palmarès d’universités comme moyen d’action : usages et abus », Politiques et gestion de l’enseignement supérieur, vol. 2, nº 19, 2007, pp. 33-74.
VATIN François, (2013). « Évaluer et valoriser », in Vatin F. (dir.), Évaluer et valoriser, Toulouse, Presses universitaires du Mirail, pp. 17-37.
VILKAS Catherine, 2009, « Des pairs aux experts : l’émergence d’un « nouveau management » de la recherche scientifique ? », Cahiers internationaux de sociologie, vol. 126, n° 1, pp. 61-79.
