Parmi les textes de l'ouvrage collectif Les sciences ça nous regarde (Ed. la Découverte, 2013), "Comment évaluer la recherche et les chercheurs" me semble une excellente entrée en matière dans les sciences en société.
J'ai choisi ce texte pour deux raisons. La première est personnelle : en tant que doctorante (en formation à la recherche par la recherche, pour trois ans) je suis déjà confrontée à ces questions d'évaluation.
En effet, dès la première année de thèse, on entend parler des indicateurs qui vont permettre de nous évaluer, on comprend vite qu'il faut avoir ces choses là en tête dès le début... mais personne ne nous incite à développer un regard critique face à ces indicateurs. Ce texte est l'opportunité de saisir les avantages, mais aussi les dangers potentiels, de ces évaluateurs de la recherche.
La seconde raison pour laquelle j'ai choisi ce texte, c'est qu'une vision assez répandue des relations entre les sciences et la société, est le modèle de démarcation. Dans ce modèle, les deux mondes sont hermétiquement séparés. Il faut comprendre par là que les citoyens et les politiques ne doivent pas interférer avec les scientifiques, qui savent ce qu'ils font (à savoir de la "vraie" science). Or en pratique, ce modèle de démarcation ne s'applique pas, on a des sciences en société : les évaluateurs de la recherche en sont une bonne illustration.
L'auteur, Rémi Barré
Avant d'entrer dans le vif du sujet, un mot rapide sur l'auteur, Rémi Barré. Il est de formation ingénieur Civil des Mines, mais s'est rapidement intéressé à la question de la gestion et de la politique de la recherche, ce qu'il enseigne maintenant au Conservatoire National des Arts et Métiers (Cnam) en tant que Professeur des Universités. Il est aussi membre de différents groupes de travail européens, sur les indicateurs de la recherche, l'évaluation et le prospective (c'est-à-dire essayer de prévoir quelles seront les méthodes de la gestion de la recherche de demain, en fonction de ce qu'elles sont aujourd'hui). Autant dire que sur la question de l'évaluation de la recherche et des chercheurs, Rémi Barré a un avis éclairé à apporter, ce qu'il fait de manière très claire et pertinente dans son texte.
Objectif évaluation : pourquoi, comment ?
Alors concrètement, cette évaluation, de quoi s'agit-il ? Sur le papier, l'objectif est assez simple : mesurer les activités de recherche. Il s'agit de les mesurer aussi bien en terme de quantité et de volume (est-ce qu'on a beaucoup de résultats ? est-ce qu'on produit de manière efficace ?), qu'en terme de qualité (est-ce que les résultats sont pertinents ? les démonstrations rigoureuses ?).
Cela pose tout de même deux questions essentielles.
La première c'est "Pourquoi ?". Après tout si on était dans un modèle de démarcation, il faudrait laisser les chercheurs, qui savent ce qu'ils font, le faire en paix. Ensuite l'autre question c'est, concrètement "Comment ?" mesure-t-on les activités de recherche.
D'abord, le "pourquoi". Les chiffres me semblent assez parlants : en France la recherche publique c'est chaque année 16 milliards d'euros qui y sont consacrés, et environ 100.000 chercheurs, enseignants-chercheurs et ingénieurs de recherche qui sont mobilisés. Il s'agit donc de moyens à la fois humains et financiers considérables, et il est difficile voire impossible de confier 16 milliards d'euros aux chercheurs, en leur demandant simplement d'en faire bon usage, et qu'en retour les chercheurs n'aient qu'à promettre de faire de la "vraie" science et de produire plein de résultats. Avec tout ce qui est en jeu, il convient véritablement de rendre compte au politique, et aussi au citoyen (puisque c'est le contribuable français qui paye), du bon usage de ces financements.
On voit ainsi apparaître le fait qu'au delà de la question de l'évaluation, c'est aussi la question de la gouvernance qui va se poser. Dès que l'on commence à évaluer des individus, de "bons élèves" vont émerger, et il apparaîtra naturel par la suite de les privilégier en leur attribuant plus de financement.
Maintenant, qu'en est-il du "comment" ? Je propose de prendre un exemple concret.
Un chercheur vient de faire une découverte, et souhaite maintenant la partager avec la communauté scientifique. Il doit donc publier ses travaux dans une revue scientifique, si possible prestigieuse. Sauf que les revues scientifiques, d'autant plus quand elles sont prestigieuses, ont ce que l'on appelle un comité de lecture (les pairs). Ce sont des scientifiques renommés et reconnus dans la discipline, qui font figure d'experts, et qui sont chargés de juger de la qualité des travaux présentés. S'ils considèrent que ces travaux sont suffisamment bons alors ils autorisent la publication dans la revue. Cette publication a bien sûr vocation a être lue, et quelque part dans le même labo ou à l'autre bout du monde, d'autres chercheurs vont s'appuyer sur cette publication pour faire leur propre travail. Lorsqu'ils vont publier à leur tour, ils vont faire une citation au premier article, c'est à dire qu'ils y feront explicitement référence.
A ce stade, la production de connaissance scientifique est complètement auto-régulée. Les scientifiques s'auto-évaluent, ils jugent entre eux de la pertinence des travaux : est-ce qu'il faut les publier ou non, est-ce qu'un article m'a été utile auquel cas je le cite, etc. C'est une boîte noire pour le monde extérieur.
En revanche les choses se simplifient grandement si on garde seulement le nombre de publications et le nombre de citations. A partir de ces deux nombres, il est possible de calculer des indicateurs bibliométriques, qui sont à l'arrivée seulement des nombres, on pourrait aller jusqu'à dire des notes. Quelles sont les conséquences de mettre ainsi des notes aux chercheurs ?
Les indicateurs : une bénédiction...
Le principal point positif, c'est que les indicateurs permettent d'ouvrir la recherche à la société via le langage universel du chiffre.
C'est une donnée accessible à tous, et d'autant plus accessible qu'elle est en ligne. Si vous utilisez Google Scholar, par exemple, pour une recherche documentaire, la page d'un auteur présente les indicateurs bibliométriques, qui sont calculés automatiquement. Cette évaluation est aussi faite en continu : dès qu'un nouveau numéro de revue paraît, il y a de nouvelles publications à l'intérieur et de nouvelles citations, et les indicateurs sont ainsi mis à jour en permanence, de manière automatique.
Cela crée donc de la transparence, puisque ces données sont accessibles à tous, tout le temps, un chercheur ne peut pas se cacher dans un coin en faisant à peu près semblant de travailler efficacement, alors qu'il ne publie rien. S'il ne publie rien, cela va forcément se voir au travers des indicateurs.
Enfin la grande force des indicateurs, c'est qu'ils favorisent évidemment les comparaisons. Dès le CP, on apprend à dire si un nombre est plus grand ou plus petit qu'un autre. On est donc capable à l'échelle du chercheur de dire si l'un est meilleur qu'un autre. Si on additionne les contributions des différents chercheurs d'un laboratoire, on peut également comparer un laboratoire à un autre. A l'échelle encore supérieure, lorsque des classements des universités sont réalisés, comme le célèbre classement de Shanghai, l'un des critères est les indicateurs bibliométriques des chercheurs de l'université. Enfin, on peut aller jusqu'à comparer la recherche en France à celle d'un autre pays.
Les indicateurs sont donc des outils très pratiques et faciles à employer, qui pour ces raisons tendent à devenir des instruments tout-puissants de la gouvernance. Ils servent à prendre des décisions concernant l'allocation de ressources et de financements (si un chercheur est perçu comme un meilleur élève qu'un autre, il recevra davantage de ressources), mais aussi des décisions relatives aux recrutements et aux promotions.
... ou une malédiction ?
C'est justement là que le danger pointe son nez. Cette importance considérable donnée aux indicateurs a des implications sur la recherche elle-même, et de potentiels effets pervers. Les conséquences importantes qui découlent des indicateurs tendent à créer une course à la meilleure valeur possible de l'indicateur.
Cela peut entraîner un certain nombre de dérives, j'en reprends quelques unes citées par l'auteur.
La première, c'est publier des articles partiels (faire exprès de publier au compte goutte les résultats, pour faire plus de publications) ou à l'inverse des articles redondants (changer quelques détails d'une expérience et publier à nouveau).
A l'inverse, il devient tentant de délaisser des recherches risquées en terme de résultats (pour lesquelles on peut investir beaucoup de temps sans obtenir de résultats à l'arrivée). De la même manière, les recherches à résultats quasi immédiats et garantis seraient favorisées au détriment de celles orientées sur le long terme.
Les indicateurs bibliométriques incitent également à abandonner les tâches d'expertise, d'animation ou de diffusion scientifique, c'est-à-dire tout ce qui n'a pas vocation à créer de la publication in fine.
Sur ce point, j'aimerais ajouter une dérive que l'auteur ne mentionne pas et qui me paraît hélas vraie, c'est l'incitation à un enseignement négligé au profit de la recherche. Les enseignants-chercheurs, qui ont pourtant dans le titre même de leur fonction ces deux missions, sont seulement évalués sur leur recherche. S'ils veulent être de bons enseignants-chercheurs, au regard des indicateurs, ils ont intérêt à passer le moins de temps possible sur l'aspect pédagogique.
Vers un usage raisonné des indicateurs
Pour conclure sur les réflexions auxquelles incite ce texte, il ne faut pas, malgré tout, rejeter en bloc ces indicateurs. Ce serait oublier qu'ils ont permis d'ouvrir la boîte noire sur l'activité de recherche, et d'avoir un droit de regard extérieur.
Mais si on veut éviter les dérives mentionnées, il faut construire des indicateurs qui rendent justice à la grande richesse des missions de la recherche (l'enseignement, la diffusion, l'expertise).
Surtout, il convient d'utiliser les indicateurs non pas pour clore la discussion, mais au contraire pour l'ouvrir, et s'en servir comme base de réflexion... ce que je vous invite à faire dans l'espace commentaire !
Écrire commentaire