La revue par les pairs, en anglais Peer-Reviewing, désigne le processus d’expertise de l’ensemble des articles scientifiques depuis des décennies, processus au bout duquel l’auteur peut donc être publié … ou mourir en paix ("publish or perish"). Relevé par Michel Roland, l’article "Open-peer review and collaboration" vient apporter une nouvelle pierre au si sensible dossier : "Faut-il tuer le pair ?". Formulé autrement, il s’agit de savoir si – au regard du contexte actuel d’auto-archivage, d’open-access et de nouveaux modes de publication en général – le peer-reviewing a ou non vocation a demeurer le modèle unique du circuit de "validation" des connaissances scientifiques. Petite revue des "pour" et des "contre".
Que reproche-t-on au Peer-reviewing ?
- les experts sont anonymes ce qui favorise leur désengagement : ils s’y mettent au dernier moment, ils ne respectent pas forcément la "checklist" d’évaluation (quand elle existe)
- les femmes acceptent trois fois plus de manuscrits que les hommes et/mais les femmes sont nettement minoritaires dans les comités d’évaluation
- les pairs en question sont souvent moins "experts" sur le sujet que l’auteur de l’article
- des logiques de carrière, institutionnelles et personnelles sont souvent présentes, les auteurs "seniors" ayant ainsi parfois tendance à sous-évaluer le travail de jeunes équipes ou auteurs au profit d’autres seniors (et je ne vous parle même pas des mesquineries et autres animosités personnelles qui – comme dans tout groupe humain – se font évidemment jour, tant il est vrai que "l’anonymat" des articles évalués n’empêche souvent en rien d’identifier leur auteur.)
- le processus d’évaluation est looooooong, très long (entre 6 mois et 2 ans, parfois plus)
- il est également coûteux (frais d’édition, de secrétariat, etc …)
- il ne joue pas son rôle de filtre (la plupart des articles refusés finissent par être publiés par d’autres revues, et pas nécessairement moins "prestigieuses")
- il est inefficace qualitativement (on a ainsi montré que les "experts" étaient le plus souvent incapables de repérer les erreurs volontairement introduites dans des articles bidonnés pour les besoins du test)
Bon … devant cette charge en règle, quels sont les modèles alternatifs dont on dispose aujourd’hui ?
- Modèle fermé : on pousse jusqu’au bout la logique d’anonymat des articles : non seulement on ne donne pas le nom de l’auteur mais on anonymise aussi toutes les références de l’article et de sa bibliographie à des institutions et/ou à d’autres articles du même auteur : non seulement c’est infaisable, mais en plus cela ôte évidemment des éléments essentiels à l’expertise elle-même. Donc on perd sur les 2 tableaux. Modèle perdant-perdant.
- Modèle semi-ouvert : on lève l’anonymat des pairs : les auteurs savent qui les évalue. On parle alors d’« open peer-review ». Et ça marche puisqu’on note que dans ce cadre :
- on critique moins, ou à tout le moins les critiques sont argumentées,
- les commentaires sont souvent plus approfondis, plus argumentés et plus courtois
- Ils (les pairs toujours) sont ainsi incités à décliner l’évaluation quand ils ne s’estiment pas compétents
- Les jugements abusifs plus facilement repérés.
- Le travail des experts s’en trouve in fine valorisé et bénéficie de plus de crédit
- Donc … tout le monde est content, et on est sur du gagnant-gagnant.
Nombre de revues (ou groupements de revues) ont d’ailleurs fait ce choix : BMJ (British Medical Journal ), BiomedCentral, MJA (Medical Journal of Australia ) et d’autres …
- Modèle ouvert : le plus radical, le plus novateur. Donc le plus intéressant. Et donc le plus critiqué. On ne se contente plus de lever l’anonymat des pairs, mais on autorise les “lecteurs” à intervenir dans le processus en déposant leurs commentaires sur des articles soumis à publication. On parle alors de “commentary-based peer-review” ou de “peer-commenting”. Trois manières de mettre en place un "Peer-commentary" : commentaires AVANT, APRES ou A LA PLACE de la revue par les pairs. Pour autant, il ne s’agit pas de sombrer dans un extrémisme candide :
c’est la co-existence des deux modèles (Peer-commentary puis
peer-reviewing ou l’inverse) qui est intéressante et novatrice,
l’initiative de la décision de publication restant dans chaque cas aux
experts.
Le "Journal of Interactive Media in Education" combine pré et post-commentary. Le journal "Electronic Transactions on Artificial Intelligence" a lui décidé d’ouvrir aux lecteurs le processus de revue par les pairs. Quant à "Psycoloquy" ou "JIME", le choix s’est porté sur l’ouverture aux commentaires après le processus de Peer-Reviewing.
Alors … le complexe d’Oedipe ravagera-t-il le petit monde de la recherche ?
Nota Bene : Les faits relatés ci-dessus ne sont pas le produit de mon imagination malade mais le résultat d’un travail d’expertise qui trouvera peut-être un aboutissement dans une "vraie" publication (enfin si je trouve le temps et si elle est acceptée par mes pairs ;-), lequel travail doit énormément à la mini-bibliographie suivante :
- Harnad Stevan, 2000. "The Invisible Hand of Peer Review". En ligne.
- Piolat A and Vauclair J, "Le processus d’expertise éditoriale avant et avec Internet", "Pratiques psychologiques", Vol 10 n°3, pp. 255-272, 2004. En ligne.
- Jefferson T, Demicheli V. "Are guidelines for peer-reviewing economic evaluations necessary ? A survey of current editorial practice." Health Econ. 1995 Sep-Oct;4(5):383-8.
- Stern David, "Open access or differential pricing for journals:" Online Vol. 29 No. 2 — Mar/Apr 2005. En ligne.
J’ajouterais que le modèle « ouvert » a gagné en crédibilité après la vague de scandales de ces deux dernières années couronnée par le cas de Hwang Woo-suk (Corée du Sud) qui a affirmé avoir cloné des cellules-souches embryonnaires.
En effet, un « papier » ouvert à l’ensemble de la communauté scientifique s’expose à une critique beaucoup plus radicale que celle des pairs (anonymes ou pas).
La validation ouverte impose alors au chercheur une rigueur supplémentaire.
Dans le modèle ouvert, que les articles soient en passe d’être publiés et les commentaires s’intégrent alors dans le processus éditorial ou que le « papier » soit déposé dans une archive en dehors du processus de validation éditorial ne change rien à l’évaluation par la communauté scientifique qui décidera de la qualité de l’article.
Dans les domaines comme la physique ou les mathématiques, le dépot dans Arxiv précède souvent la soumission aux revues. Les chercheurs du domaine n’hésitent pas à commenter et évaluer le pré-print. Le modèle ouvert n’est donc pas très nouveau mais l’intégration de ce modèle dans le processus éditorial et à d’autres domaines scientifiques va révolutionner la position et le rôle des chercheurs face aux productions scientifiques.
Pour finir ce commentaire, je ferais le parallèle avec le blog. Mes étudiants de DESS m’ont demandé si on pouvait faire confiance aux écrits contenus dans les blogs à caractère scientifique et/ou professionnel. Ma réponse a été que la validation est considérée comme acquise si le blog a une certaine audience (blog cité par d’autres blogs, articles…) et qu’il autorise les commentaires car les professionnels qui lisent ces blogs peuvent toujours critiquer le contenu ou compléter le propos de l’auteur.
Faut-il tuer le pair ?
Excellente réflexion sur le processus d’expertise et notamment sur la revue par les pairs (en anglais peer-reviewing) avec la présentation synthétique de modèles alternatifs pour la validation des connaissances scientifiques.