Revue par les impairs : ou comment faute de mieux on garde les peers.

(oui je sais, faut que j’arrête avec ce genre de titre, ça nuit à mon référencement 😉

Beaucoup de boulot, pas mal de cours, et (beaucoup) de billets en attente … donc un peu de ménage s’impose en commençant par le revue par les pairs :

• Tim O’Reilly relate l’opinion de Ian Mulvany (qui travaille pour la revue Nature et est également à l’origine de Connotea) lequel se livre à un intéressant parallèle entre le processus de revue par les pairs et celui de dépôt de brevets. Il développe (entre autres) l’idée que la revue par les pairs ne peut à terme que s’effondrer sous son propre poids, en prenant notamment comme argument le fait que de plus en plus de chercheurs en provenance de la chine et de l’inde, ces deux formidables viviers de compétences, vont littéralement prendre d’assaut les revues académiques. Il note également que l’on peut déjà observer les premiers signes de cet effondrement, notamment via la multiplication des indices de citation. Il note aussi que le critère du nombre et de la qualité des publications n’est plus suffisant dans le cadre de la gestion et de l’avancement des carrières. L’observation la plus intéressante de mon point de vue, est que dans certaines disciplines scientifiques (de plus en plus nombreuses), le dépôt de brevet tend à se substituer à la publication dans des revues à relecteurs, pour la simple raison qu’il est impossible de publier sur un brevet en cours de dépôt (procédure qui peut être relativement longue), et que dans l’industrie, on préfère souvent garder la poule aux oeufs d’or (le brevet) plutôt que de la voir se répandre dans l’espace public d’une revue, fût-elle de très haut rang. Et de conclure : "How can both systems utilize collective intelligence to alleviate the
  numerical and informational pressure that surrounds the act of review ? "
• Un point de vue à croiser avec le dernier billet de Jean-Michel Salaün, relatant un rapport (.pdf) qui fera date et grand bruit puisqu’il montre que l’industrie du "fair use" (usage équitable), grâce aux exceptions permises au regard de la propriété intellectuelle, représente 1/6 du PIB américain. Je reprends un passage d’un extrait du rapport traduit par Jean-Michel : "L’économie américaine est de plus en plus basée sur les
  connaissances qui viennent de la diversité dynamique des industries qui
  dépendent des exceptions à la propriété intellectuelle. Grâce à la
  croissance de l’internet et de la révolution des technologies de
  l’information qui lui sont associées, l’économie des États-Unis a
  bénéficié de la création et de l’explosion d’industries nouvelles et
  d’une relance de la productivité qui a favorisé de meilleurs niveaux de
  vie. (..)".

Pour ceux qui chercheraient encore le lien entre ce rapport et le point de vue rapporté par Tim O’Reilly, il consiste à réflécir sur la manière permettant d’alléger la très lourde pression informationnelle et numérique (au sens de "nombre") pesant sur les revues scientifiques. La mise à disposition des textes-revus-par-les-pairs, si elle se faisait plus tôt ou dans des conditions différentes de celles actuelles, permettrait peut-être à son tour de doper cette économie de l’usage équitable, sans pour autant abandonner un usage – peut-être plus ouvert – du droit d’auteur. Le fait d’ouvrir en amont (peer-commentary) et en aval (post-peer commentary) le processus de revue par les pairs, permettrait également d’accéler la diffusion – contrôlée – des savoirs scientifiques et technologiques en levant pour les mêmes raisons, une partie de la charge qui incombe actuellement aux revues.

• A lire également dans le dernier Edito du Journal de l’INSERM, les propos de son Directeur Général, Christian Bréchot, je cite (et souligne en gras quelques passages) : "(…) la bibliométrie, bien
  qu’incontournable, ne peut être le seul critère d’évaluation de la
  recherche biomédicale : celle-ci doit pouvoir s’adapter aux
  spécificités de la recherche translationelle et clinique, à condition
  de mettre en avant l’innovation réelle des recherches effectuées. Une
  activité, également innovante, d’enseignement, de valorisation –
  notamment avec des brevets de valeur réelle (ie associés à des contrats
  et licenses), l’implication du chercheur dans l’expertise, le lien avec
  les associations, fondations et ligue de patients et, d’une manière
  générale, la diffusion des connaissances à la société sont aussi des
  éléments à prendre en compte. Les débats sur la bibliométrie nous font
  courir le risque d’occulter ces aspects essentiels."

Là encore, ce même souci de "porter" les problématiques scientifiques (et médicales) sur la place publique. Trouver de nouveaux espaces, de nouveaux modèles, ouvrir ceux existants, démultiplier les canaux et les supports de diffusion. Sans pour autant complètement lâcher les rennes ou nier les indéniables assurances que procurent les systèmes actuels (d’évaluation par exemple), mais en démultipliant les expertises et les lieux de leur exercice.

• Et puis il y a le tout récent rapport de la British Academy sur la revue par les pairs dans les sciences humaines et sociales. Lequel part également du constat d’un risque d’effondrement de la revue par les pairs, sous le poids de l’augmentation des soumissions. Le reste est plus étonnant : la British Academy balaie d’une simple phrase les critiques habituellement adressées au peer-review (critiques pourtant particulièrement d’actualité dans les sciences humaines et sociales …) :
  • "the Working Group concluded that there were no better alternatives and
    that often the criticisms were directed at deficiencies of practice
    rather than the principle of peer review"

Et voilà. Y’a pas mieux donc on garde le peer 🙁 Et de produire par la suite une quinzaine de recommandations dont les 3/4 auraient pu être formulées par un élève de maternelle, et l’ont d’ailleurs déjà été (formulées) sur ce blog et ailleurs. La British Academy recommande donc :

• dans la catégorie j’enfonce une porte ouverte : de "former les relecteurs" et de sensibiliser les post-doctorants au fonctionnement de l’évaluation par les pairs. Certes … certes …
• dans la catégorie des coûts du Peer-review, là c’est Oui-Oui au Pays des jouets : le peer-review fait partie intégrante de la vie académique, le peer-review aura toujours un coût, donc … "il faut  développer une compréhension plus profonde des coûts de la revue par les pairs (sic)"
• mais le meilleur est encore à venir, et ce sera dans la catégorie reine, "le peer-review et les différentes métriques", catégorie dans laquelle l’académie indique : "The experience of the European Reference Index for the Humanities
  (ERIH) shows how difficult the task is, and we conclude that the ERIH
  does not at present represent a reliable way in which summary measures
  of peer reviewed publications can be constructed." Traduisez : y’a des gens qui essaient de mettre en place des métriques adaptées aux sciences humaines et sociales. Ca n’avance pas très vite et c’est super difficile à faire (Pour mémoire, Garfield n’a pas, à ma connaissance, inventé la scientométrie en 9 secondes et 6 dixièmes), donc on peut pas s’y fier, et donc y’a qu’à garder ce qui marche mal sans s’obliger à chercher un truc qui pourrait fonctionner mieux.

Les conclusions de ce rapport sont proprement stupéfiantes. A lire "l’executive summary" et la liste des "recommandations"qu’il contient, on est en plein dans la quatrième dimension, au mieux celle de la résistance institutionnelle au changement, au pire celle de la mauvaise foi :-((