Revues éperdues et pairs éreintées (et réciproquement)

3 commentaires pour “Revues éperdues et pairs éreintées (et réciproquement)”

1. Bonjour,
   voici un commentaire que j’avais laisse sur le blog de Florent Latrive a propos du meme article de Nottale. Je pense qu’il est toujours d’actualite…
   « Je viens de lire l’article de Nottale.
   Euh…
   Comment dire ?
   « Jojo ivre mort au café du commerce » serait un peu exagere. Pis c’est deja pris…
   Peut-etre « oui-oui au pays des revues scientifiques » serait plus approprie ?
   Notre genie incompris (ah, l’univers fractal…) semble oublier quelques faits (pardon) dans son argumentation. Par exemple : 1. il est toujours possible de contester un avis negatif (on conteste rarement les positifs me direz-vous). Cela s’appelle « rebuttal letter » dans la langue de l’Empire. Ca ne garantit pas la publication mais ca marche parfois (j’ai un exemple tres recent sous la main). Les editeurs sont ouverts au dialogue. Cela leur permet aussi, eh oui, de faire le tri parmi leur referees (j’ai aussi des exemples concrets dans mon entourage direct).
   2. beaucoup de revues proposent aux auteurs une black-list de referees. Encore une fois, aucune garantie que l’editeur ne prendra pas un referee dans cette liste, mais au moins est-il au courant d’un possible conflit d’interet.
   3. les revues ont le regard fixe sur leur index de citations. Autrement dit, plus un article qu’il publie sera cite dans les deux annees a venir, plus un editeur est heureux. Je vous promets que cela ne desavantage pas les recherches originales, novatrices, avec de vrais enjeux fondamentaux, etc. Bien au contraire !!
   Je pourrais commenter tout l’article mais je crains la perte de temps pour tout le monde.
   Pour avoir ete chercheur en France et a l’etranger et avoir travaille dans de grandes collaborations internationales ou dans de petites equipes, je constate quand meme que le peer-review est tres mal accepte par beaucoup de francais (beaucoup plus qu’ailleurs en tous cas), ces genies que l’on bride en osant porter un regard critique, forcement court-termiste, sur les revolutions scientifiques qu’ils nous preparent pour le prochain millenaire. Je dois avouer qu’a force de l’entendre, ce discours finit par lasser. »
   http://caveat.ouvaton.org/2006/12/01/70/

   Répondre

2. Blop> Je vais donc faire à peu près la même réponse que caveat à votre commentaire : le peer-review n’est pas à jeter aux orties. Pour autant et particulièrement pour les sciences humaines et sociales , il est clair qu’il atteint de plus en plus fréquemment ses limites et que remis dans le contexte de l’explosion du nombre de revues disponibles et du phénomène d’Open Access, il est clairement à repenser. Ou pour le dire autrement, je ne croie pas qu’il soit aujourd’hui possible de faire l’économie d’un essai de quelques modèles alternatifs, pour pouvoir ensuite en tirer tous les enseignements. C’est d’ailleurs bien dans cette voie que quelques prestigieuses revues se sont déjà engagées, mais il s’agit principalement de revues en sciences fondamentales (physique, médecine,etc). A ce titre, je ne trouve pas que l’argumentation ou le constat de Nottale soient naïfs. Je n’ai encore que peu d’expérience en la matière (mais j’ai quelques contacts 🙂 et je peux aisément vous citer le nom des revues « princeps » dans certains champs dont le processus de peer-reviewing fonctionne dans une opacité totale et qui sont à des années lumière d’une réalité qui existe par ailleurs et que vous décrivez justement, laquelle réalité consiste par exemple à mettre à disposition des auteurs des black-list de referrers.
   Cordialement

   Répondre

3. Olivier >
   je recommence avec mes petites listes, j’aime bien 🙂
   1. je ne connais pas assez la situation des sciences humaines et sociales pour juger de ce cote-la
   2. je ne vois pas en quoi l’explosion du nombre de revue met en peril le systeme du peer review. Dans le discours de Goodstein que Nottale cite, c’etait meme le contraire : la fin de l’explosion du nombre de revue met en peril le systeme du peer review. Alors je ne sais a qui repondre.
   3. je ne vois pas non plus le rapport avec l’Open Access, c-a-d le transfert des charges d’edition des lecteurs vers les auteurs (auquel je suis favorable par ailleurs)
   4. l’Open peer-review, c’est encore du peer review.
   Sur l’article de Nottale :
   « Dès qu’un auteur propose une idée nouvelle, originale ou simplement sortant de l’ordinaire, il se trouve souvent confronté a des problèmes et des blocages sans fin. » > Tout d’abord, la contradiction entre « Des qu’un » et « souvent » ferait crier n’importe quel pair serieux ! Ensuite, j’ai l’impression qu’il s’agit d’un plaidoyer pro domo (et il y a beaucoup a dire sur le mediatique univers fractal) : si je ne suis pas publie c’est parce que je suis trop original. Enfin, comme je l’ai dit, les revues sont tres friandes d’idees nouvelles, c’est ce qui fait monter leur facteur d’impact !
   « L’expert choisi par les éditeurs d’une revue à laquelle est soumis un article scientifique  » > je ne connais pas une revue qui n’emploie pas au minimum 2 ou 3 referees, voire plus pour des articles que l’editeur juge difficile a evaluer…
   « Or de plus en plus de referees s’arrogent le droit de juger du travail de leurs collègues, en terme de critique destructive et de jugement de valeur. » > Certains commentaires sont parfois secs, mais l’auteur a toujours (en tous cas en physique et biologie) la possibilite de les contester.
   « pouvoir de vie et de mort sur le travail des chercheurs, et donc sur la vie des idées elles-mêmes, qui n’ont d’existence sociale que sous forme de publication et de diffusion pour le plus grand nombre. » > on ne publie pas des idees, on publie avant tout des resultats (les idees sont dans la section « discussion »).
   « Le problème est l’absence d’instance d’arbitrage indépendante. » > euh… qui serait composee de ? pairs ? ah…. ben c’est ce que font les revues quand elles demandent un avis supplementaire, non ?
   « Les exemples abondent où le concurrent direct, qui est sur une position alternative contradictoire avec celle de l’auteur, est choisi comme referee (pas forcément par volonté explicite des éditeurs, mais plutôt par ignorance et par dysfonctionnement du système lui-même) et s’empresse de refuser l’article. » > il n’y a jamais 1 seul referee (il en parle dans le paragraphe suivant !!) et la decision finale de publication est celle de l’editeur.
   « l’évaluation de la science n’est pas une science exacte! » > 1 referee c’est pas bien, 2-3 referees c’est pas bien, 10 ca sera pas mieux, il veut quoi, la ? Il propose quoi comme evaluation exacte de la science ?
   « Mais le plus grave est le nombre très important de cas où les « décisions » des referees […] ne sont motivées par aucun argument scientifique, mais reposent uniquement sur des jugements de valeur. » > mais bordel, ce type la a deja ete referee ou quoi ? Les revues ne demandent pas de verifier la scientificite d’un article, de detecter la fraude (il est impossible pour un referee de refaire les experiences par exemple) mais bien de juger de sa pertinence, de son interet, de sa valeur, eh oui !!
   « dans les cas les plus extrêmes que l’article soit refusé par l’éditeur sans même avoir été transmis à des referees, ce qui constitue finalement un acte de censure délibéré » > c’est vraiment oui-oui au pays de l’edition… quasi toutes les revues avec un IF>5 fonctionnent comme ca. Si j’envoie un article au Monde et qu’il n’est pas publie, c’est une censure ?
   « Le nombre de ces revues approche les 50000, et le nombre d’articles publiés, toutes sciences confondues, est de plusieurs millions par an. Les comités éditoriaux tentent de faire barrage à cette inflation galopante par tous les moyens, et en particulier par le système des referees. » > premiere fois que je vois cette idee originale : les revues ont mis en place les referees pour limiter le nombre d’articles. J’ai pas bien compris pourquoi. Ca merite publication ! Et pourquoi les revues electroniques s’emmerdent avec des referees alors?
   « les articles standard, clairement reconnaissables car sans idée nouvelle particulière mais au contraire en accord avec le cadre généralement admis, seront acceptés sans problème par les experts et publiés. Les authentiques découvertes scientifiques, impliquant des concepts, outils, ou instruments totalement nouveaux donc non identifiables à partir du bien connu […]
   sont amenées à être systématiquement refusées et extrêmement difficiles à publier dans des revues à forte visibilité, ce qui empêche leur large diffusion. » > cf plus haut. On publie des resultats, pas des idees. Les revues, surtout les plus visibles regorgent de decouvertes impliquant blablabla parce que c’est ca qui fait exploser l’IF ! Lisez Nature, il y a plein de petits clignotants « nouveaux » « extraordinaire » « revolution » partout…
   « C’est ainsi qu’un pouvoir absolu sur le travail des chercheurs est donné à l’un de leurs collègues, » > faut arreter avec cette parano. C’est toujours plusieurs. Le pouvoir absolu, il est entre les mains de l’editeur.
   « c’est le nombre d’articles publiés dans les revues scientifiques prestigieuses, l’importance des revues, la visibilité du travail qui servira d’argument, et non pas la nature effective de ce travail. » > la nature effective de ce travail devrait donc etre juge par ? des pairs ? ah mais non, ils sont tellement peu objectifs etc… le grand public peut-etre ?
   « les chercheurs sont alternativement juge et partie (évalués de façon fréquente, mais aussi souvent évaluateurs) et s’inscrivent dans des réseaux relationnels dont on ne saurait sous-estimer l’importance (3) » > il faudrait donc que notre travail ne soit jamais evalue et que l’on ait aucun contact avec d’autres chercheurs ???
   « Les réflexions profondes et à long terme, les recherches sur des thèmes vraiment fondamentaux, les remises en question sans garantie de résultat à court ou moyen terme, les innovations imprédictibles sont exclues dès l’origine dans ce type d’organisation.  » > c’est l’argument de tous les gourous, tous les vendeurs de memoire de l’eau et de cuillieres tordues. C’est heureusement archi faux.
   je passe sur le couplet nationaliste
   « C’est aux éditeurs de prendre leurs responsabilités, sur la base des remarques des referees. » > c’est ce qu’il font. (AAARGH, j’avais oublie que c’etait de la censure !!!)
   « le travail des referees (par ailleurs très long, lourd, difficile et sans contrepartie) soit accompagné de règles éthiques claires qui doivent leur être transmises (ce qui est le cas pour certains journaux). » > la constitution dit que c’est le premier ministre qui decide de son gouvernement mais sarkozy n’a pas du lire les regles ethiques qui lui ont ete transmises
   « le troisième point essentiel est qu’il y ait un contrôle par les comités éditoriaux du suivi de ces règles. » > je connais des referees qui ont ete blackliste pour avoir emis une critique negative (justifiee) que les auteurs n’ont pas apprecie
   « Dans l’idéal, il devrait être exercé par d’autres instances indépendantes qui restent à définir, » > sic
   « le rejet par un évaluateur ne devrait pas reposer sur ses propres
   choix, préférences et orientation, mais uniquement sur la détection explicite et argumentée d’une contradiction patente avec une expérience ou d’une évidente erreur interne.  » > non, non et non, on ne nous demande pas de detecter les fraudes mais de juger de la pertinence
   tiens, il faudrait lui conseiller de lire ca
   http://www.nature.com/authors/editorial_policies/peer_review.html
   ou ca
   http://www.homme-moderne.org/societe/socio/bourdieu/scienced/index.html
   ca eviterait pas mal de naivetes (j’insiste) ou de mauvaise foi

   Répondre

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.