Published online by Cambridge University Press: 04 February 2010
Douglas P. Peters and Stephen J. Ceci

DOI: 10.1017/S0140525X00011183

Un intérêt et une préoccupation croissants concernant l'adéquation et l'équité des pratiques modernes d'évaluation par les pairs dans le domaine de la publication et du financement sont manifestes dans un large éventail de disciplines scientifiques. Bien que des questions aient été soulevées quant à la fiabilité, la responsabilité, les préjugés et la compétence des évaluateurs, très peu de recherches directes ont été menées sur ces variables.

La présente étude visait à examiner directement le processus d'évaluation par les pairs, dans le contexte naturel des évaluations réelles des manuscrits soumis par les revues. Comme matériel d'essai, nous avons sélectionné 12 articles de recherche déjà publiés par des chercheurs issus de départements de psychologie américains prestigieux et très productifs, à raison d'un article provenant de chacune des 12 revues américaines de psychologie les plus réputées et les plus lues, caractérisées par des taux de rejet élevés (80 %) et des pratiques d'évaluation non anonymes.

Après avoir remplacé les noms et les institutions d'origine par des noms et des institutions fictifs (par exemple, Tri-Valley Center for Human Potential), les manuscrits modifiés ont été officiellement soumis à nouveau aux revues qui les avaient initialement évalués et publiés 18 à 32 mois plus tôt.

Sur les 38 rédacteurs en chef et évaluateurs de l'échantillon, seuls trois (8 %) ont détecté les resoumissions. Ce résultat a permis à neuf des douze articles de poursuivre le processus d'évaluation et de recevoir une évaluation réelle : huit des neuf articles ont été rejetés. Seize des dix-huit évaluateurs (89 %) ont recommandé de ne pas les publier et les rédacteurs en chef ont suivi leur avis. Les motifs de rejet ont souvent été décrits comme des « graves défauts méthodologiques ». Plusieurs interprétations possibles de ces données sont examinées et évaluées.