El perfil del autor de un artículo influye de modo muy significativo en las decisiones de los revisores. Según un estudio reciente, la probabilidad de que un artículo escrito por un ganador del Nobel sea aceptado para su publicación se multiplica por seis frente a otro artículo escrito por un autor menos conocido. ¿Nos parece llamativo o esperábamos este sesgo?
La investigación publicada en PNAS en octubre de 2022 expone claramente esta preferencia y además muestra que la disposición a validar el manuscrito aumenta en un factor seis. Al autor del estudio, Stefan Palan, le parece asombroso el resultado porque, aunque se esperaba un cierto efecto, éste ha sido desmesurado.
¿Cómo hacer una buena revisión de un artículo?
Hay varios métodos para evaluar y aceptar para su publicación los documentos enviados a una revista; las diferencias entre ellos tienen que ver sobre todo con la parte anonimizada durante el proceso: ¿los revisores, los autores, los editores?, ¿quién se oculta a quién durante la valoración?
Las ventajas y los inconvenientes de cada método siguen dando lugar a constantes investigaciones y análisis. Parece que la revisión por pares doblemente anónima es la que produce resultados más objetivos. En esta revisión, también llamada de doble ciego, se mantienen ocultas las identidades de los revisores a los autores y viceversa. Un número cada vez mayor de estudios ha examinado esta práctica y ha indagado en cuestiones como el sesgo de género (en el que los autores masculinos reciben tasas de aceptación más altas que las autoras) y el sesgo de estatus (en el que los autores con un perfil más fuerte obtienen un mayor impulso).
El método de revisión más común utilizado por las revistas científicas es el de anonimato único, en el que los autores desconocen los nombres de los revisores. En Wiley, por ejemplo, una de las editoriales más grandes del mundo, en el 62 % de sus más de 1500 revistas, se utiliza una revisión anónima única, mientras que sólo en el 37 % se realiza una revisión con doble anonimato (el 1 % restante lleva a cabo un modelo conocido como triple anónimo, donde los revisores son anónimos y las identidades de los autores son desconocidas tanto para los revisores como para el editor de la revista). La práctica estándar difiere de una disciplina a otra: física y matemáticas, por ejemplo, tienden a ser más abiertas, mientras que las revistas de ciencias sociales y de salud a menudo prefieren un mayor anonimato.
La revisión doble ciego puede ser logísticamente difícil de implementar: los autores a menudo se delatan accidentalmente en su investigación y los revisores muchas veces pueden adivinar las identidades de los autores o encontrar el artículo en una búsqueda en Google. Incluso puede haber una relación de amistad entre autor y revisor o todo lo contrario; más sangrante aún: un revisor experto puede aprovechar los resultados de un manuscrito para posicionar por delante a su equipo con los datos revelados en el ingenuo documento enviado para su aceptación.
Con todo, «la revisión por pares doble ciego es la práctica por la que apostaría», dice Inna Smirnova, experta en teoría de las organizaciones y autora principal de otro estudio publicado en agosto de 2022 sobre las ventajas y sesgos de los métodos de revisión de artículos enviados para una posible publicación. Irónicamente, los dos estudios aparecieron en SSRN (anteriormente Social Science Research Network), una web sin revisión por pares que ayuda a los académicos a difundir rápidamente su investigación en las fases iniciales mediante los conocidos preprints. Precisamente la existencia de preprints hace que la posibilidad de una revisión doblemente anónima sea menos factible. «Cada vez es más común publicar preprints en el campo de las ciencias sociales», dice Smirnova. Esto hace que para un revisor la búsqueda de los autores de un texto sea muy sencilla.
Conocer el perfil del autor influye en la valoración de su obra
Como editor de una revista, Palan quería comprobar el impacto de la revisión doblemente anónima. Se acercó al ganador del premio Nobel Vernon Smith para preguntarle si tenía un artículo más o menos preparado para enviar. Le preguntó también si estaría dispuesto a participar en un experimento. Smith, economista, y Sabiou Inoua, un colega suyo que se encontraba en el inicio de su carrera investigadora, enviaron un manuscrito. Para la prueba, Palan y su equipo invitaron a más de 3000 personas a revisar el documento, a veces revelando uno u otro de los nombres de los dos autores, y a veces sin revelar ninguno. El nombre que figuraba en el artículo influyó en la disposición de los revisores para leerlo o no: las tasas de aceptación para la lectura del artículo aumentaron del 29 %, cuando conocieron el nombre del principiante, al 36 %, cuando se reveló el nombre del Nobel.
Pero el resultado más llamativo fue que conocer la autoría afectó de forma muy significativa a las opiniones de los revisores sobre el artículo. Las valoraciones para aceptar el texto directamente, o con mínimas revisiones, se multiplicaron por seis, del 10 % al 59 %, cuando se declaró la autoría de Smith. «Sabía intuitivamente que Vernon y yo no sufriríamos las mismas tasas de rechazo por parte de los revisores, pero no imaginaba una brecha de esta magnitud», dice Inoua. Su artículo ahora está siendo revisado, basado en la enorme cantidad de más de 600 páginas de comentarios de los evaluadores, en un intento por justificar sus decisiones.
Por lo tanto, se mostró que conocer el alto estatus del autor de un artículo influye injustificadamente en la opinión de un revisor: podría aumentar su disposición a validar un resultado contrario a la intuición, por ejemplo, aceptando sin más la trayectoria impecable del autor (efecto halo). El estudio de Palan encontró que las opiniones de los revisores influyeron en los parámetros que debían evaluar los participantes en el estudio, incluida la fiabilidad del autor, lo novedoso del contenido y si se verificaban las conclusiones. Estos puntos no deberían verse afectados al conocer la identidad del autor, argumenta Palan.
Un impulso a los marginados
Para comprobar la necesidad de un sistema obligatorio de revisión doble ciego para reducir el sesgo de estado, la investigadora Smirnova y sus colegas analizaron los artículos enviados a 57 revistas publicadas por IOP Publishing, una subsidiaria del Institute of Physics americano; el editor anunció en noviembre de 2020 que introduciría gradualmente una revisión doble ciego opcional. El equipo descubrió que el anonimato aumentó la tasa de aceptación de autores principiantes en un 5,6 %, mientras que redujo las tasas de aceptación de autores de gran prestigio en un 2,2 %. Los autores privilegiados se quedaron sin efecto halo.
Para Smirnova, el aumento en la publicación de autores desconocidos podría favorecer a «grupos marginados de autores que a menudo luchan para que su trabajo sea conocido». A pesar de los beneficios de la revisión de doble anonimato, pocos autores tienden a elegir esta opción. En el estudio de IOP Publishing, sólo una quinta parte de los investigadores optaron por permanecer en el anonimato después de que se introdujera la revisión doble ciego como opción. Nature Portfolio, de la que Nature forma parte, adoptó este tipo de revisión en su familia de revistas en 2015, pero únicamente el 12 % de los autores que enviaron artículos entre 2015 y 2017 eligieron esta ruta. Smirnova espera que el trabajo de su equipo «inspire más cambios».
Otra alternativa que se está volviendo cada vez más popular, incluso en Nature, es la revisión transparente, en la que las revisiones se hacen públicas. Otro modelo, además del triple anónimo, es la revisión abierta, en la que la identidad de todos es pública. Cada método tiene ventajas y desventajas. El doble ciego, «es un mal sistema aunque todos los demás son peores», bromea Palan sobre la revisión doblemente anónima. «Creo que tiene muchos fallos, pero no veo un sistema mejor».
Revisoras de artículos
En este contexto, podemos preguntarnos cuántas mujeres expertas forman parte del grupo de evaluadores solicitados por una revista para revisar los manuscritos recibidos. Según un análisis de envíos de manuscritos a una influyente revista biomédica, éstas están subrepresentadas como revisoras pares, editoras de revistas y últimas autoras. El estudio analizó todos los envíos realizados a la publicación de acceso abierto eLife desde su lanzamiento en 2012 hasta 2017: casi 24 000 en total. Encontró que las mujeres en todo el mundo y los investigadores fuera de América del Norte y Europa tenían menos probabilidades de ser revisores, editores y autores finales. El documento, que, por cierto, aún no ha sido revisado por pares, se publicó en el repositorio de preprints bioRxiv, el 29 de agosto de 2022.
Alrededor de 7000 estudios enviados pasaron por el proceso de envío completo (en eLife, los autores realizan una «consulta previa al envío» antes de que la revista los invite a enviar un artículo completo, una práctica relativamente poco común entre las revistas). En total, el análisis contó con la actividad de unos 7000 revisores, 890 editores revisores y 57 editores senior.
Los investigadores encontraron que las mujeres representan sólo el 20 % de los revisores pares y alrededor de uno de cada cuatro editores. La mayoría de los editores y revisores se encontraban en Estados Unidos (62 % y 56 %, respectivamente), seguidos por el Reino Unido y Alemania en segundo y tercer lugar. Menos del 2 % de los revisores residían en países en desarrollo, todos en China, India o Sudáfrica.
De los envíos, 1549 (22 %) tenían una última autora mujer, una posición que indica antigüedad, y 5127 tenían un último autor masculino.
Los envíos que habían sido editados o revisados por alguien en el mismo país que el autor correspondiente tenían más probabilidades de ser aceptados que aquellos con un país que no coincidía. Nos pueden sorprender estos sesgos teniendo en cuenta que los parámetros para recomendar un artículo son rigurosos: calidad, novedad, claridad, fiabilidad, etc. y es que en una comunidad científica rigurosa y sin prejuicios debería ser así.
Pero los sesgos cognitivos que intervienen en estos procesos de aceptación de los artículos están ahí (no analizamos en esta ocasión los intereses cruzados en juego ni las exorbitantes cantidades de dinero que un autor debe incluir junto a su artículo aceptado por una prestigiosa revista). Es inevitable: hay que ganar un Nobel para que todo lo que se envíe sea aceptado. Es de esperar que si la autora fuera una ganadora de este premio ocurriría lo mismo. Sin embargo, ¿Cuántas mujeres forman parte del selecto comité que decide en última instancia la adjudicación de un premio Nobel? En la página de la Real Academia Sueca de la Ciencia no existe un filtro para obtener una lista de mujeres expertas entre los seleccionados para nominar al Nobel. Hay otros filtros que facilitan las clasificaciones de otro tipo, pero ese de género no está implementado.
Siempre en ciencia, un buen recurso para desterrar estereotipos y sesgos es la diversidad en los equipos; ayuda a tomar conciencia de los sesgos cognitivos y a ampliar la mirada en las valoraciones de otros trabajos, con independencia de sus autorías.
Referencias
- Angulo E (2017). Algunos detalles del sesgo de género en la ciencia. Mujeres con ciencia
- Huber J, Inoua S, Kerschbamer R, König-Kersting C, Palan S, Smith VL (2022). Nobel and novice: Author prominence affects peer review. PNAS 119 (41) e2205779119. DOI: 10.1073/pnas.2205779119 .
- Jones N (2022). Authors’ names have ‘astonishing’ influence on peer reviewers. Nature. DOI: 10.1038/d41586-022-03256-9
- Pérez JI, Sevilla J, (2022). Los males de la ciencia, Next Door Publishers.
- Smirnova I, Romero DM, Teplitskiy M, (2022). Nudging Science towards Fairer Evaluations: Evidence from Peer Review. SSRN.
Sobre la autora
Marta Bueno Saz es licenciada en Física y Graduada en Pedagogía por la Universidad de Salamanca. Actualmente investiga en el ámbito de las neurociencias.