Fotomicrografía y Divulgación en Astrobiología, Bioquímica y Ciencias de la Tierra.
Noticia Nº66: Revisión por pares y Open Access, ¿necesarios o un costoso lastre para la Ciencia?.

Noticia Nº66: Revisión por pares y Open Access, ¿necesarios o un costoso lastre para la Ciencia?.

image_pdfimage_print

En los tiempos duros de la pandemia de COVID, cuando muchos científicos se esforzaban (y otros se aprovechaban, hay que decirlo) en entender la biología del coronavirus, las publicaciones científicas proliferaban. Raro era el dia que no apareciera un nuevo preprint (artículo científico que aún no ha sido sometido a revisión por pares) o un nuevo ‘paper’ (artículo científico revisado) sobre el tema. Nunca el público en general había estado tan cerca de conocer cómo funciona el sistema de publicación de los resultados científicos. Era común ver a la gente juzgando la validez de un artículo según si éste había sido revisado por pares o no. De hecho, el término “preprint”, un término heredado de cuando las revistas se publicaban en papel, llegó a tener cierto tono despectivo: “oye, que es un preprint, no le hagas mucho caso” como si la revisión por pares fuera la panacea que elevara el artículo a los más altos niveles de calidad y veracidad.

La gente llegó a entender bien la esencia del sistema de publicación: si tu trabajo ha sido ‘revisado por pares’ y publicado en ciertas revistas ‘reconocidas’ (que normalmente pertenecen a editoriales que se enriquecen de este jugoso negocio) ya tiene presunción de veracidad. Sin embargo, el sistema de revisión por pares no sólo está lejos de ser ideal, sino que podemos considerarlo un fracaso que está lastrando y dañando a la Ciencia; esta idea no sólo la sostengo yo. Cada vez está mas claro que el sistema de publicación científica está obsoleto en el contexto tecnológico actual, sostenido únicamente por presión del lobby editorial y por imperativos burocráticos de los sistemas de evaluación de los científicos. Por si fuera poco, la estafa de la publicación en abierto u Open Access, ha añadido una nueva enfermedad al síndrome que padece el sistema de publicaciones científicas y que lastra el avance del conocimiento científico y dificulta la formación de científicos jóvenes.

La revisión por pares es, en general, irrelevante, costosa y bloquea las nuevas ideas

¿Como publican los científicos sus resultados? En resumen es sencillo: preparas un manuscrito, en el que se relatan y discuten los resultados de una investigación, se envía a una revista en la que, a priori, piensas que encaja. El editor, que suele ser un científico que trabaja gratuitamente para la editorial, decide si es publicable o no, y en caso aformativo, lo envía a los revisores, que son científicos del mismo campo que los autores y que revisan (gratuitamente) y deciden si el trabajo es aceptable o no. Una vez hechos de modo, usualmente, acrítico, los cambios sugeridos por los revisores (pues estos tienen durante el proceso el poder absoluto), se publica. La editorial entonces tiene dos opciones: cobrar a quien quiera leerlo en forma de subscripciones, o bien publicarlo en Open Acess, pasando la factura desde los lectores a los autores, que tienen que pagar todos los gastos de la publicación. En definitiva: la editorial gana dinero publicando contenidos que le salen gratis (pues las editoriales no financian proyectos de investigación), y usando trabajadores que les regalan su tiempo (editores y revisores). Es decir, las editoriales parasitan los fondos públicos dedicados a financiar la Ciencia y los sueldos de los científicos. Un negocio redondo.

Haciendo una analogía: imaginen que un conocido novelista quiere publicar su nueva novela. La editorial envía el borrador a otros novelistas, que hacen críticas, sugieren cambios y deciden si hay que publicarlo o no. Una vez decidida la publicación, o bien la editorial cobra al novelista y la publica en abierto, o bien cobra a los lectores, pero no paga nada al novelista. Supongo que a ustedes esto les parecerá inviable o incluso perverso, como se lo pareció a Einstein, cuyo trabajo se había publicado principalmente antes de la instauración del sistema de revisión por pares. De hecho, Einstein solo tuvo un trabajo sometido a revisión por pares (y además fue rechazado). A pesar de que sus trabajos se publicaron en la época previa al establecimiento de la revisión por pares, nadie duda de su calidad científica.

La famosa e iracunda respuesta de A. Einstein al editor por someter su manuscrito a unos “expertos anónimos” para su evaluación.

La idea, a priori, tenía sentido en un mundo en el que todo se publicaba en revistas en papel: dado que la Ciencia es muy compleja, como editor no estoy capacitado para decidir si este artículo es un galimatías sin sentido o un nuevo avance en su campo, por lo que lo envío a expertos en ese campo particular, para que lo evalúen antes de publicarlo, no vaya a ser que imprimamos una burrada.

Sin embargo, tras décadas de sistema de revisión por pares, se ha demostrado que este es tremendamente ineficiente para detectar errores, investigaciones mal planteadas o fraudes. Pero si que es eficiente en dos cosas: salvaguardar la entrada al exclusivo club de las revistas de ‘alto impacto’ y bloquear la proliferación de ideas nuevas o alternativas, en especial si chocan con las ideas de científicos prestigiosos.

Así, el sistema de revisión por pares dificulta la carrera de los científicos jóvenes, salvo que estén acompañados por científicos prestigiosos, y juega un papel importante en el mantenimiento de la autoridad de los expertos reconocidos. Fomenta el “efecto Mateo” y frena la expansión de ideas nuevas. No solo eso: el sistema de revisión por pares es tremendamente normalizador, limita la creatividad y ralentiza la publicación de resultados, pues los científicos necesitan que éstos se ajusten a una serie de estándares. Por ello, muchos resultados, a veces interesantes, se quedan en el escritorio del científico durante años, porque por diversas razones no han podido completar los estándares de una publicación. Hay otro problema: los revisores tienen una vista privilegiada de un trabajo nuevo antes de que se publique. Si los revisores tienen medios y personal, pueden reproducir el trabajo antes de que haya sido publicado, rechazar su publicación si les conviene a sus intereses, o preparar rápidamente un trabajo de continuación o respuesta. Incluso se ha dado el caso de que revisores han ‘robado’ ideas de artículos cuya publicación han impedido o retrasado. Al ser científicos en el mismo campo, y dado que el sistema fomenta mas la competición que la colaboración, el conflicto de intereses está servido.

El sistema también limita la publicación de resultados negativos, lo cual provoca que muchos investigadores caigan una y otra vez en la repetición de experimentos fallidos que nunca fueron publicados por sus autores. Otro problema asociado a la revisión por pares es la crisis de reproducibilidad. Aproximadamente el 70% de los artículos científicos publicados no han podido ser reproducidos. Es más, sus autores en muchos casos son incapaces de reproducir sus propios resultados. La revisión por pares no garantiza que un trabajo científico sea reproducible, y, mas aun, la revisión por pares desincentiva la publicación de artículos que reproducen y confirman resultados científicos previos, lo cual debería ser algo a fomentar en aras de la buena salud de la ciencia.

En este experimento, los autores sometieron a revisión por pares un artículo en el que únicamente cambiaron el nombre de los autores. El contenido era exactamente el mismo. Cuando el autor era un investigador junior, desconocido en el campo, el 65% de los revisores recomendaron contra la publicación del trabajo. Sin embargo, cuando el autor era un científico prestigioso (premio Nobel), sólo el 22.5% recomendaron rechazar el trabajo. El sistema de revisión por pares está obviamente sesgado. Fuente.

Una buena prueba de que el sistema de revisión por pares es fallido es que son muy ineficaces a la hora de detectar fraudes, que, en su mayoría, son observados por los lectores una vez publicado el artículo. Y esto nos hace preguntarnos: Si el sistema de revisión por pares es fallido, y en los tiempos actuales, en los que publicar online es más sencillo que nunca y permite exponer nuestro trabajo a la revisión de miles de lectores, ¿por qué seguimos manteniendo el sistema?. La posible respuesta la veremos más adelante.

Mi experiencia con la revisión por pares en ciencias experimentales

En cuanto a mi, si, he hecho muchas revisiones de artículos en el sistema de revisión por pares. Tenemos la ventaja de trabajar en Ciencia experimental, y ahí las revisiones por pares suelen ser mucho más objetivas. Como punto positivo puedo decir que, en la mayoría de los casos, la revisión por pares ha sido una inestimable ayuda para terminar publicando un buen artículo, detectando incosistencias o errores que pudieron corregirse. Aunque he tenido revisiones injustas y subjetivas que han dificultado mi trabajo, y también revisiones irrelevantes, revisores que deseaban ser citados o alabados, y comentarios ‘normalizadores’ que te obligan a evitar el choque de ideas, lo cierto es que mi experiencia personal global con la revisión por pares es positiva.

En cuanto a mi papel como revisor, en el campo que trabajo, de nuevo, es todo objetivo y relativamente sencillo revisar los aspectos técnicos. ¿habría sido capaz de detectar fraudes? probablemente no, salvo que fueran burdos. ¿he rechazado muchos artículos? lo cierto es que no, la mayoría de los artículos que he revisado se han publicado. Solo he rechazado la publicación de unos pocos, por problemas metodológicos o de análisis de resultados graves. ¿he contribuido a mejorar los artículos que he revisado? en la mayoría de los casos, no mucho. En algunos, si, sin duda. Globalmente, la mayoría de los artículos que he revisado podrían haberse publicado tal cual. ¿sometería voluntariamente mis artículos a revisión por pares si pudiera elegir? probablemente, si. De hecho, lo que yo haría para mejorar la revisión por pares es quitar el poder a los revisores. Actualmente, de facto, son los revisores externos quienes deciden si se publica o no un paper y estas prácticamente obligado a responder y aceptar todos los comentarios de los revisores, arriesgándote a que no se publique el artículo si discutes alguno de ellos. Creo que un sistema de revisión no vinculante, e incluso voluntaria, sería bastante positivo, aunque es una utopía ahora mismo.

Así que, tras vivir los dos lados de la revisión por pares y como soy consciente de los problemas de la revisión por pares, y también los he sufrido, para hacer la revisión sigo estas pautas, que tal vez sean de utilidad para quienes se inician en ello:

  • No me importa quien firme el manuscrito, solo el contenido. Mi enfoque no es “revisar” sino “intentar ayudar”.
  • Intento que mi revisión no sea anónima. Muchos “journal” te dan a elegir. El anonimato, como bien sabemos en las redes sociales, saca lo peor de la gente.
  • No juzgar. No juzgo cómo esta escrito, el revisor científico no es un corrector de pruebas; no valoro si me agrada lo que dice, si va a favor o en contra de mis ideas, si hay conflicto, si me cita a mi o no, o si me gustaría que pusiera algo más, si me gustan las figuras, o cualquier otro juicio de valor; no considero lo que “yo haría” o “yo pondría”, salvo que sea necesario para el último punto; no juzgo si me gustan las figuras o si yo pondría la leyenda así o asao, o los colores tal, o la gráfica de otro modo. No creo que sea mi papel como revisor; tampoco juzgo si el artículo es apropiado para esa revista, eso es trabajo del editor (y ello respondo si se me pregunta).
  • No intento ‘quedar por encima’. El hecho de tener que revisar un paper no quiere decir que tenga que mostrar lo listo que soy, ni que tenga que entenderlo todo perfectamente, o tener que escribir muchos comentarios, o encontrar fallos a toda costa. Siempre añado un comentario agradeciendo el trabajo a los autores y con una valoración positiva, y pregunto dudas que me surjan.
  • Me pregunto únicamente: ¿lo entiendo todo? ¿hay algo que no entiendo y que quiero aclarar? ¿hay errores metodológicos? ¿es consistente la metodología y los resultados o hay algo ‘raro’? ¿las conclusiones se soportan con los resultados y los experimentos o falta algo/hay ambigüedades? ¿es técnicamente correcto? ¿hay errores de bulto? ¿hay algo importante que no han tenido en cuenta los autores?. Si pasan estas cuestiones, aceptar, incluso sin cambios. Que no pasa nada por, simplemente, aceptar la publicación de un artículo. Luego, el tiempo y los lectores le darán la importancia que deba tener.

Esto en las revisiones por pares de artículos y publicaciones. En las revisiones de propuestas de proyectos de investigación, yo aplico otra dinámica: “quien se erige en juez de su hermano, usurpa el papel de Dios”, asi que siempre doy las máximas valoraciones a los proyectos y recomiendo la financiación de todos los proyectos que he evaluado (salvo que fuera una burrada, que no me ha pasado). Que decidan los burócratas a quienes les dan el dinero, no yo; mi trabajo es hacer ciencia, no decidir quien va a poder hacer la suya. No seré responsable de que un estudiante se encuentre con dificultades para hacer su tesis doctoral por mi juicio o mi falta de juicio.

La estafa del Open Access

La tecnología actual ha puesto en peligro el modo de publicación tradicional. El advenimiento de repositorios y páginas como Researchgate, donde los científicos podemos poner a disposición del público todos nuestros artículos, aunque hayan sido publicados en una revista con acceso por subscripción, y sci-hub, a traves de los que cualquiera puede acceder a un artículo científico, ponía en peligro el sustancioso modelo de negocio basado en la subscripción a las grandes editoriales. Así que surgió el movimiento Open Access. La idea es sencilla e ideal para políticos dados a la demagogia: si las investigaciones se pagan con fondos públicos, se deberían publicar de modo que el acceso a sus resultados también sea público. Además, cualquiera puede montar una revista en Open Access: basta con un servidor de internet, un dominio, e instalar un software gratuito para la publicación.

Pero hay un problema: los científicos estamos obligados a publicar en una serie de revistas de “reconocido prestigio” que, casualmente, están editadas por el lobby editorial. A la hora de lograr fondos para investigación, plazas o contratos, todo depende de los artículos científicos publicados en esas revistas ‘indexadas’ por una gran empresa que parasita a los sistemas públicos de investigación científica.

“No hay problema”, dicen estas editoriales. “podéis publicar también aquí en Open Access”. Pagando, naturalmente, y mucho. Los costes de publicación de un artículo científico en Open Access en una revista de prestigio oscilan entre los 500$ y los 7000$, según el prestigio de la publicación. Las editoriales descubren que pueden seguir ganando dinero (o aún más dinero) con la publicación científica, y el pago corresponde ahora a los propios autores, que deben desviar una cantidad significativa de sus fondos de investigación a los pagos a las editoriales, lo cual dificulta aún más si cabe la investigación. No sólo eso, sino que autores a los que se les ha terminado la financiación o los pertenecientes a instituciones o países mas débiles económicamente, tienen muchas dificultades para publicar sus investigaciones. Es decir, el sistema Open Access consume fondos de investigación y aumenta la brecha entre ‘ricos’ y ‘pobres’, dificultando el desarrollo de la actividad científica, el establecimiento de nuevos grupos de investigación y la educación de científicos jovenes. Todos estos grupos desfavorecidos son víctimas además de otro elemento de esta gran estafa: las revistas depredadoras. Estos publicadores ofrecen publicar fácil y rápidamente en open access a cambio de un pago, por supuesto, y usando revisión por pares, por supuesto. Naturalmente, estas revistas ofrecen la versión más fallida e ineficiente del sistema de revisión por pares, publicando prácticamente todo. Algunas de estas revistas han entrado como elefante en una cacharrería y han llegado a convertirse en editores significativos, como el caso de MDPI y sus tropecientas revistas genéricas donde cualquiera puede publicar todo y, encima, en “Q1”, uno de los marchamos de calidad habituales (explicarlo en detalle para el público alargaría esta entrada innecesariamente).

El ascenso de MDPI. Su agresiva política de publicación masiva y rápida y de utilización del prestigio de investigadores en todos los campos para impulsar la publicación de artículos en “special issues” ha dado sus frutos. Todo el mundo publica ya en MDPI, basta con pagarlo. Pero, ¿queremos que el mundo de las publicaciones científicas sea así? Si MDPI publica todo lo que le llega, no lo necesitamos: ya tenemos repositorios gratuitos. Fuente: Paolo Crosetto

El caso de MDPI está creando mucho debate actualmente. Pero, lo cierto es que revistas como Scientific Reports es muy similar: popular por pertenecer al grupo editorial Nature (y, de hecho, científicos poco éticos utilizan ello para promocionarlo), es un “megajournal” que publica cualquier cosa a cambio del pago de unos 1700 dólares, y adolece de una creciente mala reputación por haber publicado fraudes y artículos de baja calidad, a pesar de ser una revista con revisión por pares. Es lógico que el sistema open access genere este problema si conviertes a los autores en clientes, pues creas un conflicto de intereses.

Personalmente creo que habría que acabar con el negocio de Open Access. Una primera medida para frenarlo es frenar el ansia por publicar. La velocidad y la necesidad de tener muchas publicaciones es negativa, fomenta la competitividad sobre la colaboración e incentiva el fraude. Habría que empezar a incentivar la calidad sobre la rapidez y la cantidad. La gran baza de publicadores como MDPI es aprovechar el “publica o perece”: ¿necesitas publicar mucho y muy rápido? sin problema, nosotros te ofrecemos publicar trabajos a medio cocinar rápidamente, solo paga y ya está. Si fuera comida, la táctica de MDPI es invitar a un conocido chef a hacer una buena hamburguesa con su firma de comida rápida, y luego vender las hamburguesas de siempre. Una vez acabado con el Open Access, quizá habría que quitar el poder a los lobbies editoriales y que las entidades públicas tomen el control de las revistas de prestigio, de modo que dejen de absorber los fondos de investigación.

¿qué podemos hacer?

Con la tecnología actual, no necesitamos ni open access, ni revisión por pares. Todo el mundo podría publicar y leer gratuitamente todos los resultados de investigaciones, sin limitación alguna. En realidad es muy sencillo. En este articulo de The Conversation yo mismo puse resultados originales: a partir de datos moleculares, hacemos modelos proteicos, calculo los puentes de hidrógeno y los cambios que se producen al introducir una mutación. Directamente al público y ha tenido muchas más lecturas que cualquiera de mis trabajos en revistas de ‘alto impacto’ con revisión por pares. O aquí, en este otro trabajo, puesto directamente a disposición del público. Naturalmente, estos son ejemplos muy simples. No puedo poner toda mi investigación en público de esta forma, porque esto, simplemente, no cuenta en la evaluación de resultados científicos y la divulgación científica no se nos valora, o muy poco, en las evaluaciones.

Entonces, es fácil responder a ¿por qué se mantiene el negocio en torno a la publicación Open Access y la revisión por pares? por una razón: la evaluación de la actividad científica. Los evaluadores, en su obsesión cuantificadora, tratan de convertir el trabajo científico en índices y métricas bibliográficas del número de artículos publicados en las revistas ‘aceptables’, bajo el control de las grandes editoriales. Incluso el impacto o repercusión de tus ideas y trabajos se mide simplemente por el número de citas que reciben en esas mismas revistas.

Este sistema de evaluación garantiza que el negocio de las grandes editoriales como Springer o Elsevier puede continuar: como los científicos tenemos que ser evaluados constantemente, no vamos a ‘perder el tiempo’ divulgando nuestros resultados, o publicándolos por nuestra cuenta en abierto, directamente en repositorios de internet, o en forma de libros o como sea. Perfectamente podrían crearse páginas del mismo tipo de repositorios como ArXiv o ChemrXiv, sostenidos por organizaciones científicas o instituciones, donde tanto publicar como leer los artículos derivados de investigación científica pública sea completamente grautito, y donde, organizados por temas, la evaluación se base no en el prestigio del publicador, sino en la verdadera respuesta e interés que susciten esos trabajos, cuya difusión se haga en las mismas condiciones para todos.

Creo que el sistema de Open Access es totalmente innecesario y únicamente defendido por políticos y burócratas menos interesados en el bienestar de la ciencia y los científicos y más en los intereses económicos. Pero, sin duda, el sistema de publicación por revisión por pares y los rankings de ‘prestigio’ de las revistas científicas son convenientes: facilitan la evaluación, pueden en muchos casos mejorar la calidad, y también sirven para que el público y los medios puedan decidir a qué investigaciones conceder más crédito, para reseñarlas, sin necesidad de tener que preguntar a expertos. Sin éste sistema, es muy dificil diferenciar el grano de la paja en campos en los que no eres experto. Creo que ha llegado el momento de hacer un balance de pros y contras y decidir con qué nos quedamos y de qué deberíamos prescindir, o cómo mejorar los fallos de un sistema que, aun siendo imperfecto, parece ser necesario.

Spread the science

Leave a Reply

Your email address will not be published. Required fields are marked *

nineteen + 13 =

This site uses Akismet to reduce spam. Learn how your comment data is processed.