El proceso se denomina revisión por pares. Antes de que un artículo pueda publicarse en una revista científica, los autores lo envían a un editor, quien lo remite a expertos independientes que evalúan sus métodos, analizan sus afirmaciones y recomiendan si merece ser publicado. Es un proceso imperfecto, pero es lo más parecido a un filtro de calidad que tiene la ciencia. Y según un nuevo modelo publicado en PLOS Biology por Carl Bergstrom y Kevin Gross, podría estar desmoronándose silenciosamente. El otro día, me reuní con ellos para intentar comprender mejor dicho modelo.

Un ciclo autodestructivo

Es importante comprender que la revisión por pares ha estado tambaleándose durante décadas. Sin embargo, Gross, estadístico de la Universidad Estatal de Carolina del Norte, considera que el pasado reciente es cualitativamente diferente. Según me comentó, las tendencias de los últimos cinco a diez años "han exacerbado la situación" y han generado una frustración generalizada entre los editores.

El mecanismo que postula su modelo resulta casi elegante por lo mal que funciona. Cuando aumentan las solicitudes a revistas de élite, el grupo de revisores cualificados se reduce drásticamente. Los editores deben contratar a personas con menos experiencia o recurrir una y otra vez a los mismos revisores de siempre. La calidad de las revisiones disminuye. Los autores responden racionalmente: se arriesgan más y envían sus trabajos a publicaciones prestigiosas que de otro modo habrían descartado. El volumen de solicitudes aumenta. El ciclo se retroalimenta.

Lo veo de primera mano. Como editor sénior de Ecology Letters , una de las revistas más selectivas de ecología, encontrar revisores cualificados se ha vuelto realmente difícil. La buena ciencia requiere buenos revisores, lo que en la práctica significa personas cuyo trabajo ya conoces y en cuyo criterio confías. Eso reduce el número de candidatos. He puesto a prueba mis conocimientos sobre colegas del sector hasta el límite.

Dos características estructurales hacen que el problema sea especialmente complejo. La revisión por pares se basa en trabajo no remunerado, por lo que la opción obvia de aumentar los salarios para incrementar la oferta no está disponible. Además, la revisión por pares cumple una doble función: clasifica los artículos en la mesa editorial de una revista, pero también disuade a los autores de presentar sus trabajos más débiles. Cuando la calidad de la revisión disminuye, ambas funciones se deterioran simultáneamente.

Un posible diagnóstico es que los científicos simplemente están eludiendo un deber profesional, pero cuando le pregunté, Gross rebatió esa interpretación. «Creo que, ingenuamente, a veces se oye decir que la dificultad para encontrar revisores es solo consecuencia de alguna falta moral por parte de los científicos», dijo. Los verdaderos motivos son estructurales: fuerzas económicas que ninguna exhortación puede contrarrestar.

Más revistas, peor ciencia.

Más revistas deberían repartir la carga de trabajo. Pero no lo hacen. Cuando se rechaza un manuscrito, los autores simplemente lo vuelven a enviar a otras revistas, generando oleadas de revisiones repetidas del mismo trabajo por parte de un grupo de revisores ya saturado. Todas las revistas recurren a los mismos revisores, pero ninguna asume el coste total de agotarlos. La decisión lógica de cualquier revista individual agrava el problema colectivo.

A medida que las revistas se han digitalizado y proliferado, su identidad se ha desdibujado. Una solicitud de revisión es solo un correo electrónico más. Hay menos sentido de pertenencia colectiva y menos capital social en juego al rechazarla. Sospecho que esto importa más de lo que la mayoría de los editores quieren admitir.

Lo que sugiere el modelo

En mi opinión, la herramienta más poderosa es el rechazo directo: los editores rechazan un artículo antes incluso de que llegue a manos de un revisor. Esto permite reservar el valioso tiempo y el esfuerzo para aquellos trabajos que realmente merecen ser revisados. Sin embargo, Bergstrom, biólogo de la Universidad de Washington, observa resistencia en un ámbito inesperado: los propios editores. «Una respuesta muy común es: “Soy editor académico y no nos pagan. Ya es suficiente con tener que tomar decisiones”», comentó. Esto le resulta desconcertante. A mí también. «No me queda claro cuál es el propósito de ser editor académico si no se toman decisiones ni se contribuye a orientar la investigación en la comunidad».

Luego está el tema del dinero. Pagar a los revisores podría brindar a las editoriales una herramienta de captación de clientes de la que actualmente carecen, pero Bergstrom advierte sobre una trampa bien conocida. Citó el clásico estudio de la guardería que comenzó a multar a los padres por recoger tarde a sus hijos, solo para ver cómo aumentaba la impuntualidad: la obligación social había sido reemplazada por una transacción. "Si empiezan a pagar 150 dólares por una reseña, entonces no tengo ningún incentivo para aceptarla", dijo. Peor aún, los revisores más solicitados tienen los costos de oportunidad más altos, por lo que el pago corre el riesgo de atraer a las personas equivocadas. Gross ve una posible solución: en lugar de tarifas fijas, una revista podría ofrecer un premio sustancial a la reseña más constructiva en un período determinado, preservando la motivación social a la vez que añade un incentivo material.

El problema más profundo reside en las recompensas profesionales asociadas a las publicaciones de élite, precisamente lo que inunda el sistema. Reducir esas recompensas exigiría que la comunidad científica renegociara colectivamente sus valores. Como señaló Gross, muchas de las intervenciones «requerirían la coordinación entre grandes grupos que normalmente no se coordinan».

Una carrera contra las máquinas

La dimensión más urgente apenas aparece en el artículo en sí, pero dominó el final de mi conversación con sus autores. Los grandes modelos lingüísticos ya están cambiando la situación en ambos sentidos. En cuanto a la presentación de manuscritos, los modelos lingüísticos han reducido el tiempo necesario para producir un manuscrito, acelerando así el flujo constante de solicitudes. En cuanto a la revisión, algunas conferencias han comenzado a utilizar modelos lingüísticos para una primera selección de los trabajos presentados. Gross cree que estamos muy cerca del día en que los editores, en un momento de frustración, recurran a la revisión automatizada mediante modelos lingüísticos. El riesgo, afirmó, es existencial para la integridad del sistema: «Debemos preservar la revisión humana como motor de las decisiones editoriales en las revistas científicas».

Creo que Gross tiene razón, y que la amenaza está más cerca de lo que la mayoría de los científicos se dan cuenta. La revisión basada en LLM seleccionaría la mediana, filtrando precisamente los trabajos sorprendentes y poco convencionales que más importan. Como dijo Bergstrom: «Creo que lo que se busca son los valores atípicos, y creo que es muy improbable que el aprendizaje automático, al menos los enfoques basados ​​en LLM, conserven los valores atípicos deseados». Un sistema que no puede reconocer lo excepcional no es un filtro de calidad, sino un motor de conformidad.

Si se pretende que la revisión por pares sobreviva, la comunidad científica debe tratarla como lo que este artículo revela que es: un bien común frágil, no un recurso gratuito. (I)

*Este artículo fue publicado originalmente por Forbes.com