Mientras los organismos financiadores exploran el uso de la inteligencia artificial para evaluar solicitudes de subvención, un estudio ha suscitado preocupación por la posibilidad de que estas herramientas favorezcan la investigación consolidada frente a ideas más novedosas. La IA puede ofrecer rapidez y eficiencia, pero sus evaluaciones también podrían influir en qué proyectos reciben apoyo.

En una investigación publicada en Scientometrics en agosto, Diogo Machado pidió a GPT-4o, de OpenAI, que comparara 139 propuestas reales presentadas al Fondo Austríaco para la Ciencia en 2021. El modelo evaluó las propuestas por pares y eligió cuál debía recibir financiación. Las que obtuvieron más selecciones ocuparon los primeros puestos.

Las propuestas también incluían las evaluaciones de los revisores humanos sobre novedad, calidad científica, capacidad del equipo y viabilidad, junto con las decisiones finales de financiación. Las elecciones de GPT-4o coincidieron con las decisiones de los revisores humanos en el 60 % de los casos. Sin embargo, Machado descubrió que era sistemáticamente menos probable que el modelo seleccionara propuestas con una alta valoración de novedad que los revisores.

Machado, quien dirige el equipo de ciencia de datos de Technopolis, una consultora de políticas científicas, dijo que los resultados apuntan al riesgo de que la evaluación asistida por IA oriente la financiación hacia investigaciones basadas en ideas consolidadas y pase por alto posibles avances decisivos.

Sospecha que a los grandes modelos de lenguaje les puede resultar difícil identificar la novedad porque aprenden de patrones recurrentes en grandes conjuntos de datos. Las ideas convencionales aparecen con más frecuencia en esos datos, mientras que las aportaciones verdaderamente nuevas son menos comunes, por lo que el modelo cuenta con menos patrones en los que basarse al juzgar su valor. No obstante, el estudio no comprobó por qué se producía el sesgo.

El análisis también tenía una limitación: simplemente se preguntó a GPT-4o qué propuesta debía recibir financiación, en lugar de proporcionarle los criterios específicos utilizados por los revisores humanos. Pero aplicar un criterio de novedad no resolvería necesariamente el problema. Susan Guthrie, directora de ciencia y tecnologías emergentes de RAND Europe, señaló que la novedad es subjetiva y difícil de estandarizar.

Varios grandes organismos financiadores están examinando cómo podría utilizarse la IA en la evaluación de subvenciones. El mes pasado, UK Research and Innovation dijo que estaba explorando la evaluación asistida por IA mediante un ensayo controlado que comparará evaluaciones generadas por IA con decisiones de financiación anteriores. Wellcome, por su parte, prohíbe a los revisores introducir solicitudes de subvención en herramientas de IA generativa debido a preocupaciones de privacidad, aunque permite su uso para tareas secundarias, como comprobar si ya se ha llevado a cabo una investigación similar.

Machado dijo que comprender los sesgos que podrían introducir las herramientas de IA ayudaría a los organismos financiadores a desarrollar salvaguardias.

Fuentes: Nature.