Mentre gli enti finanziatori valutano la possibilità di usare l’intelligenza artificiale per esaminare le domande di sovvenzione, uno studio ha sollevato preoccupazioni sul fatto che questi strumenti potrebbero favorire la ricerca consolidata rispetto alle idee più innovative. L’IA può offrire rapidità ed efficienza, ma le sue valutazioni potrebbero anche influenzare quali progetti ricevono sostegno.
In una ricerca pubblicata su Scientometrics ad agosto, Diogo Machado ha chiesto a GPT-4o di OpenAI di confrontare 139 proposte autentiche presentate al Fondo austriaco per la scienza nel 2021. Il modello ha valutato le proposte a coppie, scegliendo quale dovesse ricevere i finanziamenti. Quelle selezionate più spesso si sono classificate ai primi posti.
Le proposte comprendevano anche le valutazioni dei revisori umani riguardo a innovatività, qualità scientifica, capacità del gruppo di ricerca e fattibilità, oltre alle decisioni definitive sui finanziamenti. Le scelte di GPT-4o coincidevano con quelle dei revisori umani nel 60% dei casi. Machado ha tuttavia rilevato che il modello aveva sistematicamente meno probabilità dei revisori di selezionare proposte giudicate altamente innovative.
Machado, che dirige il gruppo di data science presso la società di consulenza sulle politiche scientifiche Technopolis, ha affermato che i risultati indicano il rischio che una valutazione assistita dall’IA possa orientare i finanziamenti verso ricerche basate su idee consolidate e trascurare potenziali scoperte rivoluzionarie.
Sospetta che i modelli linguistici di grandi dimensioni possano avere difficoltà a riconoscere l’innovatività perché apprendono schemi ricorrenti da grandi insiemi di dati. Le idee dominanti compaiono più spesso in quei dati, mentre i contributi davvero nuovi sono meno comuni; di conseguenza, il modello dispone di meno schemi a cui attingere per valutarne il valore. Lo studio, tuttavia, non ha verificato perché si manifestasse questa distorsione.
L’analisi presentava anche un limite: a GPT-4o è stato chiesto semplicemente quale proposta dovesse ricevere i finanziamenti, senza fornire i criteri specifici usati dai revisori umani. Tuttavia, applicare un criterio di innovatività non risolverebbe necessariamente il problema. Susan Guthrie, direttrice per la scienza e le tecnologie emergenti presso RAND Europe, ha osservato che l’innovatività è soggettiva e difficile da standardizzare.
Diversi importanti enti finanziatori stanno esaminando come si potrebbe usare l’IA nella valutazione delle sovvenzioni. Il mese scorso UK Research and Innovation ha dichiarato di stare valutando una procedura di valutazione assistita dall’IA attraverso una sperimentazione controllata, che confronterà le valutazioni generate dall’IA con le precedenti decisioni sui finanziamenti. Wellcome, invece, vieta ai revisori di inserire le domande di sovvenzione negli strumenti di IA generativa per motivi di privacy, pur consentendone l’uso per attività secondarie, come verificare se siano già state condotte ricerche simili.
Machado ha affermato che comprendere le distorsioni che gli strumenti di IA potrebbero introdurre può aiutare gli enti finanziatori a sviluppare misure di salvaguardia.
Fonti: Nature.