Una disputa tra matematici mette in luce i timori che l’IA possa minare la scienza

OpenAI afferma che i suoi agenti di IA hanno risolto in 88 ore un problema matematico di lunga data relativo alle equazioni di Navier–Stokes. L’organizzazione responsabile dell’assegnazione di un premio per una soluzione ha dichiarato che il problema sembrava essere stato risolto, precisando tuttavia che sarebbe stato necessario del tempo per valutare il lavoro.

Poche ore prima dell’annuncio di OpenAI, il matematico della New York University Tristan Buckmaster aveva sollevato dubbi sulla possibilità che le ricerche condotte dal suo gruppo indipendente fossero arrivate all’azienda. Buckmaster e Levent Alpöge, un matematico che lavora anche per Anthropic, stavano studiando lo stesso problema e conservavano bozze nello strumento di programmazione Codex di OpenAI. Buckmaster ha detto che Alpöge aveva saputo che la notizia dei loro progressi era «arrivata» a OpenAI, senza però spiegare come. Si è chiesto se il loro lavoro potesse essere stato utilizzato, sottolineando di non accusare nessuno di aver agito scorrettamente.

OpenAI ha dichiarato che nessuno all’interno dell’azienda, né una persona né un sistema di IA, aveva avuto accesso al lavoro del gruppo prima della sua pubblicazione. Inizialmente l’azienda ha affermato di non poter escludere che dati anonimizzati sull’utilizzo dei prodotti avessero contribuito a migliorare i suoi modelli, pur ritenendolo improbabile. Alcuni giorni dopo ha detto che i prompt di Buckmaster inseriti in Codex nei due mesi precedenti l’annuncio non avrebbero potuto influenzare il sistema.

L’episodio ha richiamato l’attenzione su una preoccupazione più ampia: l’IA potrebbe indebolire la fiducia nel modo in cui i risultati scientifici vengono prodotti e valutati. Oltre ai dubbi sull’originalità e l’accuratezza, i ricercatori temono che gli errori generati dall’IA diventino difficili da distinguere dai risultati affidabili.

L’IA ha già dimostrato un notevole potenziale scientifico. AlphaFold di Google DeepMind ha previsto la struttura di 200 milioni di proteine in un anno, un compito che, secondo quanto riportato, avrebbe richiesto centinaia di milioni di anni ricorrendo a esperimenti di laboratorio. DeepMind ha reso i risultati liberamente disponibili ai ricercatori, e il direttore del progetto e il suo scienziato principale hanno ricevuto il Premio Nobel per la Chimica.

Ma le affermazioni sulle scoperte generate dall’IA hanno suscitato anche critiche. DeepMind ha dichiarato che il suo modello aveva individuato oltre due milioni di nuove strutture cristalline, circa 380.000 delle quali erano considerate abbastanza promettenti da essere prodotte in laboratorio. I chimici Anthony Cheetham e Ram Seshadri dell’Università della California hanno esaminato un campione casuale e affermato di non aver trovato composti davvero innovativi, descrivendone molti come modifiche minori di materiali noti. Non hanno sostenuto che il metodo fosse errato, ma hanno affermato che i risultati richiedevano un esame e una convalida più rigorosi. DeepMind ha respinto le critiche, dichiarando di aver verificato l’originalità dei composti e che anche piccole modifiche ai materiali conosciuti possono produrre sostanze utili.

Un’altra preoccupazione riguarda la quantità di articoli di bassa qualità e di riferimenti bibliografici inventati che gli strumenti di IA potrebbero generare. In un’analisi di oltre un milione di articoli biomedici, l’informatico Dmitry Kobak dell’Università di Gand ha rilevato segnali di utilizzo dell’IA in quasi il 90% degli articoli entro dicembre dell’anno preso in esame. Gli strumenti di rilevamento dell’IA, tuttavia, sono imperfetti e il risultato non dimostra che ogni articolo segnalato sia stato scritto con l’IA. Kobak ha avvertito che i pregiudizi dei modelli linguistici potrebbero diffondersi nella letteratura scientifica.

Anche la revisione paritaria potrebbe risentirne. Un’analisi condotta da un gruppo guidato da Stanford sulle relazioni dei revisori inviate a quattro importanti conferenze di informatica ha rilevato che fino al 17% era stato modificato in modo sostanziale da modelli linguistici. Separatamente, ricercatori della Cornell hanno scoperto che le bibliografie generate dall’IA includevano studi inesistenti; secondo il rapporto, lo scorso anno sono stati citati circa 147.000 lavori di questo tipo.

Ricerche false o inaffidabili possono spingere gli scienziati a seguire strade senza sbocchi, sprecare fondi pubblici e ritardare i benefici del lavoro valido, compresi i medicinali e le tecnologie sostenibili. Gli editori stanno reagendo introducendo ulteriori controlli. Il team per l’integrità scientifica di Elsevier ha elaborato circa 100 indicatori per aiutare a individuare gli articoli che necessitano di un esame umano più approfondito. Le riviste Nature vietano le immagini generate dall’IA e raccomandano ai revisori di non inserire i manoscritti nei sistemi di IA. La piattaforma di preprint arXiv sospende per un anno i ricercatori che inviano riferimenti bibliografici inventati.

I ricercatori avvertono inoltre che i sistemi di IA potrebbero trascurare risultati preziosi, trattando quelli inattesi come anomalie. La penicillina, la radioattività e le pulsar sono state scoperte grazie a osservazioni che avrebbero potuto essere ignorate. Pushmeet Kohli di DeepMind sostiene che non si dovrebbe rinunciare all’IA, ma afferma che la supervisione umana è essenziale: i ricercatori devono comprendere ciò che ha fatto un sistema e assumersi la responsabilità delle sue conclusioni.

Esistono esempi di IA a sostegno della ricerca quando viene utilizzata sotto questo tipo di supervisione. Andrea Pauli del Vienna BioCenter ha dedicato quasi un decennio allo studio di come gli spermatozoi entrano nell’ovulo. Il suo laboratorio ha utilizzato l’IA nell’ambito di un lavoro che ha individuato una proteina sulla superficie degli ovuli di pesce zebra, suggerendo un meccanismo di ingresso degli spermatozoi simile a una chiave e una serratura.

Secondo quanto riportato, la disputa sul risultato matematico non è ancora stata risolta, ma mostra quanto siano alte le poste in gioco con il ruolo crescente dell’IA nella ricerca: oltre alla sua capacità di aiutare gli scienziati a compiere progressi, la tecnologia solleva interrogativi sull’attribuzione, la verifica e la fiducia.

Fonti: Folha Ciência.