Ein Streit unter Mathematikern schürt die Sorge, dass KI die Wissenschaft untergraben könnte

OpenAI sagt, seine KI-Agenten hätten innerhalb von 88 Stunden ein seit Langem ungelöstes mathematisches Problem zu den Navier-Stokes-Gleichungen gelöst. Die Organisation, die einen Preis für eine Lösung vergibt, erklärte, das Problem scheine gelöst worden zu sein, wies jedoch darauf hin, dass die Arbeit noch geprüft werden müsse.

Nur wenige Stunden vor OpenAIs Ankündigung äußerte der Mathematiker Tristan Buckmaster von der New York University Bedenken, ob Forschungsergebnisse seines unabhängigen Teams an das Unternehmen gelangt sein könnten. Buckmaster und Levent Alpöge, ein Mathematiker, der auch für Anthropic arbeitet, hatten dasselbe Problem untersucht und Entwürfe im Programmierwerkzeug Codex von OpenAI gespeichert. Buckmaster sagte, Alpöge habe gehört, dass Informationen über ihre Fortschritte OpenAI „erreicht“ hätten, erklärte aber nicht, wie. Er fragte, ob ihre Arbeit möglicherweise verwendet worden sei, betonte jedoch, dass er niemandem Fehlverhalten vorwerfe.

OpenAI erklärte, dass vor der Veröffentlichung niemand beim Unternehmen – weder eine Person noch ein KI-System – Zugriff auf die Arbeit des Teams gehabt habe. Zunächst sagte das Unternehmen, es könne nicht ausschließen, dass anonymisierte Daten zur Produktnutzung zur Verbesserung seiner Modelle beigetragen hätten, halte dies jedoch für unwahrscheinlich. Einige Tage später erklärte es, Buckmasters Codex-Eingaben aus den zwei Monaten vor der Ankündigung hätten das System nicht beeinflussen können.

Der Vorfall hat eine umfassendere Sorge in den Mittelpunkt gerückt: KI könnte das Vertrauen darin schwächen, wie wissenschaftliche Erkenntnisse gewonnen und bewertet werden. Neben Fragen nach Originalität und Genauigkeit befürchten Forschende, dass sich von KI erzeugte Fehler nur schwer von verlässlichen Ergebnissen unterscheiden lassen könnten.

KI hat bereits ein beträchtliches wissenschaftliches Potenzial gezeigt. AlphaFold von Google DeepMind sagte innerhalb eines Jahres die Strukturen von 200 Millionen Proteinen voraus – eine Aufgabe, für die Laborexperimente laut dem Bericht Hunderte Millionen Jahre benötigt hätten. DeepMind stellte die Ergebnisse Forschenden kostenlos zur Verfügung; der Direktor des Projekts und der leitende Wissenschaftler erhielten den Nobelpreis für Chemie.

Behauptungen über KI-generierte Entdeckungen haben jedoch auch Kritik hervorgerufen. DeepMind erklärte, sein Modell habe mehr als zwei Millionen neue Kristallstrukturen identifiziert, von denen rund 380.000 vielversprechend genug für eine Herstellung im Labor seien. Die Chemiker Anthony Cheetham und Ram Seshadri von der University of California untersuchten eine Zufallsstichprobe und erklärten, sie hätten keine wirklich innovativen Verbindungen gefunden. Viele seien lediglich geringfügige Abwandlungen bekannter Materialien. Sie sagten nicht, die Methode sei falsch, argumentierten jedoch, die Ergebnisse müssten strenger geprüft und bestätigt werden. DeepMind wies die Kritik zurück und erklärte, es habe die Originalität der Verbindungen überprüft. Auch kleine Veränderungen an bekannten Materialien könnten nützliche Stoffe hervorbringen.

Ein weiteres Problem ist die große Zahl minderwertiger Arbeiten und erfundener Quellenangaben, die KI-Werkzeuge erzeugen könnten. In einer Analyse von mehr als einer Million biomedizinischer Fachartikel fand der Informatiker Dmitry Kobak von der Universität Gent bei fast 90 Prozent der Artikel bis Dezember des untersuchten Jahres Hinweise auf den Einsatz von KI. KI-Erkennungstools sind jedoch unvollkommen, und der Befund belegt nicht, dass jeder markierte Artikel mit KI verfasst wurde. Kobak warnte, dass sich Verzerrungen in Sprachmodellen durch die wissenschaftliche Literatur verbreiten könnten.

Auch das Peer-Review-Verfahren könnte betroffen sein. Eine von Stanford geleitete Analyse von Gutachten zu vier großen Informatikkonferenzen ergab, dass bis zu 17 Prozent davon mithilfe von Sprachmodellen wesentlich verändert worden waren. Unabhängig davon stellten Forschende an der Cornell University fest, dass KI-generierte Literaturverzeichnisse nicht existierende Studien enthielten. Dem Bericht zufolge wurden im vergangenen Jahr etwa 147.000 solcher Arbeiten zitiert.

Falsche oder unzuverlässige Forschung kann dazu führen, dass Wissenschaftlerinnen und Wissenschaftler Sackgassen verfolgen, öffentliche Gelder verschwenden und den Nutzen seriöser Arbeit verzögern – darunter Medikamente und nachhaltige Technologien. Verlage reagieren mit zusätzlichen Prüfungen. Das Team für wissenschaftliche Integrität bei Elsevier hat rund 100 Indikatoren entwickelt, mit denen sich Artikel erkennen lassen, die eine genauere Prüfung durch Menschen benötigen. Nature-Zeitschriften verbieten KI-generierte Bilder und raten Gutachtern davon ab, Manuskripte in KI-Systeme einzugeben. Die Preprint-Plattform arXiv sperrt Forschende für ein Jahr, wenn sie erfundene Quellenangaben einreichen.

Forschende warnen außerdem, dass KI-Systeme wertvolle Erkenntnisse übersehen könnten, wenn sie unerwartete Ergebnisse als Anomalien behandeln. Penicillin, Radioaktivität und Pulsare wurden durch Beobachtungen entdeckt, die möglicherweise als unwichtig abgetan worden wären. Pushmeet Kohli von DeepMind argumentiert, dass KI nicht aufgegeben werden sollte, betont aber, wie wichtig menschliche Kontrolle ist: Forschende müssen verstehen, was ein System getan hat, und Verantwortung für seine Schlussfolgerungen übernehmen.

Es gibt Beispiele dafür, dass KI die Forschung unterstützen kann, wenn sie unter solcher Aufsicht eingesetzt wird. Andrea Pauli vom Vienna BioCenter beschäftigte sich fast ein Jahrzehnt lang mit der Frage, wie Spermien in eine Eizelle eindringen. Ihr Labor setzte KI im Rahmen einer Arbeit ein, bei der ein Protein auf der Oberfläche von Zebrafischeizellen identifiziert wurde. Das deutet auf einen schlüssel-schlossartigen Mechanismus beim Eindringen der Spermien hin.

Der Streit über das mathematische Ergebnis ist laut dem Bericht noch nicht beigelegt. Er veranschaulicht jedoch, was auf dem Spiel steht, während KI in der Forschung zunehmend an Bedeutung gewinnt: Neben ihrer Fähigkeit, Wissenschaftlerinnen und Wissenschaftlern Fortschritte zu ermöglichen, wirft die Technologie Fragen zu Urheberschaft, Überprüfung und Vertrauen auf.

Quellen: Folha Ciência.