Während Förderorganisationen prüfen, ob sie künstliche Intelligenz zur Begutachtung von Förderanträgen einsetzen können, hat eine Studie Bedenken geweckt, dass solche Werkzeuge etablierte Forschung gegenüber neuartigeren Ideen bevorzugen könnten. KI kann zwar schnell und effizient sein, ihre Bewertungen könnten aber auch beeinflussen, welche Projekte Unterstützung erhalten.

In einer im August in Scientometrics veröffentlichten Studie bat Diogo Machado OpenAIs GPT-4o, 139 echte Anträge zu vergleichen, die 2021 beim Österreichischen Wissenschaftsfonds eingereicht worden waren. Das Modell bewertete die Anträge paarweise und wählte jeweils aus, welcher gefördert werden sollte. Die Anträge mit den meisten Auswahlen erhielten die höchste Rangfolge.

Die Anträge enthielten außerdem die Bewertungen menschlicher Gutachterinnen und Gutachter zu Neuartigkeit, wissenschaftlicher Qualität, Leistungsfähigkeit des Teams und Durchführbarkeit sowie die endgültigen Förderentscheidungen. GPT-4o stimmte in 60 % der Fälle mit den Entscheidungen der menschlichen Gutachterinnen und Gutachter überein. Machado stellte jedoch fest, dass das Modell systematisch seltener als die Gutachtenden Anträge auswählte, die als besonders neuartig bewertet worden waren.

Machado, der das Data-Science-Team bei der wissenschaftspolitischen Beratung Technopolis leitet, sagte, die Ergebnisse deuteten auf das Risiko hin, dass KI-gestützte Bewertungen Fördermittel in Richtung Forschung lenken könnten, die auf etablierten Ideen beruht, und mögliche Durchbrüche übersehen könnten.

Er vermutet, dass große Sprachmodelle Schwierigkeiten haben könnten, Neuartigkeit zu erkennen, weil sie anhand wiederkehrender Muster in großen Datensätzen lernen. Mainstream-Ideen kommen in diesen Daten häufiger vor, während wirklich neue Beiträge seltener sind. Dadurch stehen einem Modell weniger Muster zur Verfügung, auf die es sich stützen kann, wenn es deren Wert beurteilt. Die Studie untersuchte allerdings nicht, warum die Verzerrung auftrat.

Die Analyse hatte auch eine Einschränkung: GPT-4o wurde lediglich gefragt, welcher Antrag gefördert werden sollte, statt konkrete Kriterien zu erhalten, die von menschlichen Gutachterinnen und Gutachtern verwendet wurden. Ein Neuartigkeitskriterium anzuwenden, würde das Problem jedoch nicht unbedingt lösen. Susan Guthrie, Direktorin für Wissenschaft und neue Technologien bei RAND Europe, wies darauf hin, dass Neuartigkeit subjektiv und schwer zu standardisieren ist.

Mehrere große Förderorganisationen prüfen, wie KI bei der Begutachtung von Förderanträgen eingesetzt werden könnte. UK Research and Innovation erklärte im vergangenen Monat, eine KI-gestützte Begutachtung im Rahmen eines kontrollierten Versuchs zu untersuchen, bei dem KI-generierte Bewertungen mit früheren Förderentscheidungen verglichen werden. Wellcome verbietet Gutachterinnen und Gutachtern unterdessen aus Datenschutzgründen, Förderanträge in Generative KI-Werkzeuge einzugeben, erlaubt deren Einsatz aber für Nebenaufgaben, etwa um zu prüfen, ob ähnliche Forschung bereits durchgeführt wurde.

Machado sagte, das Verständnis möglicher Verzerrungen, die KI-Werkzeuge mit sich bringen könnten, könne Förderorganisationen dabei helfen, Schutzmaßnahmen zu entwickeln.

Quellen: Nature.