Alors que les organismes de financement envisagent de recourir à l’intelligence artificielle pour évaluer les demandes de subvention, une étude a soulevé des inquiétudes quant au risque que ces outils favorisent la recherche établie au détriment d’idées plus novatrices. L’IA peut apporter rapidité et efficacité, mais ses évaluations pourraient aussi influer sur les projets qui reçoivent un soutien.

Dans une étude publiée en août dans Scientometrics, Diogo Machado a demandé à GPT-4o d’OpenAI de comparer 139 propositions authentiques soumises au Fonds autrichien pour la science en 2021. Le modèle a évalué les propositions deux par deux, en choisissant celle qui devrait recevoir un financement. Celles qui ont été sélectionnées le plus souvent ont obtenu le meilleur classement.

Les propositions comportaient également les évaluations des évaluateurs humains concernant le caractère novateur, la qualité scientifique, les capacités de l’équipe et la faisabilité, ainsi que les décisions finales de financement. Les choix de GPT-4o correspondaient à ceux des évaluateurs humains dans 60 % des cas. Toutefois, Machado a constaté que le modèle était systématiquement moins susceptible que les évaluateurs de sélectionner les propositions jugées très novatrices.

Machado, qui dirige l’équipe de science des données du cabinet de conseil en politiques scientifiques Technopolis, a déclaré que ces résultats mettent en évidence le risque qu’une évaluation assistée par l’IA oriente les financements vers des recherches fondées sur des idées établies et fasse passer à côté de percées potentielles.

Il soupçonne les grands modèles de langage d’avoir du mal à repérer la nouveauté parce qu’ils apprennent à partir de schémas récurrents dans de vastes ensembles de données. Les idées dominantes y apparaissent plus souvent, tandis que les contributions véritablement nouvelles sont plus rares, ce qui laisse au modèle moins de schémas sur lesquels s’appuyer pour en évaluer la valeur. L’étude n’a toutefois pas cherché à déterminer la cause de ce biais.

L’analyse présentait également une limite : il a simplement été demandé à GPT-4o quelle proposition devrait être financée, sans lui fournir les critères précis utilisés par les évaluateurs humains. Mais l’application d’un critère de nouveauté ne résoudrait pas nécessairement le problème. Susan Guthrie, directrice des sciences et des technologies émergentes chez RAND Europe, a souligné que la nouveauté est subjective et difficile à standardiser.

Plusieurs grands organismes de financement étudient la manière dont l’IA pourrait être utilisée pour évaluer les demandes de subvention. UK Research and Innovation a indiqué le mois dernier qu’il étudiait l’évaluation assistée par l’IA dans le cadre d’un essai contrôlé qui comparera les évaluations générées par l’IA aux décisions de financement passées. Wellcome, de son côté, interdit aux évaluateurs de saisir des demandes de subvention dans des outils d’IA générative pour des raisons de confidentialité, tout en autorisant leur utilisation pour des tâches annexes, comme vérifier si des recherches similaires ont déjà été menées.

Selon Machado, comprendre les biais que les outils d’IA peuvent introduire pourrait aider les organismes de financement à mettre en place des garde-fous.

Sources: Nature.