À medida que órgãos financiadores estudam o uso da inteligência artificial para avaliar candidaturas a bolsas de pesquisa, um estudo levantou preocupações de que essas ferramentas possam favorecer pesquisas consolidadas em detrimento de ideias mais inovadoras. A IA pode oferecer rapidez e eficiência, mas suas avaliações também podem influenciar quais projetos recebem apoio.
Em uma pesquisa publicada na Scientometrics em agosto, Diogo Machado pediu ao GPT-4o, da OpenAI, que comparasse 139 propostas reais submetidas ao Fundo Austríaco para a Ciência em 2021. O modelo avaliou as propostas em pares, escolhendo qual delas deveria receber financiamento. As que receberam mais escolhas ficaram no topo da classificação.
As propostas também incluíam as avaliações dos revisores humanos sobre novidade, qualidade científica, capacidade da equipe e viabilidade, além das decisões finais de financiamento. As escolhas do GPT-4o coincidiram com as decisões dos revisores humanos em 60% dos casos. No entanto, Machado constatou que o modelo tinha sistematicamente menor probabilidade do que os revisores de selecionar propostas bem avaliadas quanto à novidade.
Machado, que lidera a equipe de ciência de dados da consultoria de políticas científicas Technopolis, afirmou que os resultados apontam para o risco de que avaliações assistidas por IA direcionem o financiamento para pesquisas baseadas em ideias consolidadas e deixem de reconhecer potenciais avanços revolucionários.
Ele suspeita que os grandes modelos de linguagem possam ter dificuldade para identificar a novidade porque aprendem com padrões recorrentes em grandes conjuntos de dados. Ideias convencionais aparecem com mais frequência nesses dados, enquanto contribuições realmente novas são menos comuns, deixando menos padrões dos quais um modelo possa se valer ao julgar o valor delas. O estudo, porém, não testou por que o viés ocorreu.
A análise também teve uma limitação: foi pedido ao GPT-4o simplesmente que indicasse qual proposta deveria receber financiamento, sem fornecer os critérios específicos usados pelos revisores humanos. Mas aplicar um critério de novidade não necessariamente resolveria o problema. Susan Guthrie, diretora de ciência e tecnologia emergente da RAND Europe, observou que a novidade é subjetiva e difícil de padronizar.
Várias grandes entidades financiadoras estão examinando como a IA poderia ser usada na avaliação de propostas para bolsas. A UK Research and Innovation afirmou no mês passado que estava explorando a avaliação assistida por IA por meio de um ensaio controlado que comparará avaliações geradas por IA com decisões de financiamento anteriores. Já a Wellcome proíbe que revisores insiram candidaturas a bolsas em ferramentas de IA generativa devido a preocupações com a privacidade, embora permita o uso dessas ferramentas em tarefas auxiliares, como verificar se pesquisas semelhantes já foram realizadas.
Machado afirmou que compreender os vieses que as ferramentas de IA podem introduzir poderia ajudar as entidades financiadoras a desenvolver salvaguardas.
Fontes: Nature.