A IA pode ser uma ferramenta poderosa para os cientistas. Mas também pode alimentar a má conduta da pesquisa

Nadia Piet & Imagens de arquivo de AI + Aixdesign / Colapso do modelo / Licenciado pelo CC-BY 4.0

Por Jon WhittleAssim, CSIRO e Stefan HarrerAssim, CSIRO

Em fevereiro deste ano, Google anunciou Ele estava lançando “um novo sistema de IA para cientistas”. Ele disse que esse sistema period uma ferramenta colaborativa projetada para ajudar os cientistas “na criação de novas hipóteses e planos de pesquisa”.

É muito cedo para dizer o quão útil essa ferramenta em specific será para os cientistas. Mas o que está claro é que a inteligência synthetic (AI) já está em geral já está transformando a ciência.

No ano passado, por exemplo, os cientistas da computação ganharam o Prêmio Nobel de Química por desenvolver um modelo de IA para prever a forma de todas as proteínas conhecidas pela humanidade. Presidente do Comitê Nobel, Heiner Linke, descreveu o sistema de IA Como a conquista de um “sonho de 50 anos” que resolveu um problema notoriamente difícil iludindo os cientistas desde a década de 1970.

Mas enquanto a IA está permitindo que os cientistas façam avanços tecnológicos que, de outra forma, estejam completamente fora ou fora de alcance, também há um lado mais sombrio no uso da IA ​​na ciência: a má conduta científica está em ascensão.

Ai facilita a fabricação de pesquisas

Os trabalhos acadêmicos podem ser retraídos se seus dados ou descobertas não forem mais válidos. Isso pode acontecer devido à fabricação de dados, plágio ou erro humano.

Retrações em papel estão aumentando exponencialmentepassando 10.000 em 2023. Esses documentos retraídos foram citados mais de 35.000 vezes.

Um estudo Encontraram 8% dos cientistas holandeses admitidos por fraude de pesquisa grave, dobrar a taxa relatada anteriormente. As retrações de papel biomédico quadruplicaram nos últimos 20 anosa maioria devido a má conduta.

A IA tem o potencial de piorar ainda mais esse problema.

Por exemplo, a disponibilidade e a capacidade crescente de programas generativos de IA, como o ChatGPT, facilitam a fabricação de pesquisas.

Isso foi claramente demonstrado por dois pesquisadores que usaram a IA para gerar 288 documentos de finanças acadêmicas completas falsas Prevendo retornos de ações.

Embora este tenha sido um experimento para mostrar o que é possível, não é difícil imaginar como a tecnologia poderia ser usado Para gerar dados de ensaios clínicos fictícios, modifique dados experimentais de edição de genes para ocultar resultados adversos ou para outros fins maliciosos.

Referências falsas e dados fabricados

Já existem Muitos casos relatados de artigos gerados pela IA que passam por revisão por pares e alcançando a publicação-apenas para serem retraídos posteriormente com base no uso não revelado de IA, alguns incluindo falhas graves, como referências falsas e dados fabricados propositalmente.

Alguns pesquisadores também estão usando a IA para revisar o trabalho de seus colegas. A revisão por pares de artigos científicos é um dos fundamentos da integridade científica. Mas também é incrivelmente demorado, com alguns cientistas dedicando centenas de horas por ano de trabalho não pago. UM Estudo liderado por Stanford descobriram que até 17% das revisões de pares para as principais conferências de IA foram escritas pelo menos em parte pela IA.

No caso extremo, a IA pode acabar escrevendo trabalhos de pesquisa, que são revisados ​​por outra IA.

Esse risco está piorando a tendência já problemática de um aumento exponencial na publicação científica, enquanto a quantidade média de materials genuinamente novo e interessante em cada artigo está em declínio.

A IA também pode levar à fabricação não intencional de resultados científicos.

Um problema bem conhecido dos sistemas generativos de IA é quando eles compõem uma resposta, em vez de dizer que não sabem. Isso é conhecido como “alucinação”.

Não sabemos até que ponto as alucinações da IA ​​acabam como erros em artigos científicos. Mas a Estudo recente Na programação de computadores, constatou que 52% das respostas geradas pela IA para perguntas de codificação continham erros, e a supervisão humana não conseguiu corrigi-las 39% do tempo.

Maximizar os benefícios, minimizando os riscos

Apesar desses desenvolvimentos preocupantes, não devemos nos levar e desencorajar ou até castigar o uso da IA ​​pelos cientistas.

A IA oferece benefícios significativos para a ciência. Os pesquisadores usaram modelos especializados de IA para resolver problemas científicos por muitos anos. E modelos generativos de IA, como o ChatGPT, oferecem a promessa de assistentes científicos de IA de uso geral que podem realizar uma série de tarefas, trabalhando em colaboração com o cientista.

Esses modelos de IA podem ser poderosos assistentes de laboratório. Por exemplo, pesquisadores da CSIRO já estão desenvolvendo robôs de laboratório de IA com os quais os cientistas podem falar e instruir como um assistente humano a automatizar tarefas repetitivas.

Uma nova tecnologia disruptiva sempre terá benefícios e desvantagens. O desafio da comunidade científica é colocar em vigor políticas e corrimões apropriados para garantir que maximizemos os benefícios e minimizemos os riscos.

O potencial da IA ​​de mudar o mundo da ciência e ajudar a ciência a tornar o mundo um lugar melhor já está comprovado. Agora temos uma escolha.

Abrocamos a IA, defendendo e desenvolvendo um código de conduta de IA que aplique o uso ético e responsável da IA ​​na ciência? Ou levamos um banco de trás e deixamos um número relativamente pequeno de atores desonestos desacreditar nossos campos e nos fazer perder a oportunidade?

Jon WhittleDiretor, Data61, CSIRO e Stefan HarrerDiretor, Ai para a Ciência, CSIRO

Este artigo é republicado de A conversa sob uma licença Inventive Commons. Leia o Artigo unique.