(Rost9/Shutterstock)
Em teoria, a ciência dos materiais deve ser uma combinação perfeita para a IA. O campo é executado em dados – lacunas de banda, estruturas de cristal, curvas de condutividade – o tipo de amor de valores mensuráveis e repetíveis. No entanto, na prática, a maioria desses dados está enterrada. Está espalhado por décadas de trabalhos de pesquisa, trancados dentro de legendas de figuras, fórmulas químicas e texto que foram escritos para seres humanos, não em máquinas. Então, quando os cientistas tentam construir ferramentas de IA para problemas de materiais reais, eles geralmente enfrentam problemas.
Uma equipe de pesquisadores da Universidade de Cambridge, trabalhando em colaboração com o Laboratório Nacional de Argonne do Departamento de Energia dos EUA (DOE), vem enfrentando esse problema de frente. Liderado pelo professor Jacqueline Cole, o grupo desenvolveu um oleoduto que extrai dados de materiais estruturados de artigos de periódicos e o converte em conjuntos de dados de perguntas de alta qualidade. Usando ferramentas como ChemDataExtractor e modelos específicos de domínio, como Mechberteles estão construindo sistemas de IA que aprendem diretamente com os mesmos materiais de pesquisa em que os cientistas humanos confiam.
Este projeto faz parte de uma colaboração mais longa entre o laboratório de Cole e o Laboratório Nacional de Argonne. A equipe começou a trabalhar com o Argonne Management Computing Facility (ALCF) em 2016, como parte de um dos primeiros esforços de seu programa de ciência de dados. Esse apoio inicial ajudou a moldar a direção do laboratório, especialmente o foco em transformar dados de matérias -primas em informações estruturadas que poderiam ser usadas para treinar ferramentas de IA. Ele estabeleceu a base para grande parte do trabalho que eles estão fazendo hoje.
“O objetivo é ter algo como um assistente digital em seu laboratório”, disse Cole, que detém o professor da Royal Academy of Engineering Analysis em física de materiais em Cambridge, onde é chefe de engenharia molecular. “Uma ferramenta que complementa os cientistas respondendo a perguntas e oferecendo suggestions para ajudar a orientar os experimentos e orientar suas pesquisas”.
Antes que o modelo possa fazer qualquer coisa útil, as informações brutas precisam ser remodeladas em algo com o qual ele realmente possa funcionar. A equipe de Cole pega as descobertas importantes da pesquisa publicada e as reescreve como perguntas e respostas simples. Essas podem ser coisas que um cientista de materiais pediria durante um experimento ou detalhes que geralmente levam horas para desenterrar. Ao apresentar esse conhecimento de maneira acquainted e estruturada, a IA começa a responder mais como um assistente de pesquisa do que um mecanismo de pesquisa.
A maioria dos modelos de idiomas precisa ser treinada desde o início, começando com conjuntos de dados amplos que podem ter pouca conexão com a ciência actual. Esse processo leva tempo, energia e geralmente produz ferramentas que parecem confiantes, mas perdem os detalhes. A abordagem adotada pelo grupo de Cole pula esse processo de pré -treinamento caro inteiramente. Ao fornecer ao modelo conteúdo bem organizado desde o início, eles evitam desperdiçar recursos para ensinar coisas que não precisa saber. O modelo não está sendo solicitado a descobrir tudo. Ele está sendo entregue as informações corretas no formato certo.
“O importante é que essa abordagem mude a carga de conhecimento do próprio modelo de idioma”, disse Cole. “Em vez de confiar no modelo para ‘saber’ tudo, fornecemos acesso direto a conhecimento estruturado e com curadoria na forma de perguntas e respostas. Isso significa que podemos pular completamente pré-treinamento e ainda alcançar a utilidade específica do domínio.”
Se você comparar os modelos específicos de domínio de Cole com os LLMs de uso geral, você notará uma diferença clara: os primeiros são construídos para raciocinar com a lógica científica, enquanto estas são treinadas para imitar a linguagem. Agora, isso é importante na ciência dos materiais, onde as contagens de precisão e as respostas erradas têm consequências. Um modelo geral de IA pode gerar uma resposta fluente e simples da linguagem, mas não terá necessariamente a produção fundamentada na literatura científica estabelecida. O modelo de Cole é construído para evitar isso, aprendendo apenas de fontes confiáveis, e não apenas do ruído da Web.
“Talvez uma equipe esteja executando um experimento intenso às 3 da manhã em uma instalação de fonte de luz e algo inesperado acontece”, explica Cole. “Eles precisam de uma resposta rápida e não têm tempo para peneirar toda a literatura científica. Se eles tiverem um modelo de linguagem específico do domínio treinado em materiais relevantes, podem fazer perguntas para ajudar a interpretar os dados, ajustar sua configuração e manter o experimento no caminho certo”.
Os pesquisadores afirmam que o método já demonstrou promessa na prática. Em um caso de teste, o modelo treinado em dados fotovoltaicos através do processo de perguntas e respostas atingiu uma precisão 20% maior do que os sistemas de uso geral muito maiores. Não precisava de treinamento maciço ou dados em escala na Web. Tudo o que exigia period apenas dados precisos e confiáveis.
Resultados semelhantes foram vistos trabalhando com dados mecânicos. Os pesquisadores construíram um modelo específico de domínio chamado Mechbert, treinado em dados de tensão-deformação extraídos da literatura científica. Ele teve um desempenho melhor do que as ferramentas padrão na previsão de respostas materiais.
Eles até testaram o oleoduto em materiais optoeletrônicos. O modelo atingiu seu desempenho -alvo, mas se concentrando menos em escalar e mais em trabalhar de maneira mais inteligente. Precisava 80% menos computação do que as abordagens tradicionais. Para laboratórios com acesso limitado à infraestrutura, esses resultados são um divisor de águas.
Uma das coisas mais práticas sobre essa abordagem é o pouco que exige. Você não precisa de um treinamento enorme ou acesso a infraestrutura especializada. A equipe de Cole mostrou que, com apenas algumas GPUs, os pesquisadores podem ajustar um modelo usando seus próprios dados de materiais. Isso possibilita que os laboratórios menores, ou qualquer pessoa fora do mainstream da IA, construir ferramentas que realmente servem seu trabalho.
“Você não precisa ser um especialista em modelos de idiomas”, disse Cole. “Você pode pegar um modelo de idioma pronta para uso e ajustá-lo com apenas algumas GPUs, ou até seu próprio computador pessoal, para o seu domínio de materiais específicos. É mais uma abordagem plug-and-play que torna o processo de usar a IA muito mais eficiente”.
Os pesquisadores enfatizaram que o sistema não foi projetado para substituir os seres humanos, mas para permitir que eles construam modelos de IA fundamentados em dados científicos de materiais. Esse tipo de apoio, especialmente em campos pesados de dados, como a ciência dos materiais, pode fazer uma diferença actual.
Itens relacionados
O Chefsi do MIT reúne dados de AI, HPC e Materiais para simulações avançadas