Se você girar uma imagem de uma estrutura molecular, um humano poderá dizer que a imagem girada ainda é a mesma molécula, mas um modelo de aprendizado de máquina pode pensar que é um novo ponto de dados. Na linguagem da ciência da computação, a molécula é “simétrica”, o que significa que a estrutura elementary dessa molécula permanece a mesma se sofrer certas transformações, como a rotação.
Se um modelo de descoberta de medicamentos não entende a simetria, ele poderá fazer previsões imprecisas sobre as propriedades moleculares. Mas, apesar de alguns sucessos empíricos, não está claro se existe um método computacionalmente eficiente para treinar um bom modelo que é garantido para respeitar a simetria.
Um novo estudo do MIT Pesquisadores responde a essa pergunta e mostra o primeiro método para aprendizado de máquina com simetria que é comprovadamente eficiente em termos da quantidade de computação e dados necessários.
Esses resultados esclarecem uma questão elementary e podem ajudar os pesquisadores no desenvolvimento de modelos de aprendizado de máquina mais poderosos projetados para lidar com simetria. Tais modelos seriam úteis em uma variedade de aplicações, desde a descoberta de novos materiais até a identificação de anomalias astronômicas até desvendar padrões climáticos complexos.
“Essas simetrias são importantes porque são algum tipo de informação que a natureza está nos dizendo sobre os dados, e devemos levar em consideração em nossos modelos de aprendizado de máquina. Agora mostramos que é possível fazer aprendizado de máquina com dados simétricos de uma maneira eficiente”, diz Behrooz Tahmasebi, um aluno de pós-graduação do MIT e co-líder deste estudo.
Ele se junta ao papel pelo co-líder autor e estudante de graduação do MIT, Ashkan Soleymani; Stefanie Jegelka, professora associada de engenharia elétrica e ciência da computação (EECs) e membro do Instituto de Dados, Sistemas e Sociedade (IDSS) e do Laboratório de Ciência da Computação e Inteligência Synthetic (CSAIL); e o autor sênior Patrick Jaillet, professor de engenharia elétrica e ciência da computação de Dugald C. Jackson e um investigador principal do Laboratório de Sistemas de Informação e Decisão (TIDS). A pesquisa foi apresentada recentemente na Conferência Internacional sobre aprendizado de máquina.
Estudando simetria
Os dados simétricos aparecem em muitos domínios, especialmente as ciências naturais e a física. Um modelo que reconhece o Symmetries é capaz de identificar um objeto, como um carro, não importa onde esse objeto seja colocado em uma imagem, por exemplo.
A menos que um modelo de aprendizado de máquina seja projetado para lidar com simetria, ele pode ser menos preciso e propenso a falhas quando confrontado com novos dados simétricos em situações do mundo actual. Por outro lado, os modelos que aproveitam a simetria podem ser mais rápidos e exigem menos dados para treinamento.
Mas treinar um modelo para processar dados simétricos não é tarefa fácil.
Uma abordagem comum é chamada de aumento de dados, onde os pesquisadores transformam cada dados simétricos em vários pontos de dados para ajudar o modelo a generalizar melhor para novos dados. Por exemplo, pode -se girar uma estrutura molecular muitas vezes para produzir novos dados de treinamento, mas se os pesquisadores desejam que o modelo seja garantido para respeitar a simetria, isso pode ser computacionalmente proibitivo.
Uma abordagem alternativa é codificar simetria na arquitetura do modelo. Um exemplo bem conhecido disso é uma rede neural gráfica (GNN), que lida com dados simétricos inerentemente por causa de como eles são projetados.
“As redes gráficas neurais são rápidas e eficientes, e cuidam muito bem da simetria, mas ninguém sabe realmente o que esses modelos estão aprendendo ou por que funcionam. Compreender o GNN é a principal motivação do nosso trabalho, então começamos com uma avaliação teórica do que acontece quando os dados são simétricos”, diz Tahmasebi.
Eles exploraram a troca estatística computacional no aprendizado de máquina com dados simétricos. Essa troca significa que métodos que exigem menos dados podem ser mais caros computacionalmente, portanto os pesquisadores precisam encontrar o equilíbrio certo.
Com base nessa avaliação teórica, os pesquisadores projetaram um algoritmo eficiente para aprendizado de máquina com dados simétricos.
Combinações matemáticas
Para fazer isso, eles pegaram emprestado idéias da Álgebra para encolher e simplificar o problema. Em seguida, eles reformularam o problema usando idéias da geometria que capturam efetivamente a simetria.
Finalmente, eles combinaram a álgebra e a geometria em um problema de otimização que pode ser resolvido com eficiência, resultando em seu novo algoritmo.
“A maioria da teoria e aplicações estavam se concentrando na álgebra ou na geometria. Aqui apenas as combinamos”, diz Tahmasebi.
O algoritmo requer menos amostras de dados para treinamento do que as abordagens clássicas, o que melhoraria a precisão e a capacidade de um modelo de se adaptar a novos aplicativos.
Ao provar que os cientistas podem desenvolver algoritmos eficientes para o aprendizado de máquina com simetria e demonstrar como isso pode ser feito, esses resultados podem levar ao desenvolvimento de novas arquiteturas de rede neural que podem ser mais precisas e menos intensivas em recursos do que os modelos atuais.
Os cientistas também podem usar essa análise como ponto de partida para examinar o funcionamento interno dos GNNs e como suas operações diferem do algoritmo que os pesquisadores do MIT desenvolveram.
“Depois que sabemos que melhor, podemos projetar arquiteturas de rede neural mais interpretáveis, mais robustas e mais eficientes”, acrescenta Soleymani.
Esta pesquisa é financiada, em parte, pela Fundação Nacional de Pesquisa de Cingapura, Laboratórios Nacionais de Cingapura do DSO, do Escritório de Pesquisa Naval dos EUA, da Fundação Nacional de Ciência dos EUA e a um professor de Alexander von Humboldt.