Os engenheiros costumam usar modelos de linguagem de visão para produzir novos projetos, como componentes de aviões ou automóveis. Para simular o desempenho desses componentes em situações realistas, eles usarão software program de design auxiliado por computador (CAD) testado e comprovado para gerar modelos 3D desses projetos, que podem ser submetidos a testes virtuais de colisão ou durabilidade.
Pesquisadores do MIT e de outros lugares desenvolveram agora um sistema que pode ensinar um modelo de linguagem de visão para converter automaticamente projetos 2D em programas CAD que são muito mais precisos e funcionais em comparação com outras abordagens, usando apenas uma fração da computação.
Ao melhorar o desempenho e a eficiência da geração de CAD orientada por IA, esta técnica poderia agilizar o processo de prototipagem rápida e reduzir custos. Também poderia ajudar os engenheiros a identificar opções de projeto benéficas que, de outra forma, poderiam ignorar.
O sistema gera novos dados com base nas capacidades do modelo enquanto tenta converter uma imagem 2D em um programa CAD. A estrutura corrige as falhas do modelo e as incorpora em um conjunto de dados com suas soluções bem-sucedidas.
Ele usa esses dados para ensinar ao modelo como corrigir erros específicos e resolver problemas complicados que ele enfrentaria sozinho.
“Queremos que os engenheiros sejam capazes de apontar nossa estrutura para um modelo CAD de baixo desempenho, definir um orçamento de computação e deixar o sistema assumir o controle – transformando os próprios erros do modelo em melhores dados de treinamento”, diz o autor principal Giorgio Giannone, pesquisador afiliado do Laboratório de Design Computation and Digital Engineering (DeCoDE) do MIT e principal cientista pesquisador da Equipe de Inovação em IA da Purple Hat.
Ele está unido no papel por Anna Claire Doris, estudante de graduação em engenharia mecânica no MIT; Amin Heyrani Nobari, pós-doutorado do MIT; Kai Xu da RedHat; e os autores co-sêniores Akash Srivastava, diretor de Core AI da IBM e investigador principal do MIT-IBM Computing Analysis Lab; e Faez Ahmed, professor associado de engenharia mecânica do MIT, líder do DeCoDE Lab e investigador principal do MIT-IBM Computing Analysis Lab. A pesquisa foi recentemente apresentada na Conferência Internacional sobre Aprendizado de Máquina.
“Quase todos os produtos físicos ao nosso redor, de aviões a eletrodomésticos, começam sua vida como um modelo CAD. As equipes da indústria estão ansiosas por IA que possa ajudar a acelerar a criação desses projetos, mas os modelos atuais geralmente produzem formas simples e inadequadas para a prática. O que me entusiasma neste trabalho é que ele oferece a muitos modelos de imagem em código CAD uma maneira de se aprimorarem, aprendendo com seus próprios erros, em vez de esperar por mais dados produzidos por humanos – e isso aproxima ferramentas confiáveis de projeto de IA muito mais próximas da engenharia cotidiana”, diz Ahmed.
Dados com reconhecimento de modelo
Os pesquisadores estão trabalhando na construção de modelos de linguagem de visão (VLMs) para geração de CAD. Esses VLMs pegam uma imagem 2D e algum texto descritivo e geram código Python que pode ser executado em um programa de software program CAD para gerar um modelo 3D de um objeto físico.
Eles estudaram os desafios da implantação de VLMs existentes para esta tarefa e determinaram que o principal gargalo que limita suas capacidades é a falta de conjuntos de dados CAD diversos e de alta qualidade para treiná-los.
Para remediar esta situação, procuraram criar novos dados para ensinar a um modelo como realizar a geração de CAD, utilizando um processo conhecido como aumento de dados.
No aumento de dados, os cientistas normalmente criam novos dados ajustando aleatoriamente os dados existentes para gerar mais amostras, muitas vezes ajustando a cor, o tamanho e a forma dos objetos nas imagens.
Em vez disso, os pesquisadores do MIT construíram um sistema de aumento de dados chamado GIFT (que significa Geometric Inference Suggestions Tuning) que gera dados projetados para melhorar o desempenho de um VLM para uma tarefa específica.
GIFT desenvolve uma compreensão dos pontos fortes e fracos do modelo testando-o. Em seguida, utiliza esse conhecimento para gerar dados que poderiam melhorar o desempenho do modelo nos problemas de geração de CAD que ele luta para resolver.
“Queremos obter um aumento de dados informado pelo próprio modelo”, diz Giannone.
Aprendendo com os erros
Para fazer isso, GIFT pede ao modelo para gerar código que resolva um problema de geração de CAD múltiplas vezes em paralelo. Ele verifica a exatidão dessas suposições para entender até que ponto o modelo pode resolver esse problema.
“Para um modelo, gerar código de consulta CAD que é quase corrigir não é tão difícil, mas gerar código perfeitamente correto e que possa ser executado é muito mais desafiador para um VLM padrão”, diz Giannone.
Para suposições quase corretas, o GIFT as ajusta para se tornarem soluções bem-sucedidas. Ele salva esses “quase acidentes” e soluções bem-sucedidas em um novo conjunto de dados que pode ensinar ao modelo como superar problemas que normalmente o atrapalhariam.
“Se amostrarmos o modelo 10 vezes e ele gerar 10 respostas corretas para o mesmo problema, então não há muito que aprender. Nós nos preocupamos com os casos intermediários, onde o modelo pode resolver o problema apenas 50% das vezes”, diz ele.
O uso desses casos intermediários permite que o GIFT gere aumentos de dados que reconhecem o modelo e as tarefas. Além disso, ao incorporar múltiplas soluções corretas para o mesmo problema, os novos dados ampliam o conhecimento geral do modelo sobre geração de código CAD.
Este sistema automático não requer intervenção humana para corrigir erros do modelo.
GIFT cria aumentos de dados a partir de um VLM pré-treinado usando um processo conhecido como escala de tempo de inferência. Este processo permite que um modelo estático, que já foi treinado, gere melhores resultados sem os altos custos computacionais de retreinar todo o modelo.
Usando a escala de tempo de inferência, o usuário pode determinar quanta computação deseja usar para GIFT, adaptando-a às suas restrições de tempo e orçamento.
O GIFT superou várias técnicas concorrentes, gerando programas CAD mais precisos e usando apenas cerca de 20% da computação. Os modelos CAD gerados por VLMs usando GIFT estavam melhor alinhados com as formas dos modelos reais.
“Com GIFT, começamos com geometria porque com problemas de engenharia, se a geometria de uma forma 3D não estiver correta, nada mais estará correto, mas há muitos outros aspectos a serem considerados”, diz Giannone.
No futuro, os pesquisadores querem expandir o GIFT para que a estrutura possa ensinar modelos para gerar programas CAD que melhorem o desempenho e a capacidade de fabricação de modelos 3D. Eles também desejam aplicar o sistema a modelos maiores e tarefas de geração de CAD mais diversas.
Esta pesquisa foi financiada, em parte, pelo MIT-IBM Computing Analysis Lab.