O design auxiliado por computador (CAD) é o método preferido para projetar a maioria dos produtos físicos atuais. Os engenheiros usam CAD para transformar esboços 2D em modelos 3D que podem testar e refinar antes de enviar uma versão closing para uma linha de produção. Mas o software program é notoriamente complicado de aprender, com milhares de comandos para escolher. Ser verdadeiramente proficiente no software program exige muito tempo e prática.
Os engenheiros do MIT estão procurando facilitar a curva de aprendizado do CAD com um modelo de IA que usa software program CAD da mesma forma que um ser humano faria. Dado um esboço 2D de um objeto, o modelo cria rapidamente uma versão 3D clicando em botões e opções de arquivo, semelhante à forma como um engenheiro usaria o software program.
A equipe do MIT criou um novo conjunto de dados chamado VideoCAD, que contém mais de 41.000 exemplos de como modelos 3D são construídos em software program CAD. Ao aprender com estes vídeos, que ilustram como diferentes formas e objetos são construídos passo a passo, o novo sistema de IA pode agora operar software program CAD de forma muito semelhante a um utilizador humano.
Com o VideoCAD, a equipe está construindo um “copiloto CAD” habilitado para IA. Eles imaginam que tal ferramenta poderia não apenas criar versões 3D de um projeto, mas também trabalhar com um usuário humano para sugerir as próximas etapas ou executar automaticamente sequências de construção que, de outra forma, seriam tediosas e demoradas para clicar manualmente.
“Há uma oportunidade para a IA aumentar a produtividade dos engenheiros, bem como tornar o CAD mais acessível a mais pessoas”, afirma Ghadi Nehme, estudante de pós-graduação no Departamento de Engenharia Mecânica do MIT.
“Isso é significativo porque reduz a barreira de entrada no design, ajudando pessoas sem anos de treinamento em CAD a criar modelos 3D com mais facilidade e a explorar sua criatividade”, acrescenta Faez Ahmed, professor associado de engenharia mecânica do MIT.
Ahmed e Nehme, juntamente com o estudante de graduação Brandon Man e o pós-doutorado Ferdous Alam, apresentarão seu trabalho na Conferência sobre Sistemas de Processamento de Informação Neural (NeurIPS) em dezembro.
Clique por clique
O novo trabalho da equipe expande os desenvolvimentos recentes em agentes de interface de usuário (IU) orientados por IA – ferramentas que são treinadas para usar programas de software program para realizar tarefas, como coletar automaticamente informações on-line e organizá-las em uma planilha Excel. O grupo de Ahmed questionou se esses agentes de UI poderiam ser projetados para usar CAD, que abrange muito mais recursos e funções e envolve tarefas muito mais complicadas do que um agente de UI comum pode realizar.
Em seu novo trabalho, a equipe teve como objetivo projetar um agente de UI baseado em IA que tomasse as rédeas do programa CAD para criar uma versão 3D de um esboço 2D, clique por clique. Para fazer isso, a equipe primeiro analisou um conjunto de dados existente de objetos que foram projetados em CAD por humanos. Cada objeto no conjunto de dados inclui a sequência de comandos de design de alto nível, como “linha de esboço”, “círculo” e “extrusão”, que foram usados para construir o objeto closing.
No entanto, a equipe percebeu que esses comandos de alto nível por si só não eram suficientes para treinar um agente de IA para realmente usar software program CAD. Um verdadeiro agente também deve compreender os detalhes por trás de cada ação. Por exemplo: Qual região do esboço deve ser selecionada? Quando deve aumentar o zoom? E que parte de um esboço ele deve extrudar? Para preencher essa lacuna, os pesquisadores desenvolveram um sistema para traduzir comandos de alto nível em interações da interface do usuário.
“Por exemplo, digamos que desenhamos um esboço traçando uma linha do ponto 1 ao ponto 2”, diz Nehme. “Traduzimos essas ações de alto nível em ações da interface do usuário, o que significa que dizemos: vá deste native de pixel, clique e, em seguida, vá para um segundo native de pixel e clique, enquanto mantém a operação de ‘linha’ selecionada.”
No closing, a equipe gerou mais de 41.000 vídeos de objetos CAD projetados por humanos, cada um dos quais é descrito em tempo actual em termos de cliques específicos, arrastamentos do mouse e outras ações de teclado que o humano executou originalmente. Eles então alimentaram todos esses dados em um modelo que desenvolveram para aprender as conexões entre as ações da UI e a geração de objetos CAD.
Uma vez treinado neste conjunto de dados, que eles chamam de VideoCAD, o novo modelo de IA poderia pegar um esboço 2D como entrada e controlar diretamente o software program CAD, clicando, arrastando e selecionando ferramentas para construir a forma 3D completa. Os objetos variavam em complexidade, desde colchetes simples até projetos de casas mais complicados. A equipe está treinando o modelo em formas mais complexas e prevê que tanto o modelo quanto o conjunto de dados poderão um dia permitir co-pilotos de CAD para projetistas em uma ampla variedade de campos.
“O VideoCAD é um primeiro passo valioso em direção aos assistentes de IA que ajudam a integrar novos usuários e automatizar o trabalho repetitivo de modelagem que segue padrões familiares”, diz Mehdi Ataei, que não esteve envolvido no estudo e é pesquisador sênior da Autodesk Analysis, que desenvolve novas ferramentas de software program de design. “Esta é uma base inicial, e eu ficaria entusiasmado em ver sucessores que abrangem vários sistemas CAD, operações mais ricas, como montagens e restrições, e fluxos de trabalho humanos mais realistas e confusos.”