Os modelos generativos de inteligência synthetic deixaram um impacto tão indelével na criação de conteúdo digital que está cada vez mais difícil lembrar como period a Web antes dela. Você pode recorrer a essas ferramentas de IA para projetos inteligentes, como vídeos e fotos – mas seu talento para a criatividade ainda não chegou ao mundo físico.
Então, por que ainda não vimos objetos personalizados generativos habilitados para IA, como capas de telefone e potes, em lugares como casas, escritórios e lojas? De acordo com pesquisadores do Laboratório de Ciência da Computação e Inteligência Synthetic do MIT (CSAIL), uma questão elementary é a integridade mecânica do modelo 3D.
Embora a IA possa ajudar a gerar modelos 3D personalizados que você pode fabricar, esses sistemas nem sempre consideram as propriedades físicas do modelo 3D. O estudante de doutorado do Departamento de Engenharia Elétrica e Ciência da Computação (EECS) do MIT e engenheiro CSAIL Faraz Faruqi explorou essa compensação, criando sistemas generativos baseados em IA que podem fazer mudanças estéticas nos projetos enquanto preservando a funcionalidade, e outro que modifica estruturas com o desejado propriedades táteis os usuários querem sentir.
Tornando isso actual
Juntamente com pesquisadores do Google, Stability AI e Northeastern College, Faruqi encontrou agora uma maneira de criar objetos do mundo actual com IA, criando itens que são duráveis e exibem a aparência e textura pretendidas pelo usuário. Com o “Estilo mecânico“, os usuários simplesmente carregam um modelo 3D ou selecionam um ativo predefinido de coisas como vasos e ganchos, e solicitam a ferramenta usando imagens ou texto para criar uma versão personalizada. Um modelo generativo de IA então modifica a geometria 3D, enquanto o MechStyle simula como essas mudanças afetarão peças específicas, garantindo que áreas vulneráveis permaneçam estruturalmente sólidas. Quando estiver satisfeito com este projeto aprimorado por IA, você pode imprimi-lo em 3D e usá-lo no mundo actual.
Você pode selecionar um modelo de, digamos, um gancho de parede e o materials com o qual irá imprimi-lo (por exemplo, plásticos como ácido polilático). Em seguida, você pode solicitar que o sistema crie uma versão personalizada, com instruções como “gerar um gancho semelhante a um cacto”. O modelo de IA funcionará em conjunto com o módulo de simulação e gerará um modelo 3D semelhante a um cacto, ao mesmo tempo que possui as propriedades estruturais de um gancho. Este acessório verde e estriado pode ser usado para pendurar canecas, casacos e mochilas. Tais criações são possíveis graças, em parte, a um processo de estilização, onde o sistema altera a geometria de um modelo com base na compreensão do immediate de texto e trabalhando com o suggestions recebido do módulo de simulação.
De acordo com os pesquisadores do CSAIL, a estilização 3D costumava trazer consequências indesejadas. O seu estudo formativo revelou que apenas cerca de 26% dos modelos 3D permaneceram estruturalmente viáveis depois de serem modificados, o que significa que o sistema de IA não compreendia a física dos modelos que estava a modificar.
“Queremos usar a IA para criar modelos que você possa realmente fabricar e usar no mundo actual”, diz Faruqi, autor principal de um papel apresentando o projeto. “Portanto, o MechStyle realmente simula como as mudanças baseadas em GenAI impactarão uma estrutura. Nosso sistema permite que você personalize a experiência tátil do seu merchandise, incorporando seu estilo pessoal e garantindo que o objeto possa sustentar o uso diário.”
Esse rigor computacional poderia eventualmente ajudar os usuários a personalizar seus pertences, criando um par exclusivo de óculos com pontos salpicados de azul e bege que lembram escamas de peixe, por exemplo. Também produziu uma casamata com textura rochosa xadrez com manchas rosa e água. O potencial do sistema se estende à criação de decoração exclusiva para casa e escritório, como um abajur que lembra o magma vermelho. Ele pode até projetar tecnologia assistiva adequada às especificações dos usuários, como talas para os dedos para ajudar em lesões hábeis e cabos de utensílios para ajudar em deficiências motoras.
No futuro, o MechStyle também poderá ser útil na criação de protótipos de acessórios e outros produtos portáteis que você possa vender em uma loja de brinquedos, loja de ferragens ou boutique de artesanato. O objetivo, dizem os pesquisadores do CSAIL, é que designers experientes e novatos passem mais tempo fazendo brainstorming e testando diferentes designs 3D, em vez de montar e personalizar itens manualmente.
Permanecendo forte
Para garantir que as criações do MechStyle pudessem suportar o uso diário, os pesquisadores aumentaram sua tecnologia de IA generativa com um tipo de simulação física chamada análise de elementos finitos (FEA). Você pode imaginar um modelo 3D de um merchandise, como um par de óculos, com uma espécie de mapa de calor indicando quais regiões são estruturalmente viáveis sob uma quantidade realista de peso e quais não são. À medida que a IA refina este modelo, as simulações físicas destacam quais partes do modelo estão ficando mais fracas e evitam novas alterações.
Faruqi acrescenta que executar essas simulações sempre que uma mudança é feita retarda drasticamente o processo de IA, então o MechStyle foi projetado para saber quando e onde fazer análises estruturais adicionais. “A estratégia de agendamento adaptativo do MechStyle monitora quais mudanças estão acontecendo em pontos específicos do modelo. Quando o sistema genAI faz ajustes que colocam em risco certas regiões do modelo, nossa abordagem simula a física do design novamente. O MechStyle fará modificações subsequentes para garantir que o modelo não quebre após a fabricação.”
A combinação do processo FEA com o agendamento adaptativo permitiu que a MechStyle gerasse objetos que chegavam a ser 100% estruturalmente viáveis. Testando 30 modelos 3D diferentes com estilos semelhantes a tijolos, pedras e cactos, a equipe descobriu que a maneira mais eficiente de criar objetos estruturalmente viáveis period identificar dinamicamente regiões fracas e ajustar o processo generativo de IA para mitigar seu efeito. Nestes cenários, os investigadores descobriram que podiam parar completamente a estilização quando um limiar de tensão específico fosse atingido ou fazer gradualmente pequenos refinamentos para evitar que áreas de risco se aproximassem dessa marca.
O sistema também oferece dois modos diferentes: um recurso de estilo livre que permite à IA visualizar rapidamente diferentes estilos em seu modelo 3D, e um MechStyle que analisa cuidadosamente os impactos estruturais de seus ajustes. Você pode explorar ideias diferentes e depois experimentar o modo MechStyle para ver como esses floreios artísticos afetarão a durabilidade de regiões específicas do modelo.
Os pesquisadores do CSAIL acrescentam que, embora seu modelo possa garantir que seu modelo permaneça estruturalmente sólido antes de ser impresso em 3D, ainda não é capaz de melhorar modelos 3D que não eram viáveis para começar. Se você enviar esse arquivo para o MechStyle, receberá uma mensagem de erro, mas Faruqi e seus colegas pretendem melhorar a durabilidade desses modelos defeituosos no futuro.
Além do mais, a equipe espera usar IA generativa para criar modelos 3D para os usuários, em vez de estilizar predefinições e designs carregados pelos usuários. Isto tornaria o sistema ainda mais fácil de usar, para que aqueles que estão menos familiarizados com modelos 3D, ou que não conseguem encontrar o seu design on-line, possam simplesmente gerá-lo do zero. Digamos que você queira fabricar um tipo único de tigela e esse modelo 3D não esteja disponível em um repositório; A IA poderia criá-lo para você.
“Embora a transferência de estilo para imagens 2D funcione incrivelmente bem, poucos trabalhos exploraram como essa transferência para 3D”, diz o cientista pesquisador do Google, Fabian Manhardt, que não esteve envolvido no artigo. “Essencialmente, 3D é uma tarefa muito mais difícil, pois os dados de treinamento são escassos e a alteração da geometria do objeto pode danificar sua estrutura, tornando-o inutilizável no mundo actual. O MechStyle ajuda a resolver esse problema, permitindo a estilização 3D sem quebrar a integridade estrutural do objeto por meio de simulação. Isso dá às pessoas o poder de serem criativas e de se expressarem melhor por meio de produtos que são feitos sob medida para elas.”
Farqui escreveu o artigo com a autora sênior Stefanie Mueller, que é professora associada do MIT e investigadora principal do CSAIL, e dois outros colegas do CSAIL: a pesquisadora Leandra Tejedor SM ’24 e o pós-doutorado Jiaji Li. Seus coautores são Amira Abdel-Rahman PhD ’25, agora professora assistente na Cornell College, e Martin Nisser SM ’19, PhD ’24; o pesquisador do Google Vrushank Phadnis; Vice-presidente de pesquisa de IA de estabilidade, Varun Jampani; o professor do MIT e diretor do Centro de Bits e Átomos, Neil Gershenfeld; e a professora assistente da Northeastern College, Megan Hofmann.
Seu trabalho foi apoiado pelo Programa MIT-Google para Inovação em Computação. Ele foi apresentado no Simpósio de Fabricação Computacional da Affiliation for Computing Equipment em novembro.