A IA generativa e a robótica estão nos aproximando cada vez mais do dia em que poderemos solicitar um objeto e criá-lo em poucos minutos. Na verdade, os pesquisadores do MIT desenvolveram um sistema de conversão de fala em realidade, um fluxo de trabalho orientado por IA que lhes permite fornecer informações a um braço robótico e “fazer com que os objetos existam”, criando coisas como móveis em apenas cinco minutos.
Com o sistema de fala para realidade, um braço robótico montado sobre uma mesa é capaz de receber informações faladas de um ser humano, como “Quero um banquinho simples”, e então construir os objetos a partir de componentes modulares. Até o momento, os pesquisadores usaram o sistema para criar bancos, prateleiras, cadeiras, uma mesinha e até itens decorativos, como uma estátua de cachorro.
“Estamos conectando processamento de linguagem pure, IA generativa 3D e montagem robótica”, diz Alexander Htet Kyaw, estudante de pós-graduação do MIT e bolsista da Morningside Academy for Design (MAD). “Essas são áreas de pesquisa que avançam rapidamente e que não foram reunidas antes de uma forma que você possa realmente criar objetos físicos apenas a partir de um simples comando de fala.”
Da fala à realidade: produção sob demanda usando IA generativa 3D e montagem robótica discreta
A ideia começou quando Kyaw – um estudante de pós-graduação nos departamentos de Arquitetura e Engenharia Elétrica e Ciência da Computação – fez o curso do professor Neil Gershenfeld, “Como fazer quase qualquer coisa”. Nessa aula, ele construiu o sistema de fala para realidade. Ele continuou trabalhando no projeto no Centro de Bits e Átomos (CBA) do MIT, dirigido por Gershenfeld, colaborando com os alunos de pós-graduação Se Hwan Jeon do Departamento de Engenharia Mecânica e Miana Smith do CBA.
O sistema de conversão de fala em realidade começa com o reconhecimento de fala que processa a solicitação do usuário usando um grande modelo de linguagem, seguido por IA generativa 3D que cria uma representação de malha digital do objeto e um algoritmo de voxelização que divide a malha 3D em componentes de montagem.
Depois disso, o processamento geométrico modifica a montagem gerada por IA para levar em conta a fabricação e as restrições físicas associadas ao mundo actual, como o número de componentes, saliências e conectividade da geometria. Isto é seguido pela criação de uma sequência de montagem viável e planejamento de caminho automatizado para o braço robótico montar objetos físicos a partir de solicitações do usuário.
Ao aproveitar a linguagem pure, o sistema torna o design e a fabricação mais acessíveis para pessoas sem experiência em modelagem 3D ou programação robótica. E, ao contrário da impressão 3D, que pode levar horas ou dias, esse sistema é construído em minutos.
“Este projeto é uma interface entre humanos, IA e robôs para co-criar o mundo que nos rodeia”, diz Kyaw. “Think about um cenário em que você diz ‘Quero uma cadeira’ e, em cinco minutos, uma cadeira física se materializa na sua frente.”
A equipe tem planos imediatos para melhorar a capacidade de suporte de peso dos móveis, alterando a forma de conectar os cubos, de ímãs para conexões mais robustas.
“Também desenvolvemos pipelines para converter estruturas de voxel em sequências de montagem viáveis para pequenos robôs móveis distribuídos, o que poderia ajudar a traduzir esse trabalho para estruturas de qualquer escala de tamanho”, diz Smith.
O objetivo do uso de componentes modulares é eliminar o desperdício envolvido na fabricação de objetos físicos, desmontando-os e depois remontando-os em algo diferente, por exemplo, transformar um sofá em uma cama quando você não precisar mais do sofá.
Como Kyaw também tem experiência no uso reconhecimento de gestos e realidade aumentada para interagir com robôs no processo de fabricação, ele está atualmente trabalhando na incorporação da fala e do controle gestual no sistema de fala para realidade.
Apoiando-se em suas memórias do replicador da franquia “Star Trek” e dos robôs do filme de animação “Massive Hero 6”, Kyaw explica sua visão.
“Quero aumentar o acesso das pessoas à fabricação de objetos físicos de maneira rápida, acessível e sustentável”, diz ele. “Estou trabalhando para um futuro onde a própria essência da matéria esteja verdadeiramente sob seu controle. Um futuro onde a realidade possa ser gerada sob demanda.”
A equipe apresentou seu trabalho “Fala para a realidade: produção sob demanda usando linguagem pure, IA generativa 3D e montagem robótica discreta” no Simpósio de Fabricação Computacional da Affiliation for Computing Equipment (ACM) (SCF ’25), realizado no MIT em 21 de novembro.