Os pesquisadores do MIT utilizaram modelos generativos de IA especialmente treinados para criar um sistema que pode completar a forma de objetos 3D ocultos, como os mostrados na foto. Crédito: Cortesia dos pesquisadores.
Por Adam Zewe
Os pesquisadores do MIT passaram mais de uma década estudando técnicas que permitem aos robôs encontrar e manipular objetos ocultos “vendo” através de obstáculos. Seus métodos utilizam sinais sem fio que penetram na superfície e refletem em itens ocultos.
Agora, os pesquisadores estão aproveitando modelos generativos de inteligência synthetic para superar um gargalo de longa knowledge que limitava a precisão das abordagens anteriores. O resultado é um novo método que produz reconstruções de formas mais precisas, o que pode melhorar a capacidade de um robô de agarrar e manipular com segurança objetos que estão bloqueados.
Esta nova técnica constrói uma reconstrução parcial de um objeto oculto a partir de sinais sem fio refletidos e preenche as partes faltantes de sua forma usando um modelo generativo de IA especialmente treinado.
Os pesquisadores também introduziram um sistema expandido que usa IA generativa para reconstruir com precisão uma sala inteira, incluindo todos os móveis. O sistema utiliza sinais sem fio enviados de um radar estacionário, que refletem os humanos que se movem no espaço.
Isso supera um desafio importante de muitos métodos existentes, que exigem que um sensor sem fio seja montado em um robô móvel para escanear o ambiente. E, diferentemente de algumas técnicas populares baseadas em câmeras, seu método preserva a privacidade das pessoas no ambiente.
Essas inovações poderiam permitir que robôs de armazém verificassem os itens embalados antes do envio, eliminando o desperdício na devolução de produtos. Eles também poderiam permitir que robôs domésticos inteligentes entendessem a localização de alguém em uma sala, melhorando a segurança e a eficiência da interação humano-robô.
“O que fizemos agora foi desenvolver modelos generativos de IA que nos ajudam a entender os reflexos sem fio. Isso abre muitas novas aplicações interessantes, mas tecnicamente é também um salto qualitativo em capacidades, desde a capacidade de preencher lacunas que não éramos capazes de ver antes até a capacidade de interpretar reflexões e reconstruir cenas inteiras, “diz Fadel Adib, professor associado do Departamento de Engenharia Elétrica e Ciência da Computação, diretor do grupo Sign Kinetics no MIT Media Lab, e autor sênior de dois artigos sobre essas técnicas. “Estamos usando IA para finalmente desbloquear a visão sem fio.”
Adib se junta ao primeiro artigo pela autora principal e assistente de pesquisa Laura Dodds; bem como os assistentes de pesquisa Maisy Lam, Waleed Akbar e Yibo Cheng; e no segundo artigo pelo autor principal e ex-pós-doutorado Kaichen Zhou; Dodds; e o assistente de pesquisa Sayed Saad Afzal. Ambos os artigos serão apresentados na Conferência IEEE sobre Visão Computacional e Reconhecimento de Padrões.
Superando a especularidade
O Grupo Adib demonstrou anteriormente o uso de sinais de ondas milimétricas (mmWave) para criar reconstruções precisas de objetos 3D que ficam ocultos, como uma carteira perdida enterrada sob uma pilha.
Essas ondas, que são o mesmo tipo de sinal usado no Wi-Fi, podem passar por obstruções comuns, como drywall, plástico e papelão, e refletir em objetos ocultos.
Mas as mmWaves geralmente refletem de maneira especular, o que significa que uma onda reflete em uma única direção após atingir uma superfície. Portanto, grandes porções da superfície refletirão os sinais para longe do sensor mmWave, tornando essas áreas efetivamente invisíveis.
“Quando queremos reconstruir um objeto, só conseguimos ver a superfície superior e não conseguimos ver a parte inferior ou as laterais”, explica Dodds.
Os pesquisadores usaram anteriormente princípios da física para interpretar os sinais refletidos, mas isso limita a precisão da forma 3D reconstruída.
Nos novos artigos, eles superaram essa limitação usando um modelo generativo de IA para preencher as partes que faltavam em uma reconstrução parcial.
“Mas o desafio então é: como treinar esses modelos para preencher essas lacunas?” Adib diz.
Normalmente, os pesquisadores usam conjuntos de dados extremamente grandes para treinar um modelo generativo de IA, que é um dos motivos pelos quais modelos como Claude e Llama exibem um desempenho tão impressionante. Mas nenhum conjunto de dados mmWave é grande o suficiente para treinamento.
Em vez disso, os pesquisadores adaptaram as imagens em grandes conjuntos de dados de visão computacional para imitar as propriedades nas reflexões mmWave.
“Estávamos simulando a propriedade de especularidade e o ruído que obtemos dessas reflexões para que possamos aplicar conjuntos de dados existentes ao nosso domínio. Levaria anos para coletarmos novos dados suficientes para fazer isso”, diz Lam.
Os pesquisadores incorporam a física das reflexões mmWave diretamente nesses dados adaptados, criando um conjunto de dados sintéticos que usam para ensinar um modelo generativo de IA para realizar reconstruções de formas plausíveis.
O sistema completo, denominado Wave-Former, propõe um conjunto de superfícies potenciais de objetos com base em reflexões mmWave, alimenta-as no modelo generativo de IA para completar a forma e, em seguida, refina as superfícies até atingir uma reconstrução completa.
O Wave-Former foi capaz de gerar reconstruções fiéis de cerca de 70 objetos do cotidiano, como latas, caixas, utensílios e frutas, aumentando a precisão em quase 20% em relação às linhas de base de última geração. Os objetos estavam escondidos atrás ou embaixo de papelão, madeira, drywall, plástico e tecido.
A equipe também construiu um sistema expandido que reconstrói totalmente cenas internas inteiras, aproveitando os reflexos do sinal sem fio de humanos que se movem em uma sala. Crédito: Cortesia dos pesquisadores.
Vendo “fantasmas”
A equipe usou essa mesma abordagem para construir um sistema expandido que reconstrói totalmente cenas internas inteiras, aproveitando os reflexos mmWave de humanos em movimento em uma sala.
O movimento humano gera reflexões multipercursos. Algumas mmWaves refletem no ser humano, depois refletem novamente em uma parede ou objeto e, em seguida, chegam de volta ao sensor, explica Dodds.
Estas reflexões secundárias criam os chamados “sinais fantasmas”, que são cópias refletidas do sinal unique que mudam de localização à medida que o ser humano se transfer. Esses sinais fantasmas geralmente são descartados como ruído, mas também contêm informações sobre o structure da sala.
“Ao analisar como estes reflexos mudam ao longo do tempo, podemos começar a obter uma compreensão grosseira do ambiente que nos rodeia. Mas tentar interpretar directamente estes sinais será limitado em termos de precisão e resolução.” Dodds diz.
Eles usaram um método de treinamento semelhante para ensinar um modelo generativo de IA para interpretar essas reconstruções grosseiras de cena e compreender o comportamento das reflexões multipercurso mmWave. Este modelo preenche lacunas, refinando a reconstrução inicial até completar a cena.
Eles testaram seu sistema de reconstrução de cena, chamado RISE, usando mais de 100 trajetórias humanas capturadas por um único radar mmWave. Em média, o RISE gerou reconstruções duas vezes mais precisas do que as técnicas existentes.
No futuro, os pesquisadores querem melhorar a granularidade e o detalhe em suas reconstruções. Eles também querem construir grandes modelos básicos para sinais sem fio, como os modelos básicos GPT, Claude e Gemini para linguagem e visão, que poderiam abrir novas aplicações.
Este trabalho é apoiado, em parte, pela Nationwide Science Basis (NSF), pelo MIT Media Lab e pela Amazon.
Saiba mais
Notícias do MIT