Em 2016, eu disse algo que ia contra o rumo que a robótica estava tomando na época: a visão por si só não funciona para a compreensão.
Não “precisa de melhorias”. Não “a tecnologia ainda não existe”. Não se enquadra no problema.
Agarrar é físico. Contato, força, fricção. A visão pode guiar a abordagem. Não consegue sentir o que acontece a seguir.
Naquela época, vimos isso no laboratório. Os dados de vibração tátil previram falha de preensão com 83% de precisão e detectaram deslizamento em 92%. Resultados iniciais, mas suficientemente claros. Os sinais importantes não aparecem nas imagens.
Dez anos depois, o resto do campo está atingindo o mesmo limite.
A visão aproxima você
A visão ainda é importante. Ele lida com detecção, posicionamento e planejamento. Isso leva o robô ao lugar certo, alinhado da maneira certa.
Faz isso bem, mas a manipulação não para quando a pinça atinge o objeto.
É aí que as coisas quebram.
O que acontece no contato não é visível
Antes do contato, o robô está elaborando imagens.
Após o contato, trata-se de forças.
Uma má compreensão não começa como uma mudança visible. Isso aparece como uma mudança de força. O deslizamento começa nas pontas dos dedos antes que qualquer coisa se mova o suficiente para ser vista. Muita pressão aparece no pulso antes que o objeto se deforme.
No momento em que uma câmera detecta um problema, ele já está acontecendo.
A visão vê resultados. A detecção de contato mede a interação à medida que ela acontece.
E os dados úteis ficam ali mesmo, no momento do contato.
A evidência já está aí
Isso não é mais uma teoria.
As políticas orientadas pelo táctil superam as políticas baseadas apenas na visão em tarefas que envolvem força. Benchmarks como ManiSkill-ViTac mostram melhor desempenho quando você combina visão com entrada tátil, especialmente na inserção e montagem. Modelos como π0, OpenVLA e Octo dependem de entradas sincronizadas de vários sensores. Remova dados de força ou táteis e o desempenho cai.
Ninguém está substituindo a visão. Eles estão adicionando o que está faltando.
Os sistemas mais fortes hoje combinam visão, propriocepção, força e toque em um único modelo.
É isso que transfer o desempenho.
A visão já deu a maior parte do que pode
A visão ainda carrega muito do sistema. Mas isso não resolve a parte difícil.
A IA física melhora com mais dados, mas nem todos os dados são igualmente importantes. Os sinais de força e táteis têm um impacto enorme na forma como um sistema lida com o contato actual.
A maioria dos conjuntos de dados ainda depende fortemente da visão e dos dados conjuntos.
Então você vê o mesmo padrão repetidamente. Os robôs alcançam a posição certa. Em seguida, lute com a inserção, montagem e tudo o que depende de conformidade.
A informação que falta é física.
Os dados táteis ainda não foram dimensionados
Coletar bons dados de contato não foi fácil. Você precisa de efetores finais instrumentados, sensores táteis e de força confiáveis, sincronização precisa e formatos consistentes.
Esse é um problema de {hardware} tanto quanto de modelagem.
Até recentemente, a infraestrutura não existia.
Agora é.
O gargalo é a rapidez com que as equipes podem implantá-lo e começar a coletar dados.
Fechando o ciclo
O que começou como uma reivindicação em 2016 agora está aparecendo em todos os lugares.
Robôs que apenas enxergam continuarão atingindo os mesmos limites. Robôs capazes de sentir começarão a diminuir a distância.
A visão permanece. Não vai a lugar nenhum.
Mas não acarretará manipulação por si só. A mudança vem da adição de sinais importantes no ponto de contato.
Na Robotiq, nosso sensores táteis são construídos para capturar esses sinais diretamente na garra, para que os robôs vejam e sinta o que eles estão fazendo.
