O mais recente modelo de base incorporada da Generalist, GEN-1, agora suporta uma ampla gama de efetores finais de robôs. A empresa disse que o GEN-1 é compatível com mãos de cinco dedos até ferramentas especializadas com novos modos de atuação e tudo mais.
Por treinamento GERAÇÃO-1 trabalhar com essas novas mãos, Generalista disse que está demonstrando que uma única base IA O modelo pode aprender políticas sensório-motoras em robôs que se transferem através de formas radicalmente diferentes de interagir com o mundo físico.
Abaixo, a empresa compartilhou exemplos dessas ações e para onde ela acha que isso está indo.
Generalizando GEN-1 para muitas mãos
O GEN-1 é pré-treinado no conjunto de dados de robótica interno da Generalist, que agora abrange uma ampla variedade de diferentes efetores finais em mais de meio milhão de horas de dados de interação reais. Alguns efetores finais envolvem novos formatos com seus próprios esquemas de atuação e posições de câmera, alguns inspirados em casos reais de uso comercial. Outras são ferramentas prontas para uso, peças impressas ou modificações personalizadas nas garras de dois dedos padrão da empresa – aproximadamente 9.000 variações até o momento – todas escolhidas para expor o modelo a uma ampla gama de física de contato.
As mãos podem mudar, a física não
Cada efetor closing é uma interface sensório-motora diferente por meio da qual o GEN-1 experimenta o mundo físico – uma forma de aprender sobre geometria, contato, atrito, forças e dinâmica. Escalar o pré-treinamento em milhares dessas interfaces ensina representações sensório-motoras universais do GEN-1: uma visão geral bom senso físico que é transferido para novas mãos e novas maneiras de agarrar, empurrar, puxar, torcer e muito mais.
Cada mão é uma linguagem diferente para interação física
Cada mão tem seu próprio vocabulário para atuar no mundo. As chaves de fenda elétricas giram mais rápido do que os dedos conseguem igualar. Controlar um dispensador de fita requer gerenciar a tensão e o posicionamento ao mesmo tempo. As pinças introduzem dinâmicas de conformidade e força de mola que mudam a forma como um objeto deve ser abordado. Espátulas e raspadores de steel trabalham contra uma superfície e não em torno de um objeto, o que significa raciocinar sobre contato distribuído em vez de pontos únicos de contato. Um estilete ou descascador de vegetais exige força controlada ao longo de um caminho restrito.
Assim como treinar em vários idiomas produz modelos de linguagem mais capazes (os conceitos aprendidos numa língua melhoram a compreensão noutra), a aprendizagem através de muitas mãos beneficia a inteligência física. Um modelo treinado em diversas modalidades pode reunir conhecimento compartilhado entre instâncias e separar mais facilmente o que é específico de uma ferramenta do que é common no mundo. Alternar entre os efetores finais para atingir um objetivo torna-se então uma forma de raciocínio físico: usar a ferramenta certa para o trabalho certo, da mesma forma que cadeia de pensamento multilíngue pode melhorar o raciocínio do modelo de linguagem para aprendizagem por reforço posterior.
Porém, nem todas as mãos ajudarão. Alguns efetores finais podem fornecer pouco sinal de aprendizagem – e alguns, como as pinças de dois dedos do Generalist, terão mais peso no mundo actual do que outros, da mesma forma que o inglês domina os modelos linguísticos atuais. O Generalist está estudando como cada novo efetor closing muda o modelo pré-treinado, expandindo deliberadamente o conjunto de dados e avaliando em benchmarks reais.
Estudando como o GEN-1 se adapta a novas mãos
Mãos e ferramentas não têm apenas formatos diferentes; cada um é uma forma diferente de interação que o modelo precisa aprender. O generalista pode medir isso analisando o quanto os pesos do modelo mudam durante o ajuste fino como um sinal quantitativo de quão novo é realmente um efetor closing.
Comparando o GEN-1 pré-treinado com o mesmo modelo após o ajuste fino em uma nova ferramenta, a empresa pode tratar a diferença como uma “atualização de tarefa”. Análises de vetores de tarefas semelhantes estudaram como o ajuste fino transfer os modelos de fundação através do espaço de peso. Aqui, Generalist aplica a lente às modalidades, decompondo atualizações em processamento de sensor, raciocínio harmônico e atuação na arquitetura e visualizando-as abaixo.
Isso informa à empresa quais efetores finais carregam mais informações novas e onde essa novidade chega na arquitetura. Os batedores, por exemplo, deslocam os pesos de processamento do sensor muito mais do que os descascadores, provavelmente porque o modelo precisa perceber a geometria do fio fino do batedor. Isso aponta diretamente para uma intervenção de dados: coletar ferramentas mais finas e visualmente esparsas para fortalecer precisamente esse subsistema.
Adaptando-se a diferentes mãos instantaneamente
O que acontece quando você muda a mão no meio da tarefa? O generalista pode testar isso diretamente: com o modelo no meio da implementação, trocamos fisicamente seu efetor closing e deixamos o mesmo modelo continuar em execução. Ele percebe a nova ferramenta, condiciona o que vê e encontra uma nova trajetória e estratégia de contato para atingir o mesmo objetivo.
Isso funciona porque o treinamento em dados mistos força o modelo a condicionar seu comportamento na mão à sua frente. Em vez de memorizar um conjunto fixo de estratégias de manipulação, aprende algo mais próximo de um conhecimento prévio sobre como as formas e superfícies de contato interagem com o mundo – e qual estratégia de atuação deve seguir. O resultado é um modelo único que reconhece suas próprias ferramentas e se adapta: rumo a uma inteligência para muitas mãos.
Rumo a uma explosão cambriana de fatores de forma robótica
A natureza não convergiu para uma única solução para manipular o mundo físico.
Explodiu em milhões. Você pode ver isso em toda parte na diversidade da vida que nos rodeia: do bico de um pássaro à tromba de um elefante, das ventosas de um polvo aos cestos de pólen de uma abelha. Cada um oferece ao seu proprietário uma maneira diferente de agarrar, empurrar e puxar, e esses são apenas alguns pontos em um espaço de design tão grande que mal começamos a mapear.
Os robôs não estão presos às mãos com as quais nasceram.
Ao contrário dos humanos, os robôs podem facilmente trocar de mãos mecânicas, e os trocadores de ferramentas já são comuns na automação. Alimentados pela inteligência certa, os robôs podem alternar entre os executores finais e compor modos de atuação para executar tarefas de maneiras que vão além do que os humanos podem fazer. Às vezes, uma ferramenta altamente especializada é a solução preferrred, e os sistemas generalistas devem ser capazes de saber quando e como usar a melhor ferramenta para o trabalho.
Construindo inteligência física geral
Se pudermos construir uma inteligência geral que compreenda a física subjacente à interação, então o formato da mão se tornará secundário em relação à inteligência que a impulsiona. Uma ventosa, uma pinça, uma escova, um bico de soldagem a plasma – são apenas interfaces diferentes através das quais a mesma inteligência pode remodelar o mundo físico.
O futuro das mãos robóticas não será parecido com o do Generalist, disse a empresa. Será mais parecido com uma caixa de ferramentas com mil mãos: aumentada, recombinada e dimensionada. Mãos com cinco dedos serão uma ferramenta entre muitas; limitar os robôs apenas a isso seria uma falta de imaginação. Os robôs sempre foram concebidos para ampliar o que os humanos podem fazer – para capacitar as pessoas a moldar o mundo físico em lugares e em escalas que nunca poderíamos antes.

