A NVIDIA está oferecendo ferramentas de agente de IA para desenvolvedores de robótica e veículos autônomos.
Hoje, no GTC Taipei e na Computex, a NVIDIA Corp. revelou diversas habilidades e ferramentas de IA física de código aberto para ajudar desenvolvedores de robótica, veículos autônomos, IA visible e gêmeos digitais industriais. A empresa afirmou que eles podem ajudar a reduzir os custos, o tempo e a complexidade da construção de fluxos de trabalho físicos de IA em grande escala.
Disponível como parte do Equipment de ferramentas do agente NVIDIAas novas habilidades permitirão IA agentes aceleram a geração de dados, simulação, treinamento, avaliação e pipelines de implantação por trás de robôs e veículos autônomos (AVs), fábricas e laboratórios, disse o empresa.
“Os agentes de IA estão revolucionando o desenvolvimento de software program, e essa mudança está chegando agora à IA física, estendendo-se aos sistemas que transformarão o transporte, a fabricação, a saúde e a robótica”, disse Jensen Huang, fundador e CEO da NVIDIA, em GTC Taipé. “Quando os agentes puderem usar diretamente as bibliotecas, modelos e estruturas da NVIDIA, o desenvolvimento físico da IA será mais rápido, permitindo que os desenvolvedores construam robôs, veículos autônomos e sistemas industriais do futuro em um ritmo incrível.”
“A IA física requer grandes quantidades de dados de treinamento em diversos ambientes”, observou Rev Lebaredian, vice-presidente de simulação de IA física da NVIDIA. “Teleoperação, simulação e dados em escala de Web levam a modelos de base mundial para uma diversidade infinita de casos de uso.”
NVIDIA torna a pilha de IA física pronta para agente
A NVIDIA disse que está otimizando toda a sua pilha física de IA para agentes, transformando bibliotecas, modelos e estruturas em ferramentas que podem ser chamadas por agentes. Isso inclui:
“Cosmos 3 é o modelo de base de fronteira para IA física”, disse Lebaredian. “Ele entende vídeos e texto e pode sinalizar o que é importante. Cosmos é uma simulação fisicamente precisa e é capaz de prever o que acontece a seguir e gerar ações.”
Para ajudar a aplicar essas ferramentas, a NVIDIA está lançando novas habilidades para transformar processos físicos de desenvolvimento de IA em instruções repetíveis que os agentes de codificação podem seguir. Isso inclui quais ferramentas chamar, quais resultados produzir e como os desenvolvedores podem validar os resultados.
Os desenvolvedores também podem construir e implantar agentes autônomos com segurança usando essas habilidades com o NVIDIA NemoClaw projeto e o NVIDIA OpenShell runtime, que fornece segurança baseada em políticas e governança de privacidade em {hardware} native ou em nuvem. Os agentes funcionarão no limite no Jetson e já demonstraram melhorias no tempo de atividade, disse Lebaredian.
A NVIDIA afirmou que suas habilidades e ferramentas físicas de IA estão acelerando o desenvolvimento da agência em:
- Robótica e IA de ponta: Os desenvolvedores de robôs podem usar habilidades para acelerar todo o pipeline de desenvolvimento robótico, desde a geração de percepção e mobilidade dados de treinamento para simulaçãoautomatizando navegação treinamento, avanço no aprendizado de robôs e ajuste de sistemas edge baseados em Jetson para implantação.
- Veículos autônomos: Para os desenvolvedores de AV, as habilidades podem direcionar os agentes para reconstruir os dados capturados pelas frotas em ambientes de simulação, gerar cenários de direção fotorrealistas em escala e executar o aprendizado de reforço em circuito fechado para expandir a cobertura de treinamento e avaliação.
- Em tempo actual visão Agentes de IA: Para automatizado inspeção e inteligência de vídeo, a NVIDIA disse que suas habilidades de agente podem ajudar as equipes a gerar dados de treinamento sintéticos, ajustar modelos, automatizar a rotulagem e construir agentes de IA de vídeo que pesquisam, resumem e analisam vídeos ao vivo ou gravados.
- IA industrial: Os desenvolvedores de software program industrial podem usar essas habilidades para converter dados de engenharia em ativos de design auxiliado por computador (CAD) para simulação de gêmeos digitais, otimizando grandes cenas OpenUSD com menos configuração handbook.
- Assistência médica: Antes de implantar a automação em ambientes clínicos, as equipes de saúde podem orientar os agentes na criação de gêmeos digitais de hospital ambientes, geração de dados sim-to-real e testes de políticas de software program em circuito.
As habilidades podem ser combinadas e integradas em sistemas agentes maiores, de acordo com a NVIDIA. Isso permite que os desenvolvedores orquestrem e automatizem fluxos de trabalho complexos, como geração de dados, simulaçãootimização, ajuste de inferência, avaliação contínua e muito mais.
Desenvolvedores de robótica adotam pilha física de IA
Tecnologias 1X, Robôs Ágeis, Agilidade, CampoAI, Robótica Hexágono, NEURA Robótica, Skild IAe Robôs Universais estão entre as empresas de robótica que já usam a pilha de IA física pronta para agente da NVIDIA.
“Com as atualizações de pilha no NVIDIA Isaac GR00T, novos fluxos de trabalho completos podem ser configurados em horas, em vez de semanas”, disse Lebaredian. “’Omnimodal’ significa que funciona com diferentes modos – vídeo, sensores, texto e som para entradas e saídas de ação.”
Além disso, Foxconn e Compal estão usando NVIDIA Isaac pela Saúde para acelerar a robótica hospitalar. Compal está avançando no processo de desenvolvimento de seu robô PolyMedX em direção a uma plataforma de orquestração para todo o hospital, integrando simulação, IA e operações do mundo actual.
Foxconn é dimensionamento Nurabot em vários hospitais e ambientes de cuidados de longo prazo, trazendo Robótica alimentada por IA para atendimento ao paciente, bem como a introdução de seu novo Scrub Nurse Collaborative Robotic para ajudar a otimizar os fluxos de trabalho da sala de cirurgia.
Líderes do setor constroem com tecnologias NVIDIA
Parceiros e clientes da NVIDIA em todo fabricação, transportesaúde e software program industrial estão usando suas bibliotecas físicas de IA para avançar no desenvolvimento de sistemas autônomos e IA industrial.
À medida que essas bibliotecas ficam prontas para os agentes, os desenvolvedores podem usar as habilidades da NVIDIA para ajudar os agentes a automatizar a configuração, a execução e a iteração em fluxos de trabalho físicos complexos de IA.
Em eletrônica fabricação, TSMC e Pegatron estão aprimorando modelos de inspeção visible. A Pegatron supostamente reduziu o tempo de treinamento e implantação do modelo em 67% usando dados sintéticos gerados a partir da habilidade de geração de imagens de defeitos.
Delta Eletrônica gerou dados de defeitos sintéticos e usou a habilidade para detectar excesso de solda em barramentos metálicos, melhorando a taxa de detecção em 17%. A Inventec desenvolveu seu pipeline de inspeção visible de Agente de Observação integrando a habilidade de geração de imagens de defeitos, reduzindo em 30% o esforço de coleta de dados de defeitos para fabricação de chassis de laptop computer.
Foxconntrabalhando com DeepHow, usou a habilidade para melhorar a eficiência da fabricação detectando erros antecipadamente, aumentando o rendimento da primeira passagem em cerca de 3%.
Na IA industrial, Cadência, Dassault Sistemas, Siemens e Sinopse estão usando bibliotecas e habilidades do NVIDIA Omniverse para inspeção de dados de engenharia, simulação e gêmeos digitais interativos. PTCMetAI e Roda leve estão aproveitando a estrutura NVIDIA Isaac Sim e fluxos de trabalho baseados em OpenUSD para transformar dados CAD em ativos e ambientes prontos para simulação.
Como parte de seu roteiro “Autonomous Fab 2030”, SK hynix está implementando gêmeos digitais fabulosos de semicondutores usando NVIDIA Omniverse. A fabricante de chips também está colaborando com a NVIDIA e a SK Telecom para validar o NVIDIA Agent Toolkit para IA física específica de fabricação.
Os desenvolvedores autônomos Li Auto, Afari e DeepRoute.ai estão usando modelos NVIDIA Omniverse NuRec para reconstrução e renderização de cenas neurais. Eles geraram mais de 1.000 reconstruções e mais de 300.000 renderizações e simulações por dia.
Além disso, as empresas AV estão a utilizar o novo repositório de competências dos agentes para acelerar e melhorar o desenvolvimento de sistemas de condução autónoma mais seguros e mais capazes. Foxconn, VinFast, Ubere HUMAIN se juntaram a NVIDIA CONDUZIR Hipérion ecossistema para desenvolver e implantar SAE Nível 4 robotáxis.
Alpamayo 2 Tremendous já foi baixado mais de 500 mil vezes e foi eleito a “Melhor Tecnologia” da Computex, disse Spencer Huang, diretor de produto para robótica da NVIDIA.
Ferramentas de agente físico de IA já estão disponíveis
A NVIDIA disse que suas ferramentas e habilidades de agentes físicos de IA estão disponíveis através GitHub e habilidades.sh para uso com qualquer agente de codificação.
Habilidades e ferramentas do agente para geração de dados sintéticos — Reconstrução Neural, Aumento de vídeo, Geração de imagem de defeito — também estão disponíveis no NVIDIA Brev como Lançamentos físicos de IAambientes pré-configurados que reúnem habilidades e ferramentas do agente para geração e avaliação mais rápidas de dados sintéticos.
Microsoft, CoreWeavee Nébio estão integrando essas habilidades e ferramentas dos agentes com seus serviços em nuvem para permitir que os desenvolvedores simplifiquem e dimensionem a geração e implantação de dados sintéticos.
Humanóide Unitree a referência para NVIDIA Isaac GR00T
A NVIDIA também anunciou o robô humanóide de referência NVIDIA Isaac GR00T, um robô aberto humanoide projeto de referência de robô baseado em NVIDIA Jetson Thor e o NVIDIA Isaac GR00T plataforma de desenvolvimento. A empresa disse que isso ajudará a democratizar o acesso a {hardware} e software program avançados sem exigir plataformas proprietárias caras, pois o interesse em humanóides de uso geral aumenta.
A NVIDIA combinou um corpo de robô em tamanho actual com manipulação hábil, detecção, controle e computação de IA integrada:
- Unidade Chassi humanóide H2, medindo quase 1,8 m (6 pés) de altura e pesando 68 kg (150 lb), com 31 graus de liberdade para testes em escala humana.
- Twin Onda Sharpa cinco dedos táteis mãos, permitindo uma manipulação hábil com 22 graus de liberdade e levando o robô a 75 graus de liberdade em todo o corpo e mãos.
- Visualização múltipla sentindo, incluindo uma câmera estéreo montada na cabeça com amplo campo de visão (140 graus horizontal, 102 graus vertical), câmeras de pulso para manipulação de curto alcance e uma unidade de medição de inércia para rastreamento de movimento.
- Controle de corpo inteiro, com torque de braço de até 120 Newton-metros, torque de perna de até 360 Newton-metros, carga útil nominal do braço de 7 kg (15,4 lb.) e carga útil máxima de 15 kg (33 lb.), proporcionando levantamento e alcance mais capazes.
- Computação integrada NVIDIA Jetson AGX Thor T5000, apresentando uma GPU NVIDIA Blackwell com 2.070 teraflops FP4 de desempenho de IA, uma CPU Arm de 14 núcleos, 128 GB de memória unificada e uma faixa de potência configurável de 40 a 130 watts para processamento de sensores em tempo actual e inferência de robôs.
- Conectividade através de Ethernet, Wi-Fi 6, Bluetooth 5.2, USB e uma variedade de microfones e alto-falantes para interação por voz.
- Bateria para operação prolongada, com 15Ah, capacidade de 0,972kWh e cerca de três horas de vida.
- Parada de emergência remota função para desengatar rapidamente o robô com segurança.
A plataforma Isaac GR00T inclui:
O sistema foi projetado para ser modular, para que as equipes de robótica possam usar a plataforma completa ou integrar recursos selecionados em pipelines de desenvolvimento existentes, ajudando-as a dimensionar o desenvolvimento humanóide sem reconstruir a mesma infraestrutura para cada robô ou tarefa.
Principais instituições de pesquisa, incluindo Ai2, ETH Zurique, Stanford Centro de Robótica e Universidade da Califórnia em San DiegoO Laboratório de Robótica e Controles Avançados da Microsoft planeja usar este projeto de referência para avançar na pesquisa em robótica humanóide.
“Para progredir em direção aos robôs de uso geral, os pesquisadores precisam de plataformas que sejam capazes e amplamente acessíveis”, disse Deepak Pathak, cofundador e CEO da Skild AI. “Um projeto de referência permite que mais pesquisadores participem de pesquisas humanóides de ponta e passem de ideias a experimentos com mais rapidez. Isso ajuda a impulsionar todo o ecossistema de pesquisa robótica.”
Pesquisa NVIDIA também usará esse design de referência para desenvolver modelos abertos, estruturas e {hardware} do Isaac GR00T. O robô humanóide de referência NVIDIA Isaac GR00T estará disponível da Unitree no ultimate de 2026.