Uma câmera térmica pode capturar dados para ajudar a treinar robôs para uma ampla variedade de cenários. Fonte: Bifrost AI
As equipes de robótica normalmente precisam de grandes quantidades de dados para treinar e avaliar seus sistemas. À medida que a procura cresceu, os sistemas tornaram-se mais complexos e o nível de qualidade dos dados reais e sintéticos só aumentou.
O problema é que a maioria dos dados do mundo actual são repetitivos. As frotas capturam as mesmas ruas vazias, os mesmos oceanos calmos, as mesmas patrulhas monótonas. Os momentos úteis são raros e as equipes passam meses procurando por eles.
O desafio não é apenas coletar casos extremos. Também está obtendo cobertura whole em todas as estações, iluminação, clima e agora em diferentes sensores—inclusive térmica, que se torna essencial quando a visibilidade cai.
Nenhuma equipe pode esperar um ano pela temporada certa ou criar milhares de colisões reais apenas para coletar dados. Mesmo as maiores frotas não conseguem capturar todos os cenários de que necessitam. A realidade simplesmente não produz variedade suficiente com rapidez suficiente.
Portanto, as equipes estão recorrendo a dados sintéticos. Eles podem gerar os cenários exatos que precisam sob demanda, desde estradas cobertas de gelo até perigos raros que aparecem uma vez por ano. Eles também podem criar versões térmicas dessas cenas, dando aos robôs os exemplos que precisam aprender para ver quando a luz desaparece.
Os dados sintéticos proporcionam às equipes de robótica a cobertura que a realidade não oferece, na velocidade que a autonomia moderna exige.
Dados sintéticos expõem robôs a cenários do mundo actual
O treinamento de sistemas autônomos com base em dados sintéticos – cenários gerados por computador que reproduzem condições do mundo actual – dá aos robôs uma maneira de aprender sobre o mundo antes mesmo de encontrá-lo. Assim como uma criança pode aprender a reconhecer dinossauros observando Parque Jurássicocomputador visão modelos podem aprender a identificar novos objetos, ambientes e comportamentos treinando em simulado exemplos.
Os conjuntos de dados sintéticos podem fornecer cenas ricas, variadas e altamente controladas que ajudam os robôs a compreender a aparência e o comportamento do mundo em toda a gama de situações que podem enfrentar.
Vendo além da cor
Os robôs, assim como os humanos, usam mais do que câmeras convencionais para compreender o mundo. Eles confiam em lidar, radare sonar para detectar profundidade ou detectar objetos. Quando a visibilidade diminui à noite ou com neblina, eles mudam para infravermelho.
O sensor infravermelho mais comum é a câmera térmica. Transforma calor em imagens, permitindo que os robôs vejam pessoas, veículos, motores e animais mesmo na escuridão whole.
Para treinar bem esses sistemas, as equipes precisam de dados térmicos sintéticos que capturem toda a gama de padrões de calor que os robôs enfrentarão em campo.
Dados térmicos sintéticos brilham em aplicações de alto risco
Os dados térmicos sintéticos são mais importantes em locais onde a coleta de imagens térmicas do mundo actual é muito perigosa ou muito rara. Defesa e os sistemas industriais operam em ambientes confusos e imprevisíveis e precisam de uma cobertura que a realidade não pode fornecer de forma confiável.
- Embarcações autônomas no mar: Nevoeiro, borrifos e escuridão são normais no mar. A térmica faz com que pessoas, barcos e costas se destaquem quando as câmeras RGB ficam cegas.
- Drones à noite: A coleta de dados térmicos para voos noturnos de emergência ou para evitar colisões em terrenos desordenados é arriscada e cara. A térmica sintética permite que os drones aprendam a navegar com luz zero, através de fumaça, neblina e vegetação densa onde as câmeras tradicionais falham.
- Satélites rastreando assinaturas de calor: O ruído atmosférico e os limites dos sensores significam que os satélites não conseguem capturar todos os cenários térmicos da Terra. A térmica sintética preenche as lacunas na previsão do tempo, monitoramento do clima e resposta a desastres, fortalecendo os modelos nos quais esses satélites dependem.
Dados térmicos sintéticos permitem que as equipes construam robôs 100 vezes mais rápido
As equipes já estão gerando conjuntos de dados sintéticos para cenários raros ou difíceis de capturar sob demanda, em vez de esperar meses pelos dados de campo. Essa mudança aumentou a velocidade de iteração em até 100x em alguns casos e reduziu os custos de aquisição de dados em até 70% quando combinada com conjuntos de dados do mundo actual.
Adicionar dados térmicos sintéticos pode tornar esses ganhos ainda maiores. Ao trabalhar com os melhores parceiros de simulação do mundo, conseguimos construir um pipeline térmico de alta qualidade que oferece essas vantagens de velocidade e custo diretamente às equipes que estão construindo a próxima geração de físico IA.
Qual é o futuro: dados sintéticos ou reais?
As equipes precisam de dados reais e sintéticos, como vimos ao trabalhar com alguns dos grupos de robótica mais avançados do mundo, desde as equipes de veículos lunares da NASA até as equipes de autonomia de campo da Anduril. Eles coletam enormes quantidades de dados do mundo actual, mas muitos deles são repetitivos.
A questão não é a quantidade; é cobertura. O objetivo é encontrar lacunas e preconceitos nesses conjuntos de dados reais e preenchê-los com dados sintéticos direcionados.
Essa abordagem híbrida oferece às equipes uma estratégia de dados mais forte e completa. Ao combinar as nuances das missões reais com a precisão e a escala da geração sintética, as equipes de robótica podem construir sistemas prontos para as condições mais difíceis e para os cenários de baixa probabilidade que cada robô eventualmente enfrentará.
Sobre o autor
Sobre o autorCarlos Wong é cofundador e CEO da IA Bifrostuma plataforma de dados sintéticos para equipes físicas de IA e robótica. A Bifrost gera conjuntos de dados de simulação 3D de alta fidelidade que ajudam os clientes a treinar, testar e validar sistemas autônomos em condições complexas do mundo actual.
Wong e sua equipe trabalham com organizações como o Laboratório de Propulsão a Jato da NASA e a Força Aérea dos EUA para criar ambientes virtuais ricos para pouso planetário, conscientização do domínio marítimo e autonomia off-road.