Por Adam Zewe
Dentro de um gigantesco armazém autônomo, centenas de robôs percorrem os corredores enquanto coletam e distribuem itens para atender a um fluxo constante de pedidos de clientes. Neste ambiente movimentado, mesmo pequenos engarrafamentos ou pequenas colisões podem se transformar em grandes lentidão.
Para evitar esta avalanche de ineficiências, investigadores do MIT e da empresa tecnológica Symbotic desenvolveram um novo método que mantém automaticamente uma frota de robôs em movimento suave. O método deles aprende quais robôs devem agir primeiro em cada momento, com base em como o congestionamento está se formando, e se adapta para priorizar os robôs que estão prestes a ficar presos. Dessa forma, o sistema pode redirecionar os robôs antecipadamente para evitar gargalos.
O sistema híbrido utiliza aprendizagem por reforço profundo, um poderoso método de inteligência synthetic para resolver problemas complexos, para descobrir quais robôs devem ser priorizados. Em seguida, um algoritmo de planejamento rápido e confiável fornece instruções aos robôs, permitindo-lhes responder rapidamente em condições em constante mudança.
Em simulações inspiradas em layouts reais de armazéns de comércio eletrônico, essa nova abordagem alcançou um ganho de cerca de 25% no rendimento em relação a outros métodos. É importante ressaltar que o sistema pode se adaptar rapidamente a novos ambientes com diferentes quantidades de robôs ou layouts de armazém variados.
“Há muitos problemas de tomada de decisão na produção e na logística, onde as empresas dependem de algoritmos concebidos por especialistas humanos. Mas mostrámos que, com o poder da aprendizagem por reforço profundo, podemos alcançar um desempenho sobre-humano. Esta é uma abordagem muito promissora, porque nestes armazéns gigantes, mesmo um aumento de dois ou três por cento no rendimento pode ter um enorme impacto”, diz Han Zheng, um estudante de pós-graduação no Laboratório de Sistemas de Informação e Decisão (LIDS) do MIT e principal autor de um artigo sobre esta nova abordagem.
Zheng é acompanhado no artigo por Yining Ma, pós-doutorado do LIDS; Brandon Araki e Jingkai Chen da Symbotic; e a autora sênior Cathy Wu, professora associada de desenvolvimento de carreira da turma de 1954 em Engenharia Civil e Ambiental (CEE) e do Instituto de Dados, Sistemas e Sociedade (IDSS) do MIT, e membro do LIDS. A pesquisa aparece hoje no Jornal de Pesquisa em Inteligência Synthetic.
Redirecionando robôs
Coordenar centenas de robôs em um armazém de comércio eletrônico simultaneamente não é uma tarefa fácil.
O problema é especialmente complicado porque o armazém é um ambiente dinâmico e os robôs recebem continuamente novas tarefas após atingirem seus objetivos. Eles precisam ser redirecionados rapidamente à medida que saem e entram no armazém.
As empresas muitas vezes utilizam algoritmos escritos por especialistas humanos para determinar onde e quando os robôs devem se mover para maximizar o número de pacotes que podem manipular.
Mas se houver congestionamento ou colisão, a empresa pode não ter outra escolha senão fechar todo o armazém durante horas para resolver o problema manualmente.
“Neste cenário, não temos uma previsão exata do futuro. Sabemos apenas o que o futuro nos reserva, em termos dos pacotes que chegam ou da distribuição de pedidos futuros. O sistema de planejamento precisa ser adaptável a essas mudanças à medida que as operações do armazém avançam”, diz Zheng.
Os pesquisadores do MIT alcançaram essa adaptabilidade usando aprendizado de máquina. Eles começaram projetando um modelo de rede neural para fazer observações do ambiente do armazém e decidir como priorizar os robôs. Eles treinam esse modelo usando aprendizagem por reforço profundo, um método de tentativa e erro no qual o modelo aprende a controlar robôs em simulações que imitam armazéns reais. O modelo é recompensado por tomar decisões que aumentam o rendimento geral e, ao mesmo tempo, evitam conflitos.
Com o tempo, a rede neural aprende a coordenar muitos robôs com eficiência.
“Ao interagir com simulações inspiradas em layouts reais de armazéns, nosso sistema recebe suggestions que usamos para tornar sua tomada de decisão mais inteligente. A rede neural treinada pode então se adaptar a armazéns com diferentes layouts”, explica Zheng.
Ele foi projetado para capturar as restrições e obstáculos de longo prazo no caminho de cada robô, ao mesmo tempo que considera as interações dinâmicas entre os robôs à medida que se movem pelo armazém.
Ao prever as interações atuais e futuras do robô, o modelo planeja evitar o congestionamento antes que ele aconteça.
Depois que a rede neural determine quais robôs devem receber prioridade, o sistema emprega um algoritmo de planejamento testado e comprovado para informar a cada robô como se mover de um ponto a outro. Este algoritmo eficiente ajuda os robôs a reagir rapidamente no ambiente de armazém em constante mudança.
Esta combinação de métodos é elementary.
“Essa abordagem híbrida se baseia no trabalho do meu grupo sobre como obter o melhor dos dois mundos entre o aprendizado de máquina e os métodos clássicos de otimização. Os métodos puros de aprendizado de máquina ainda lutam para resolver problemas complexos de otimização e, ainda assim, exigem muito tempo e trabalho para especialistas humanos projetarem métodos eficazes. Mas, juntos, usar métodos projetados por especialistas da maneira certa pode simplificar tremendamente a tarefa de aprendizado de máquina”, diz Wu.
Superando a complexidade
Depois que os pesquisadores treinaram a rede neural, eles testaram o sistema em armazéns simulados diferentes daqueles vistos durante o treinamento. Como as simulações industriais eram demasiado ineficientes para este problema complexo, os investigadores conceberam os seus próprios ambientes para imitar o que acontece nos armazéns reais.
Em média, sua abordagem híbrida baseada em aprendizagem alcançou um rendimento 25% maior do que os algoritmos tradicionais, bem como um método de pesquisa aleatória, em termos de número de pacotes entregues por robô. Sua abordagem também poderia gerar planos viáveis de trajetória de robôs que superassem o congestionamento causado pelos métodos tradicionais.
“Especialmente quando a densidade de robôs no armazém aumenta, a complexidade aumenta exponencialmente e estes métodos tradicionais começam rapidamente a falhar. Nestes ambientes, o nosso método é muito mais eficiente”, diz Zheng.
Embora o sistema ainda esteja longe de ser implementado no mundo actual, essas demonstrações destacam a viabilidade e os benefícios do uso de uma abordagem orientada por aprendizado de máquina na automação de armazéns.
No futuro, os pesquisadores querem incluir atribuições de tarefas na formulação do problema, uma vez que determinar qual robô completará cada tarefa impacta no congestionamento. Eles também planejam expandir seu sistema para armazéns maiores com milhares de robôs.
Notícias do MIT