Imagem retirada do vídeo do YouTube criado pelos autores (veja abaixo).
Um sistema desenvolvido por pesquisadores da Universidade de Waterloo permite que pessoas colaborem com grupos de robôs para criar obras de arte inspiradas na música.
A nova tecnologia apresenta vários robôs com rodas do tamanho de bolas de futebol que deixam um rastro de luz colorida à medida que se movem dentro de uma área fixa no chão em resposta às principais características da música, incluindo andamento e progressão de acordes.
Uma câmera registra os rastros de luz coordenados à medida que serpenteiam nessa área, que serve como tela para a criação de uma “pintura” ou representação visible do conteúdo emocional de uma determinada peça musical.
“Basicamente, programamos um enxame de robôs para pintar com base em informações musicais”, disse Dr Gennaro Notomistaprofessor de engenharia elétrica e de computação em Waterloo.
“O resultado é um sistema coeso que não apenas processa a entrada musical, mas também coordena vários robôs de pintura para criar arte adaptável e expressiva que reflete a essência emocional da música que está sendo tocada.”
Os robôs representam emoções ao “ouvirem” música através das cores, intensidade e largura dos seus rastos de luz, bem como da sua posição na tela e da velocidade com que se movem dentro dela.
As pessoas podem influenciar simultaneamente uma pintura em andamento usando controles para alterar a largura dos rastros de luz e sua localização na tela digital.
“Incluímos o controle humano para permitir que pessoas e robôs trabalhem juntos”, disse Notomista, cujos interesses incluem a intersecção entre arte e tecnologia. “O pintor humano deve complementar e ser complementado pelo que os robôs fazem.”
O primeiro desafio para os pesquisadores foi desenvolver um algoritmo para controlar múltiplos robôs dentro de uma determinada área. Eles testaram o sistema com até 12 robôs, mas ele pode ser dimensionado para lidar com qualquer número.
O segundo passo envolveu a criação de tecnologia para extrair e analisar características musicais que expressam emoções, para que possam ser traduzidas em trilhas de luz que as representem adequadamente.
As lições aprendidas durante o projeto têm aplicações potenciais em outras áreas que exigem o controle e a coordenação de múltiplos robôs trabalhando em uníssono, como monitoramento ambiental, agricultura de precisão, missões de busca e salvamento e exploração planetária.
A pesquisa também reflete a iniciativa International Futures da Universidade de Waterloo, que promove o trabalho interdisciplinar que considera como as tecnologias emergentes podem moldar a sociedade, a cultura e a experiência humana.
Mais tarde, Notomista planeja recrutar pintores e músicos profissionais para explorar as possibilidades da nova ferramenta em estudos de usuários e realizar exposições públicas.
Um artigo sobre o sistema, Pintura de enxame de robôs movidos por músicade Notomista e Jingde Cheng, ex-aluno de graduação em Waterloo, foi apresentado no Conferência Internacional IEEE 2025 sobre Robótica Avançada e seus Impactos Sociais.
Universidade de Waterloo