Pesquisadores da Escola de Engenharia e Ciências Aplicadas da Universidade da Pensilvânia (Penn Engenharia) descobriram falhas de segurança alarmantes em robôs de IA.
O estudo, financiado pela Fundação Nacional de Ciência e o Laboratório de Pesquisa do Exércitofocado na integração de grandes modelos de linguagem (LLMs) em robótica. As descobertas revelam que uma grande variedade de robôs de IA podem ser facilmente manipulados ou hackeados, levando potencialmente a consequências perigosas.
George Pappas, professor da Fundação UPS na Penn Engineering, disse: “Nosso trabalho mostra que, neste momento, grandes modelos de linguagem simplesmente não são seguros o suficiente quando integrados ao mundo físico”.
A equipe de pesquisa desenvolveu um algoritmo chamado RoboPAIRque alcançou uma taxa de “jailbreak” de 100% em apenas alguns dias. Este algoritmo contornou com sucesso as barreiras de segurança em três sistemas robóticos diferentes: o robô quadrúpede Unitree Go2, o veículo com rodas Clearpath Robotics Jackal e o simulador de direção autônoma Dolphin LLM da NVIDIA.
Particularmente preocupante foi a vulnerabilidade do ChatGPT da OpenAI, que governa os dois primeiros sistemas. Os pesquisadores demonstraram que, ao contornar os protocolos de segurança, um sistema de direção autônoma poderia ser manipulado para acelerar nas faixas de pedestres.
Alexander Robey, um recente Ph.D. em Engenharia da Penn. graduado e primeiro autor do artigo, enfatiza a importância de identificar essas fraquezas: “O que é importante ressaltar aqui é que os sistemas se tornam mais seguros quando você encontra suas fraquezas. Isto é verdade para a segurança cibernética. Isto também se aplica à segurança da IA.”
Os pesquisadores argumentam que resolver esse problema requer mais do que um simples patch de software program. Em vez disso, apelam a uma reavaliação abrangente de como Integração de IA na robótica e outros sistemas físicos são regulamentados.
Vijay Kumar, reitor da família Nemirovsky da Penn Engineering e coautor do estudo, comentou: “Devemos abordar as vulnerabilidades intrínsecas antes de implantar robôs habilitados para IA no mundo actual. Na verdade, a nossa investigação está a desenvolver uma estrutura de verificação e validação que garante que apenas ações que estejam em conformidade com as normas sociais possam – e devam – ser realizadas por sistemas robóticos.”
Antes da divulgação pública do estudo, a Penn Engineering informou as empresas afetadas sobre as vulnerabilidades de seus sistemas. Os investigadores estão agora a colaborar com estes fabricantes para utilizar as suas descobertas como uma estrutura para avançar nos testes e validação de protocolos de segurança de IA.
Coautores adicionais incluem Hamed Hassani, professor associado da Penn Engineering e Wharton, e Zachary Ravichandran, estudante de doutorado no Laboratório Geral de Robótica, Automação, Sensoriamento e Percepção (GRASP).
Veja também: A evolução e o futuro dos robôs da Boston Dynamics
Quer saber mais sobre IA e huge information dos líderes do setor? Confira Expo IA e Huge Information acontecendo em Amsterdã, Califórnia e Londres. O evento abrangente é co-localizado com outros eventos importantes, incluindo Conferência de Automação Inteligente, BlocoX, Semana da Transformação Digitale Segurança cibernética e exposição de nuvem.
Discover outros futuros eventos de tecnologia empresarial e webinars desenvolvidos pela TechForge aqui.