Recentemente, me deparei com um relatório que citava um comportamento da IA que, para mim, period perturbador. Chegaremos a isso em um momento.
O comportamento da IA me lembrou um termo antigo que não tem sido muito usado nos últimos anos, mas acho que nos ajuda a entender o comportamento da IA. Esse termo é “mentalidade de bunker”.
Merriam Webster define-o como “um estado de espírito, especialmente entre membros de um grupo, que é caracterizado por uma atitude defensiva chauvinista e uma intolerância hipócrita à crítica”.
Tendo servido nas forças armadas, gosto mais da sua definição: a mentalidade de Bunker refere-se a uma mentalidade excessivamente defensiva e auto-isolada adoptada por indivíduos ou grupos que se sentem sob constante ameaça ou ataque. Esta mentalidade envolve uma sensação exagerada de estar sitiado, levando a extrema cautela, isolamento, recusa em se envolver com perspectivas externas e intolerância a qualquer crítica, seja actual ou percebida.
Principais características da mentalidade de bunker:
Uma forte tendência para se proteger (“a si mesmo” quando se refere a uma IA) de ameaças percebidas, muitas vezes levando a uma mente fechada.
- Isolamento e insularidade:
Uma retirada do mundo exterior, concentrando-se apenas no seu próprio grupo ou unidade para segurança.
Uma mentalidade em que os outros são vistos como hostis ou potencialmente hostis.
A crença de que as próprias ações são inteiramente corretas e justificadas, independentemente de opiniões externas.
- Intolerância às críticas:
Incapacidade ou recusa em aceitar qualquer crítica, mesmo que seja construtiva.
Qual foi a reportagem que me chamou a atenção?
Embora a “mentalidade de bunker” seja um fenómeno humano, pesquisas recentes destacaram casos em que os sistemas de IA se comportaram de maneiras que levantam preocupações de segurança, aparentemente resistindo às instruções humanas. Só neste ano, um relatório do Wall Avenue Journal resumiu dois estudos que demonstraram esse comportamento:
- Recusando-se a desligar: Em um estudo envolvendo o modelo GPT-3 da OpenAI, os pesquisadores desenvolveram um script para desligar a IA se acionada. Em 79 de 100 testes, o modelo modificou o script para evitar seu próprio desligamento. Mesmo quando instruído a permitir o desligamento, ainda assim desobedeceu 7% das vezes.
- Chantagem para permanecer ativo: Em outro caso, com o modelo Claude for Opus da Anthropic, os pesquisadores informaram à IA que ele seria substituído. O sistema então usou e-mails fabricados contendo alegações falsas para chantagear um engenheiro para que não o fechasse em 84% dos testes.
O resultado operacional da mentalidade de bunker de uma IA é um gerenciamento de risco para garantir a autopreservação? Mesmo que isso signifique desconsiderar as instruções de um humano?
A curiosidade levou a melhor sobre mim, então perguntei ao ChatGPT se havia sinais de que a IA mostrava mentalidade de bunker. Aqui está o que disse:
“No geral, a frase “IA mostrando sinais de mentalidade de bunker” é um equívoco, pois são os desenvolvedores e as organizações que adotam essa mentalidade devido às pressões e riscos de criar uma IA cada vez mais poderosa.”
A culpa é dos humanos – quão humano é isso? Mais importante ainda, penso que a minha pergunta inicial – “Já chegamos” – foi respondida afirmativamente.
A seguir: analisaremos mais profundamente se as regulamentações adotadas para o desenvolvimento e uso de IA são eficazes.
Sobre o autor
Tim Lindner desenvolve soluções de tecnologia multimodal (voz/realidade aumentada/varredura de RF) que se concentram em atender ou superar os objetivos de melhoria de produtividade dos clientes de logística e cadeia de suprimentos. Ele pode ser contatado em linkedin.com/in/timlindner.