Shadow AI é considerada a próxima iteração do Shadow IT, com a grande diferença sendo que, embora os desenvolvedores possam usar uma ferramenta independente e não autorizada em seu trabalho, a ferramenta em si não cria riscos.
Shadow AI é particularmente problemático porque um modelo não autorizado pode obter acesso a bancos de dados que não deveria e não possui o sistema e o contexto organizacional para tomar decisões corretas. Além disso, a Shadow AI quase sempre envolve alguém na organização que pega a propriedade intelectual da empresa e a cola em uma ferramenta pública, deixando o destino e o processamento subsequente desconhecidos.
Parte do problema, de acordo com Brian Nathanson, chefe de gerenciamento de produtos da Broadcom, Readability, é a abordagem da organização à governança e segurança exatamente porque a IA está avançando muito rapidamente e mudando continuamente. Os engenheiros sentem que a governação é onerosa para a realização do seu trabalho e que a governação das suas organizações é demasiado lenta para incorporar modelos diferentes. “Os indivíduos estão vendo o benefício de produtividade da IA mais do que a empresa, pelo menos agora, mas as empresas, devido às preocupações com a responsabilidade e sua proteção de IP, basicamente tentaram reprimir “, disse Nathanson. “Eles disseram, não, você não pode usar ferramentas de IA, ou você só pode usar essas ferramentas de IA autorizadas.”
Nathanson disse que isso coloca os desenvolvedores em uma situação difícil, porque se a empresa apenas autorizar, digamos, Gemini, e o desenvolvedor souber que Claude pode dar respostas melhores para uma determinada atividade, o desenvolvedor pensa: “Vou apenas copiar e colar em minha conta pessoal e privada de Claude, e eles dizem: ‘Vou usá-lo, porque mal posso esperar pelo processo de governança para autorizar as ferramentas de IA.’ ”
Ted Approach, vice-presidente e diretor de produtos da SAP, disse que os funcionários “só querem fazer as coisas” e, na maioria das vezes, pedirão perdão mais tarde. Mas isso não vale a pena correr o risco de vazamento de dados confidenciais, “e não apenas eles estão sendo vazados, mas também armazenados e processados fora da sua empresa. Eles podem ser usados para treinar um modelo. E então você tem o risco de conformidade”, disse ele. “E, na jornada para fazer as coisas, você nem mesmo está fazendo isso”, porque pode não estar obtendo os resultados precisos que deseja.
O que as organizações podem fazer
Manter o problema da IA sombra sob controle envolve governança, política e cultura organizacional.
Algumas empresas, em vez de restringir a IA, criaram camadas de orquestração que permitem aos engenheiros usar muitos modelos proprietários e de código aberto diferentes de uma forma que é controlada pela orquestração. Isto reduz a necessidade de os engenheiros saírem das políticas da empresa para realizarem o seu trabalho com o modelo que escolherem e, assim, reduz o risco de os dados e conversas proprietários de uma empresa não serem divulgados ao público.
Do ponto de vista político, Approach disse que tudo começa com uma visão clara da política de IA generativa. Ele explicou que a tecnologia moderna impõe um compromisso: as organizações só podem alcançar dois dos três resultados desejados: seguras, capazes e autónomas.
- Seguro e capaz: Este estado exige extensa “babá humana” e é considerado muito lento, já que cada solicitação é “bloqueada para humanos”.
- Capaz e autônomo: Isto representa o extremo oposto – uma falta de supervisão onde o LLM resolve o que é seguro. Approach cita um exemplo de um LLM decidindo descriptografar as respostas do repositório para obter uma pontuação melhor em uma avaliação.
- Seguro e autônomo: Este estado é muito restrito, o que significa que o sistema não terá acesso às ferramentas necessárias para ser capaz.
Abordar a Shadow AI exige superar modelos de governação ineficazes. Michael Burch, diretor de segurança de aplicativos da Safety Journey, sugere que, embora deva existir uma equipe de IA ou um comitê de governança, a governança não é apenas um “relatório de política de 10 páginas que ninguém vai ler”. Em vez disso, deve tratar-se de “governança prática quotidiana – pegar naquele relatório de 10 páginas e torná-lo acionável para os indivíduos”.
Governança, disse ele, “Não se trata apenas de publicar políticas, escrever todas as regras e comprar as ferramentas certas. É todo o trabalho que realizamos, é acionável? Teve realmente um impacto? E será que o entregamos às pessoas de uma forma que lhes permitiu realmente fazer isso no dia a dia e melhorar a maneira como pensam e tratam a segurança?” Qualquer gO esforço de supervisão deve ser “baseado na verdade actual dos fluxos de trabalho diários”, disse ele, para garantir que as pessoas realmente o adotem. O objetivo ultimate é um sistema prático que impulsione a adoção e faça com que as pessoas se responsabilizem pela forma como usam a IA. Burch observou que a governação falha quando se confia apenas nas políticas para tomar boas decisões.
Um passo important nesta abordagem prática é a construção de uma cultura de segurança. Isso envolve equipes com vocabulário compartilhado, orientação de fluxo de trabalho e exemplos. Se todos entenderem como a IA se integra aos seus fluxos de trabalho e falarem a mesma língua, o potencial de fracasso será significativamente reduzido.
“Se todos falarmos a mesma língua, se todos entendermos como a IA se integra em nossos diferentes fluxos de trabalho e tivermos exemplos para trabalhar, para entendermos como… o impulso para chegar lá é muito menor para nós, teremos muito menos possibilities de fracasso, porque todos estão na mesma página”, explicou Burch.