A Digital Frontier Basis (EFF) mudou quinta-feira suas políticas em relação ao código gerado por IA para “exigir explicitamente que os contribuidores entendam o código que nos enviam e que os comentários e a documentação sejam de autoria humana”.
O Declaração de política da EFF foi vago sobre como isso determinaria a conformidade, mas analistas e outros que observam o espaço especulam que as verificações pontuais são o caminho mais provável.
A declaração dizia especificamente que a organização não está a proibir a codificação de IA dos seus colaboradores, mas parecia fazê-lo com relutância, dizendo que tal proibição é “contra o nosso espírito geral” e que a popularidade precise da IA tornava tal proibição problemática. “O uso (de ferramentas de IA) tornou-se tão difundido (que) é impraticável aplicar uma proibição geral”, disse a EFF, acrescentando que as empresas que criam essas ferramentas de IA estão “acelerando seus lucros sobre as pessoas. Estamos mais uma vez no território de ‘apenas confie em nós’, da Huge Tech sendo obtusa quanto ao poder que exerce”.
O modelo de verificação pontual é semelhante à estratégia das agências fiscais, onde o medo de serem auditados faz com que mais pessoas cumpram.
Consultor de segurança cibernética Brian Levinediretor executivo do FormerGov, disse que a nova abordagem é provavelmente a melhor opção para a EFF.
“A EFF está tentando exigir algo que a IA não pode fornecer: responsabilidade. Esta pode ser uma das primeiras tentativas reais de tornar a codificação de vibração utilizável em grande escala”, disse ele. “Se os desenvolvedores souberem que serão responsabilizados pelo código que colarem, o nível de qualidade deverá subir rapidamente. As proteções não matam a inovação, elas evitam que todo o ecossistema se afogue no lodo gerado pela IA.”
Ele acrescentou: “A aplicação é a parte difícil. Não existe um scanner mágico que possa detectar com segurança o código gerado pela IA e talvez nunca exista tal scanner. O único modelo viável é o cultural: exigir que os colaboradores expliquem seu código, justifiquem suas escolhas e demonstrem que entendem o que estão enviando. Nem sempre é possível detectar a IA, mas é possível detectar com certeza quando alguém não sabe o que eles enviaram.”
EFF está ‘apenas confiando na confiança’
Um porta-voz da EFF, Jacob Hoffman-Andrewstecnólogo sênior da EFF, disse que sua equipe não estava focada em formas de verificar o cumprimento, nem em formas de punir aqueles que não cumprem. “O número de contribuidores é pequeno o suficiente para confiarmos apenas na confiança”, disse Hoffman-Andrews.
Se o grupo encontrar alguém que violou a regra, ele explicará as regras à pessoa e pedirá que ela tente obedecer. “É uma comunidade voluntária com uma cultura e expectativas compartilhadas”, disse ele. “Dizemos a eles: ‘É assim que esperamos que você se comporte’”.
Brian Jacksonprincipal diretor de pesquisa do Data-Tech Analysis Group, disse que as empresas provavelmente aproveitarão o benefício secundário de políticas como a EFF, o que melhoraria muitos envios de código aberto.
Muitas empresas não precisam se preocupar se um desenvolvedor entende seu código, desde que ele passe por uma lista exaustiva de testes, incluindo funcionalidade, segurança cibernética e conformidade, ressaltou.
“No nível empresarial, há responsabilidade actual e ganhos reais de produtividade. Esse código exfiltra dados para terceiros indesejados? O teste de segurança falha?” Jackson disse. “Eles se preocupam com os requisitos de qualidade que não estão sendo atingidos.”
Concentre-se nos documentos, não no código
O problema do código de baixa qualidade usado por empresas e outros negócios, muitas vezes apelidado de lixo de IA, é uma preocupação crescente.
Faizel Khanengenheiro-chefe da Touchdown Level, disse que a decisão da EFF de focar na documentação e nas explicações do código, em oposição ao código em si, é a correta.
“O código pode ser validado com testes e ferramentas, mas se a explicação estiver errada ou enganosa, criará uma dívida de manutenção duradoura porque os futuros desenvolvedores confiarão nos documentos”, disse Khan. “Esse é um dos lugares mais fáceis para os LLMs parecerem confiantes e ainda assim estarem incorretos.”
Khan sugeriu algumas perguntas fáceis que os remetentes precisam ser forçados a responder. “Faça perguntas de revisão direcionadas”, disse ele. “Por que essa abordagem? Quais casos extremos você considerou? Por que esses testes? Se o colaborador não puder responder, não faça a fusão. Exija um resumo de relações públicas: o que mudou, por que mudou, principais riscos e quais testes provam que funciona.”
Consultor independente de segurança cibernética e risco Steven Eric Fisherex-diretor de segurança cibernética, risco e conformidade do Walmart, disse que o que a EFF fez de maneira inteligente foi focar não no código, mas na integridade geral da codificação.
“A política da EFF é empurrar esse trabalho de integridade para o remetente, em vez de sobrecarregar os mantenedores de OSS com todo esse fardo e validação”, disse Fisher, observando que os modelos atuais de IA não são muito bons com documentação detalhada, comentários e explicações articuladas. “Portanto, essa deficiência funciona como um limitador de taxa e uma espécie de validação do limite de trabalho”, explicou. Pode ser eficaz agora, acrescentou ele, mas apenas até que a tecnologia se atualize para produzir documentação detalhada, comentários e argumentos de explicação e justificativa.
Consultor Ken Garnettfundador da Garnett Digital Methods, concordou com Fisher, sugerindo que a EFF empregou o que pode ser considerado um movimento de judô.
Problema de detecção de desvios
A EFF “evita totalmente o problema de detecção e esse é precisamente o seu ponto forte. Em vez de tentar identificar o código gerado pela IA após o fato, o que não é confiável e cada vez mais impraticável, eles fizeram algo mais basic: redesenharam o próprio fluxo de trabalho”, disse Garnett. “O ponto de verificação de responsabilidade foi movido para cima, antes que um revisor toque no trabalho.”
A própria conversa de revisão atua como um mecanismo de fiscalização, explicou ele. Se um desenvolvedor enviar um código que não entende, ele será exposto quando um mantenedor pedir que explique uma decisão de design.
Esta abordagem proporciona “divulgação mais confiança, com escrutínio seletivo”, disse Garnett, observando que a política muda a estrutura de incentivos a montante através do requisito de divulgação, verifica a responsabilidade humana de forma independente através da regra de documentação de autoria humana e depende da verificação pontual para o resto.
Nik Kaleengenheiro principal da Cisco e membro da Coalition for Safe AI (CoSAI) e do comitê do programa AI Safety (AISec) da ACM, disse que gostou da nova política da EFF precisamente porque ela não fez o movimento óbvio e tentou banir a IA.
“Se você envia o código e não consegue explicá-lo quando solicitado, isso é uma violação de política, independentemente de a IA estar envolvida. Na verdade, isso é mais aplicável do que uma abordagem baseada em detecção porque não depende da identificação da ferramenta. Depende da identificação se o colaborador pode apoiar seu trabalho”, disse Kale. “Para as empresas que estão observando isso, a conclusão é simples. Se você está consumindo código aberto, e toda empresa está, você deve se preocupar profundamente se os projetos dos quais você depende têm políticas de governança de contribuição. E se você está produzindo código aberto internamente, você precisa de uma de sua preferência. A abordagem da EFF, divulgação mais responsabilidade, é um modelo sólido.”