Nota do editor, 28 de agosto, 19h50 horário do leste dos EUA: Esta história foi publicada originalmente em 19 de julho de 2024 e foi atualizada para refletir a notícia de que o SB 1047 foi aprovado esta semana.
O senador estadual da Califórnia Scott Wiener (D-San Francisco) é geralmente conhecido por dele implacável contas sobre habitação e segurança públicaum histórico legislativo que o tornou um dos legisladores favoritos da indústria de tecnologia.
A sua introdução do projeto de lei “Inovação Segura e Protegida para Modelos de Inteligência Synthetic de Fronteira”, no entanto, atraiu a ira dessa mesma indústria, com os pesos pesados do VC Andreessen-Horowitz e Y Combinator condenando publicamente o projeto de lei. Conhecida como SB 1047, a legislação exige que as empresas treinem “modelos de fronteira” que custam mais de US$ 100 milhões para fazer testes de segurança e sejam capazes de desligar seus modelos em caso de incidente de segurança.
Na terça-feira, o projeto de lei foi aprovado pela legislatura estadual da Califórnia por 41-9 — embora com emendas suavizando um pouco sua força. Para que se torne lei estadual, precisa da assinatura do governador Gavin Newsom em seguida.
Falei com Wiener em julho sobre o SB 1047 e seus críticos; nossa conversa está abaixo (condensada para maior clareza e extensão).
Kelsey Piper: Eu queria apresentar a vocês os desafios que ouvi para o SB 1047 e dar a vocês uma probability de respondê-los. Acho que uma categoria de preocupação aqui é que o projeto de lei proibiria o uso público de um modelo, ou torná-lo disponível para uso público, se ele representasse um risco irracional de dano crítico.
O que é um risco irracional? Quem resolve o que é razoável? Boa parte do Vale do Silício é muito cética em relação aos reguladores, então eles não confiam que a discrição será usada e não abusada.
Senador Scott Wiener: Para mim, o SB 1047 é um projeto de lei leve em muitos aspectos. É um projeto de lei sério, é um projeto de lei grande. Acho que é um projeto de lei impactante, mas não é hardcore. O projeto de lei não exige uma licença. Há pessoas, incluindo alguns CEOs, que disse deveria haver uma exigência de licenciamento. Eu rejeitei isso.
Há pessoas que pensam deve haver responsabilidade estrita. Essa é a regra para a maioria das responsabilidades do produto. Eu rejeitei isso. (As empresas de IA) não precisam obter permissão de uma agência para liberar o (modelo). Elas precisam fazer os testes de segurança que todas dizem que estão fazendo atualmente ou pretendem fazer. E se esses testes de segurança revelarem um risco significativo — e definimos esses riscos como catastróficos — então você precisa colocar mitigações em prática. Não para eliminar o risco, mas para tentar reduzi-lo.
Já existem padrões legais hoje que se um desenvolvedor libera um modelo e então esse modelo acaba sendo usado de uma forma que prejudica alguém ou algo, você pode ser processado e provavelmente será um padrão de negligência sobre se você agiu razoavelmente. É muito, muito mais amplo do que a responsabilidade que criamos no projeto de lei. No projeto de lei, apenas o Procurador-Geral pode processar, enquanto sob a lei de responsabilidade civil qualquer um pode processar. Os desenvolvedores de modelos já estão sujeitos a uma responsabilidade potencial que é muito mais ampla do que isso.
Sim, vi algumas objeções ao projeto de lei que parecem girar em torno de mal-entendidos da lei de responsabilidade civil, como pessoas ditado“Isso seria como responsabilizar os fabricantes de motores por acidentes de carro.”
E eles são. Se alguém bate um carro e há algo no design do motor que contribuiu para essa colisão, então o fabricante do motor pode ser processado. Teria que ser provado que eles fizeram algo negligente.
Conversei com fundadores de startups sobre isso, com capitalistas de risco e pessoas de grandes empresas de tecnologia, e nunca ouvi uma refutação à realidade de que a responsabilidade existe hoje e que a responsabilidade que existe hoje é profundamente mais ampla.
Definitivamente ouvimos contradições. Algumas pessoas que estavam opondo-se estavam dizendo “isso é tudo ficção científica, qualquer um focado em segurança é parte de um culto, não é actual, as capacidades são muito limitadas.” Claro que isso não é verdade. Esses são modelos poderosos com enorme potencial para tornar o mundo um lugar melhor. Estou realmente animado com a IA. Não sou um pessimista em nenhum aspecto. E então eles dizem: “Não podemos ser responsabilizados se essas catástrofes acontecerem.”
Outro desafio para o projeto de lei é que os desenvolvedores de código aberto se beneficiaram muito com a Meta colocando (o generosamente licenciado, às vezes chamado de modelo de IA de código aberto) Llama lá fora, e eles estão compreensivelmente com medo de que este projeto de lei torne a Meta menos disposta a fazer lançamentos no futuro, por medo de responsabilidade. Claro, se um modelo é genuinamente extremamente perigoso, ninguém quer que ele seja lançado. Mas a preocupação é que as preocupações podem apenas tornar as empresas muito conservadoras.
Em termos de código aberto, incluindo e não limitado a Llama, levei as críticas da comunidade de código aberto muito, muito a sério. Interagimos com pessoas na comunidade de código aberto e fizemos alterações em resposta direta à comunidade de código aberto.
O requisito de provisão de desligamento (uma provisão no projeto de lei que exige que os desenvolvedores de modelos tenham a capacidade de promulgar um desligamento whole de um modelo coberto, para poder “desconectá-lo” se as coisas não derem certo) estava no topo da lista de preocupações de várias pessoas.
Fizemos uma emenda deixando bem claro que, uma vez que o modelo não esteja em sua posse, você não é responsável por poder desligá-lo. Pessoas de código aberto que abrem o código de um modelo não são responsáveis por poder desligá-lo.
Inscrever-se aqui para explorar os grandes e complicados problemas que o mundo enfrenta e as maneiras mais eficientes de resolvê-los. Enviado duas vezes por semana.
E então a outra coisa que fizemos foi fazer uma emenda sobre as pessoas que estavam fazendo ajustes finos. Se você fizer mais do que mudanças mínimas no modelo, ou mudanças significativas no modelo, então em algum momento ele efetivamente se torna um novo modelo e o desenvolvedor authentic não é mais responsável. E há algumas outras emendas menores, mas essas são as grandes que fizemos em resposta direta à comunidade de código aberto.
Outro desafio que ouvi é: por que você está se concentrando nisso e não em todos os problemas mais urgentes da Califórnia?
Quando você trabalha em qualquer questão, você ouve as pessoas dizerem: “Você não tem coisas mais importantes para trabalhar?” Sim, eu trabalho incessantemente sobre habitação. Eu trabalho em saúde psychological e tratamento de dependência. Eu trabalho incessantemente em segurança pública. Eu tenho um conta de arrombamentos de carros e um projeto de lei sobre pessoas que vendem produtos roubados nas ruas. E também estou trabalhando em um projeto de lei para garantir que promovamos a inovação em IA e façamos isso de forma responsável.
Como formulador de políticas, tenho sido muito pró-tecnologia. Sou um defensor do nosso ambiente tecnológico, que está frequentemente sob ataque. Eu tenho suportado Lei de neutralidade da rede da Califórnia que promove uma web aberta e livre.
Mas também vi com a tecnologia que falhamos em nos antecipar ao que às vezes são problemas muito óbvios. Fizemos isso com a privacidade de dados. Finalmente conseguimos uma lei de privacidade de dados aqui na Califórnia — e para registro, a oposição a isso disse todas as mesmas coisas, que isso destruiria a inovação, que ninguém iria querer trabalhar aqui.
Meu objetivo aqui é criar toneladas de espaço para inovação e, ao mesmo tempo, promover a implantação, o treinamento e a liberação responsáveis desses modelos. Esse argumento de que isso vai esmagar a inovação, que vai expulsar as empresas da Califórnia — novamente, ouvimos isso em praticamente todos os projetos de lei. Mas acho que é importante entender que esse projeto de lei não se aplica apenas a pessoas que desenvolvem seus modelos na Califórnia, mas a todos que fazem negócios na Califórnia. Então, você pode estar em Miami, mas, a menos que vá se desconectar da Califórnia — e não vai —, você tem que fazer isso.
Eu queria falar sobre um dos elementos interessantes do debate sobre esse projeto de lei, que é o fato de ser extremamente common em todos os lugares, exceto no Vale do Silício. passou o senado estadual 32-1, com aprovação bipartidária. 77 por cento dos californianos são a favor de acordo com uma pesquisa, mais da metade é fortemente a favor.
Mas as pessoas que odeiam isso, estão todas em São Francisco. Como isso acabou sendo sua conta?
De certa forma, sou o melhor autor para este projeto de lei, representando São Francisco, porque estou cercado e imerso em IA. A história de origem deste projeto de lei foi que comecei a conversar com um grupo de tecnólogos de IA da linha de frente, fundadores de startups. Isso foi no início de 2023, e comecei a ter uma série de salões e jantares com pessoas de IA. E algumas dessas ideias começaram a se formar. Então, de certa forma, sou o melhor autor para isso porque tenho acesso a pessoas incrivelmente brilhantes em tecnologia. De outra forma, sou o pior autor porque tenho pessoas em São Francisco que não estão felizes.
Há algo com que tenho dificuldade como repórter, que é transmitir às pessoas que não estão em São Francisco, que não estão nessas conversas, que a IA é algo muito, muito grande, de altíssimo risco.
É muito emocionante. Porque quando você começa a tentar imaginar — poderíamos ter uma cura para o câncer? Poderíamos ter tratamentos altamente eficazes para uma ampla gama de vírus? Poderíamos ter avanços em energia limpa que ninguém jamais imaginou? Tantas possibilidades emocionantes.
Mas com toda tecnologia poderosa vem o risco. (Este projeto de lei) não é sobre eliminar o risco. A vida é sobre risco. Mas como podemos ter certeza de que pelo menos nossos olhos estão bem abertos? Que entendemos esse risco e que, se houver uma maneira de reduzir o risco, nós o assumimos.
É tudo o que pedimos com este projeto de lei, e acho que a grande maioria das pessoas o apoiará.