Desde 2015A Microsoft reconheceu os impactos devastadores muito reais de reputação, emocionais e outros que surgem quando imagens íntimas de uma pessoa são compartilhadas on-line sem seu consentimento. No entanto, esse desafio só se tornou mais sério e mais complexo ao longo do tempo, à medida que a tecnologia permitiu a criação de imagens sintéticas ou “deepfake” cada vez mais realistas, incluindo vídeo.
O advento da IA generativa tem o potencial de potencializar esse dano – e já houve um aumento no conteúdo abusivo gerado pela IA. O abuso de imagens íntimas afeta predominantemente mulheres e meninas e é usado para envergonhar, assediar e extorquir não apenas candidatas políticas ou outras mulheres com um perfil público, mas também indivíduos privados, incluindo adolescentes. Seja actual ou sintético, a divulgação de tais imagens tem consequências sérias no mundo actual: tanto da divulgação inicial quanto da distribuição contínua em todo o ecossistema on-line. Nossa abordagem coletiva para esse desafio de toda a sociedade, portanto, deve ser dinâmica.
Em 30 de julho, a Microsoft lançou um whitepaper de políticadelineando um conjunto de sugestões para formuladores de políticas para ajudar a proteger os americanos de deepfakes abusivos de IA, com foco na proteção de mulheres e crianças contra exploração on-line. Defender leis modernizadas para proteger vítimas é um elemento de nossa abordagem abrangente para lidar com conteúdo abusivo gerado por IA – hoje também fornecemos uma atualização sobre os esforços globais da Microsoft para proteger seus serviços e indivíduos de imagens íntimas não consensuais (NCII).
Anunciando nossa parceria com a StopNCII
Ouvimos preocupações de vítimas, especialistas e outras partes interessadas de que os relatórios de usuários por si só podem não ser dimensionados efetivamente para impacto ou abordar adequadamente o risco de que as imagens possam ser acessadas por meio de pesquisa. Como resultado, hoje estamos anunciando que estamos fazendo uma parceria com PareNCII para pilotar uma abordagem de detecção centrada na vítima no Bing, nosso mecanismo de busca.
StopNCII é uma plataforma administrada por SWGfL que permite que adultos de todo o mundo se protejam de ter suas imagens íntimas compartilhadas on-line sem seu consentimento. O StopNCII permite que as vítimas criem um “hash” ou impressão digital de suas imagens, sem que essas imagens saiam de seus dispositivos (incluindo imagens sintéticas). Esses hashes podem então ser usados por uma ampla gama de parceiros da indústria para detectar essas imagens em seus serviços e tomar medidas de acordo com suas políticas. Em março de 2024, a Microsoft doou uma nova capacidade PhotoDNA para apoiar os esforços do StopNCII. Temos pilotado o uso do banco de dados do StopNCII para evitar que esse conteúdo seja retornado nos resultados de pesquisa de imagens no Bing. Tomamos medidas em 268.899 imagens até o closing de agosto. Continuaremos avaliando os esforços para expandir essa parceria. Incentivamos os adultos preocupados com a divulgação — ou potencial divulgação — de suas imagens a denunciar PareNCII.
Nossa abordagem para lidar com imagens íntimas não consensuais
Na Microsoft, reconhecemos que temos a responsabilidade de proteger nossos usuários de conteúdo on-line ilegal e prejudicial, respeitando os direitos fundamentais. Nós nos esforçamos para atingir isso em nossos diversos serviços, adotando uma abordagem de risco proporcional: adaptando nossas medidas de segurança ao risco e ao serviço exclusivo. Em nossos serviços ao consumidor, a Microsoft não permite o compartilhamento ou criação de imagens sexualmente íntimas de alguém sem sua permissão. Isso inclui conteúdo NCII fotorrealista que foi criado ou alterado usando tecnologia. Não permitimos que o NCII seja distribuído em nossos serviços, nem permitimos qualquer conteúdo que elogie, apoie ou solicite o NCII.
Além disso, a Microsoft não permite nenhuma ameaça de compartilhar ou publicar o NCII — também chamado de extorsão íntima. Isso inclui pedir ou ameaçar uma pessoa para obter dinheiro, imagens ou outras coisas valiosas em troca de não tornar o NCII público. Além desta política abrangente, temos proibições personalizadas em vigor quando relevante, como para o Loja Microsoft. O Código de Conduta para Serviços de IA Generativa da Microsoft também proíbe a criação de conteúdo sexualmente explícito.
Relatar conteúdo diretamente à Microsoft
Continuaremos a remover conteúdo denunciado diretamente a nós em uma base international, bem como onde conteúdo violador for sinalizado para nós por ONGs e outros parceiros. Na busca, também continuamos a tomar uma série de medidas para rebaixar conteúdo de baixa qualidade e elevar fontes confiáveis, enquanto consideramos como podemos evoluir ainda mais nossa abordagem em resposta ao suggestions de especialistas e externos.
Qualquer pessoa pode solicitar a remoção de uma imagem ou vídeo nu ou sexualmente explícito de si mesmo que tenha sido compartilhado sem seu consentimento por meio do serviço centralizado da Microsoft. portal de relatórios.
* O relatório do NCII é para usuários com 18 anos ou mais. Para aqueles com menos de 18 anos, denuncie como exploração sexual infantil e imagens de abuso.
Depois que o conteúdo for revisado pela Microsoft e confirmado como violador de nossa política NCII, removemos os hyperlinks relatados para fotos e vídeos dos resultados de pesquisa no Bing globalmente e/ou removemos o acesso ao conteúdo em si se ele tiver sido compartilhado em um dos serviços de consumidor hospedados pela Microsoft. Essa abordagem se aplica a imagens reais e sintéticas. Alguns serviços (como jogos e Bing) também fornecem opções de relatórios no produto. Por fim, fornecemos transparência sobre nossa abordagem por meio de nosso Relatório de conteúdo de segurança digital.
Continuar a colaboração de toda a sociedade para enfrentar o desafio
Como vimos ilustrado vividamente por meio de histórias recentes e trágicas, o abuso de imagens íntimas sintéticas também afeta crianças e adolescentes. Em abril, delineamos nosso compromisso com novos princípios de segurança por designliderada pelas ONGs Thorn e All Tech is Human, com o objetivo de reduzir os riscos de exploração e abuso sexual infantil (CSEA) em todo o desenvolvimento, implantação e manutenção de nossos serviços de IA. Assim como no NCII sintético, tomaremos medidas para abordar qualquer conteúdo CSEA aparente em nossos serviços, inclusive relatando ao Nationwide Middle for Lacking and Exploited Kids (NCMEC). Jovens preocupados com a divulgação de suas imagens íntimas também podem relatar ao NCMEC Leve-o para baixo serviço.
A atualização de hoje é apenas um ponto no tempo: esses danos continuarão a evoluir e nossa abordagem também deve evoluir. Continuamos comprometidos em trabalhar com líderes e especialistas em todo o mundo neste desafio e em ouvir as perspectivas diretamente das vítimas e sobreviventes. A Microsoft se juntou a uma nova grupo de trabalho multissetorialpresidido pelo Middle for Democracy & Know-how, Cyber Civil Rights Initiative e Nationwide Community to Finish Home Violence e estamos ansiosos para colaborar por meio deste e de outros fóruns sobre a evolução das melhores práticas. Também elogiamos o foco neste dano por meio do Ordem Executiva sobre o Desenvolvimento e Uso Seguro, Protegido e Confiável da Inteligência Synthetic e esperamos continuar a trabalhar com o Instituto Nacional de Padrões e Tecnologia do Departamento de Comércio dos EUA e o Instituto de Segurança de IA nas melhores práticas para reduzir os riscos de NCII sintético, inclusive como um problema distinto do CSEA sintético. E continuaremos a defender mudanças políticas e legislativas para dissuadir os maus atores e garantir justiça para as vítimas, ao mesmo tempo em que aumentamos a conscientização sobre o impacto em mulheres e meninas.