A inteligência synthetic é cada vez mais utilizada para ajudar a otimizar a tomada de decisões em ambientes de alto risco. Por exemplo, um sistema autónomo pode identificar uma estratégia de distribuição de energia que decrease os custos e, ao mesmo tempo, mantenha as tensões estáveis.
Mas embora estes resultados impulsionados pela IA possam ser tecnicamente óptimos, serão justos? E se uma estratégia de distribuição de energia de baixo custo deixar os bairros desfavorecidos mais vulneráveis a cortes de energia do que as áreas de rendimentos mais elevados?
Para ajudar as partes interessadas a identificar rapidamente possíveis dilemas éticos antes da implantação, os pesquisadores do MIT desenvolveram um método de avaliação automatizado que equilibra a interação entre resultados mensuráveis, como custo ou confiabilidade, e valores qualitativos ou subjetivos, como justiça.
O sistema separa as avaliações objetivas dos valores humanos definidos pelo usuário, usando um grande modelo de linguagem (LLM) como proxy para que os humanos capturem e incorporem as preferências das partes interessadas.
A estrutura adaptativa seleciona os melhores cenários para avaliação adicional, simplificando um processo que normalmente requer um esforço handbook caro e demorado. Estes casos de teste podem mostrar situações em que os sistemas autónomos se alinham bem com os valores humanos, bem como cenários que inesperadamente ficam aquém dos critérios éticos.
“Podemos inserir muitas regras e barreiras nos sistemas de IA, mas essas salvaguardas só podem impedir que aconteçam coisas que imaginamos. Não é suficiente dizer: ‘Vamos usar a IA porque ela foi treinada com base nesta informação.’ Queríamos desenvolver uma maneira mais sistemática de descobrir as incógnitas desconhecidas e ter uma maneira de prevê-las antes que algo de ruim acontecesse”, diz o autor sênior Chuchu Fan, professor associado do Departamento de Aeronáutica e Astronáutica do MIT (AeroAstro) e investigador principal do Laboratório de Sistemas de Informação e Decisão do MIT (LIDS).
Ventilador se junta ao papel pelo autor principal Anjali Parashar, estudante de graduação em engenharia mecânica; Yingke Li, pós-doutorado da AeroAstro; e outros no MIT e Saab. A pesquisa será apresentada na Conferência Internacional sobre Representações de Aprendizagem.
Avaliando a ética
Num grande sistema como uma rede elétrica, é especialmente difícil avaliar o alinhamento ético das recomendações de um modelo de IA de uma forma que considere todos os objetivos.
A maioria das estruturas de teste baseia-se em dados pré-coletados, mas muitas vezes é difícil obter dados rotulados sobre critérios éticos subjetivos. Além disso, como os valores éticos e os sistemas de IA estão em constante evolução, os métodos de avaliação estáticos baseados em códigos escritos ou documentos regulamentares requerem atualizações frequentes.
Fan e sua equipe abordaram esse problema de uma perspectiva diferente. Com base no seu trabalho anterior de avaliação de sistemas robóticos, desenvolveram uma estrutura de design experimental para identificar os cenários mais informativos, que as partes interessadas humanas avaliariam mais de perto.
Seu sistema de duas partes, denominado Projeto Experimental Escalável para Testes Éticos em Nível de Sistema (SEED-SET), incorpora métricas quantitativas e critérios éticos. Ele pode identificar cenários que atendam efetivamente aos requisitos mensuráveis e se alinhem bem com os valores humanos e vice-versa.
“Não queremos gastar todos os nossos recursos em avaliações aleatórias. Portanto, é muito importante orientar a estrutura para os casos de teste que mais nos interessam”, diz Li.
É importante ressaltar que o SEED-SET não precisa de dados de avaliação pré-existentes e se adapta a múltiplos objetivos.
Por exemplo, uma rede eléctrica pode ter vários grupos de utilizadores, incluindo uma grande comunidade rural e um centro de dados. Embora ambos os grupos possam querer energia fiável e de baixo custo, a prioridade de cada grupo, do ponto de vista ético, pode variar amplamente.
Esses critérios éticos podem não ser bem especificados e, portanto, não podem ser medidos analiticamente.
O operador da rede eléctrica pretende encontrar a estratégia mais rentável que melhor satisfaça as preferências éticas subjectivas de todas as partes interessadas.
O SEED-SET enfrenta esse desafio dividindo o problema em dois, seguindo uma estrutura hierárquica. Um modelo objetivo considera o desempenho do sistema em métricas tangíveis, como custo. Então, um modelo subjetivo que considera os julgamentos das partes interessadas, como a justiça percebida, baseia-se na avaliação objetiva.
“A parte objetiva da nossa abordagem está ligada ao sistema de IA, enquanto a parte subjetiva está ligada aos usuários que o avaliam. Ao decompor as preferências de forma hierárquica, podemos gerar os cenários desejados com menos avaliações”, diz Parashar.
Codificando a subjetividade
Para realizar a avaliação subjetiva, o sistema utiliza um LLM como proxy para avaliadores humanos. Os pesquisadores codificam as preferências de cada grupo de usuários em um immediate de linguagem pure para o modelo.
O LLM utiliza estas instruções para comparar dois cenários, selecionando o desenho preferido com base em critérios éticos.
“Depois de ver centenas ou milhares de cenários, um avaliador humano pode sofrer de fadiga e tornar-se inconsistente em suas avaliações, por isso usamos uma estratégia baseada em LLM”, explica Parashar.
O SEED-SET utiliza o cenário selecionado para simular o sistema geral (neste caso, uma estratégia de distribuição de energia). Esses resultados da simulação orientam a busca pelo próximo melhor cenário candidato a ser testado.
No closing, o SEED-SET seleciona de forma inteligente os cenários mais representativos que atendem ou não estão alinhados com métricas objetivas e critérios éticos. Desta forma, os utilizadores podem analisar o desempenho do sistema de IA e ajustar a sua estratégia.
Por exemplo, o SEED-SET pode identificar casos de distribuição de energia que dão prioridade a áreas de rendimento mais elevado durante períodos de pico de procura, deixando bairros desfavorecidos mais propensos a cortes de energia.
Para testar o SEED-SET, os investigadores avaliaram sistemas autónomos realistas, como uma rede elétrica alimentada por IA e um sistema de roteamento de tráfego urbano. Eles mediram o quão bem os cenários gerados estavam alinhados com os critérios éticos.
O sistema gerou mais do que o dobro de casos de teste ideais que as estratégias de linha de base no mesmo período de tempo, enquanto revelava muitos cenários que outras abordagens negligenciavam.
“À medida que mudamos as preferências do usuário, o conjunto de cenários gerados pelo SEED-SET mudou drasticamente. Isso nos diz que a estratégia de avaliação responde bem às preferências do usuário”, diz Parashar.
Para medir a utilidade do SEED-SET na prática, os pesquisadores precisarão realizar um estudo de usuários para ver se os cenários que ele gera ajudam na tomada de decisões reais.
Além de realizar tal estudo, os pesquisadores planejam explorar o uso de modelos mais eficientes que possam escalar para problemas maiores com mais critérios, como a avaliação da tomada de decisão do LLM.
Esta pesquisa foi financiada, em parte, pela Agência de Projetos de Pesquisa Avançada de Defesa dos EUA.