Estudo: Ao alocar recursos escassos com IA, a randomização pode melhorar a justiça | MIT Information



Estudo: Ao alocar recursos escassos com IA, a randomização pode melhorar a justiça | MIT Information

As organizações estão cada vez mais utilizando modelos de machine studying para alocar recursos ou oportunidades escassos. Por exemplo, tais modelos podem ajudar as empresas a selecionar currículos para escolher candidatos a entrevistas de emprego ou auxiliar hospitais a classificar pacientes de transplante renal com base em sua probabilidade de sobrevivência.

Ao implementar um modelo, os usuários normalmente se esforçam para garantir que suas previsões sejam justas reduzindo o viés. Isso geralmente envolve técnicas como ajustar os recursos que um modelo usa para tomar decisões ou calibrar as pontuações que ele gera.

No entanto, pesquisadores do MIT e da Northeastern College argumentam que esses métodos de justiça não são suficientes para lidar com injustiças estruturais e incertezas inerentes. Em um novo papeleles mostram como randomizar as decisões de um modelo de forma estruturada pode melhorar a justiça em certas situações.

Por exemplo, se várias empresas usarem o mesmo modelo de machine studying para classificar candidatos a entrevistas de emprego deterministicamente — sem nenhuma randomização — então um indivíduo merecedor pode ser o candidato com a classificação mais baixa para cada vaga, talvez devido à forma como o modelo pondera as respostas fornecidas em um formulário on-line. Introduzir randomização nas decisões de um modelo pode evitar que uma pessoa ou grupo merecedor seja sempre negado um recurso escasso, como uma entrevista de emprego.

Por meio de sua análise, os pesquisadores descobriram que a randomização pode ser especialmente benéfica quando as decisões de um modelo envolvem incerteza ou quando o mesmo grupo recebe consistentemente decisões negativas.

Eles apresentam uma estrutura que alguém poderia usar para introduzir uma quantidade específica de randomização nas decisões de um modelo alocando recursos por meio de uma loteria ponderada. Esse método, que um indivíduo pode adaptar para se adequar à sua situação, pode melhorar a justiça sem prejudicar a eficiência ou a precisão de um modelo.

“Mesmo se você pudesse fazer previsões justas, você deveria decidir essas alocações sociais de recursos escassos ou oportunidades estritamente com base em pontuações ou classificações? À medida que as coisas aumentam, e vemos mais e mais oportunidades sendo decididas por esses algoritmos, as incertezas inerentes a essas pontuações podem ser amplificadas. Mostramos que a justiça pode exigir algum tipo de randomização”, diz Shomik Jain, um estudante de pós-graduação no Institute for Information, Programs, and Society (IDSS) e autor principal do artigo.

Jain é acompanhado no artigo por Kathleen Creel, professora assistente de filosofia e ciência da computação na Northeastern College; e a autora sênior Ashia Wilson, a Lister Brothers Profession Growth Professor no Departamento de Engenharia Elétrica e Ciência da Computação e uma pesquisadora principal no Laboratory for Info and Resolution Programs (LIDS). A pesquisa será apresentada na Worldwide Convention on Machine Studying.

Considerando reivindicações

Este trabalho parte de uma artigo anterior em que os pesquisadores exploraram danos que podem ocorrer quando se usa sistemas determinísticos em escala. Eles descobriram que usar um modelo de machine studying para alocar recursos deterministicamente pode amplificar desigualdades que existem em dados de treinamento, o que pode reforçar o viés e a desigualdade sistêmica.

“A randomização é um conceito muito útil em estatística e, para nossa alegria, satisfaz as demandas de justiça vindas tanto de um ponto de vista sistêmico quanto particular person”, diz Wilson.

Em este papeleles exploraram a questão de quando a randomização pode melhorar a justiça. Eles estruturaram sua análise em torno das ideias do filósofo John Broome, que escreveu sobre o valor de usar loterias para premiar recursos escassos de uma forma que honre todas as reivindicações dos indivíduos.

A reivindicação de uma pessoa a um recurso escasso, como um transplante de rim, pode advir de mérito, merecimento ou necessidade. Por exemplo, todos têm direito à vida, e suas reivindicações a um transplante de rim podem advir desse direito, explica Wilson.

“Quando você reconhece que as pessoas têm diferentes reivindicações sobre esses recursos escassos, a justiça vai exigir que respeitemos todas as reivindicações dos indivíduos. Se sempre dermos o recurso a alguém com uma reivindicação mais forte, isso é justo?”, diz Jain.

Esse tipo de alocação determinística pode causar exclusão sistêmica ou exacerbar a desigualdade padronizada, que ocorre quando receber uma alocação aumenta a probabilidade de um indivíduo receber alocações futuras. Além disso, modelos de aprendizado de máquina podem cometer erros, e uma abordagem determinística pode fazer com que o mesmo erro seja repetido.

A randomização pode superar esses problemas, mas isso não significa que todas as decisões que um modelo toma devem ser randomizadas igualmente.

Randomização estruturada

Os pesquisadores usam uma loteria ponderada para ajustar o nível de randomização com base na quantidade de incerteza envolvida na tomada de decisão do modelo. Uma decisão que é menos certa deve incorporar mais randomização.

“Na alocação de rins, geralmente o planejamento é em torno da expectativa de vida projetada, e isso é profundamente incerto. Se dois pacientes têm apenas cinco anos de diferença, fica muito mais difícil de medir. Queremos alavancar esse nível de incerteza para adaptar a randomização”, diz Wilson.

Os pesquisadores usaram métodos de quantificação de incerteza estatística para determinar quanta randomização é necessária em diferentes situações. Eles mostram que a randomização calibrada pode levar a resultados mais justos para indivíduos sem afetar significativamente a utilidade ou eficácia do modelo.

“Há um equilíbrio a ser alcançado entre a utilidade geral e o respeito aos direitos dos indivíduos que estão recebendo um recurso escasso, mas muitas vezes a compensação é relativamente pequena”, diz Wilson.

No entanto, os pesquisadores enfatizam que há situações em que a randomização de decisões não melhoraria a justiça e poderia prejudicar indivíduos, como em contextos de justiça prison.

Mas pode haver outras áreas onde a randomização pode melhorar a justiça, como admissões em faculdades, e os pesquisadores planejam estudar outros casos de uso em trabalhos futuros. Eles também querem explorar como a randomização pode afetar outros fatores, como competição ou preços, e como ela pode ser usada para melhorar a robustez dos modelos de machine studying.

“Esperamos que nosso artigo seja um primeiro passo para ilustrar que pode haver um benefício na randomização. Estamos oferecendo a randomização como uma ferramenta. O quanto você vai querer fazer isso vai depender de todos os stakeholders na alocação decidirem. E, claro, como eles decidem é outra questão de pesquisa em conjunto”, diz Wilson.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *