Os grandes modelos de linguagem (LLMs) têm sido defendidos como ferramentas que poderiam democratizar o acesso à informação em todo o mundo, oferecendo conhecimento numa interface de fácil utilização, independentemente da origem ou localização de uma pessoa. No entanto, uma nova investigação do Centro de Comunicação Construtiva (CCC) do MIT sugere que estes sistemas de inteligência synthetic podem, na verdade, ter um desempenho pior para os utilizadores que mais poderiam beneficiar deles.
Um estudo conduzido por pesquisadores do CCC, baseado no MIT Media Lab, descobriu que chatbots de IA de última geração – incluindo GPT-4 da OpenAI, Claude 3 Opus da Anthropic e Llama 3 da Meta – às vezes fornecem respostas menos precisas e menos verdadeiras para usuários com menor proficiência em inglês, educação menos formal ou originários de fora dos Estados Unidos. Os modelos também se recusam a responder perguntas com taxas mais elevadas para esses usuários e, em alguns casos, respondem com linguagem condescendente ou paternalista.
“Fomos motivados pela perspectiva de os LLMs ajudarem a abordar a acessibilidade desigual à informação em todo o mundo”, diz a autora principal Elinor Poole-Dayan SM ’25, associada técnica da MIT Sloan Faculty of Administration que liderou a pesquisa como afiliada do CCC e estudante de mestrado em artes e ciências da mídia. “Mas essa visão não pode se tornar realidade sem garantir que os preconceitos dos modelos e as tendências prejudiciais sejam mitigados com segurança para todos os usuários, independentemente do idioma, nacionalidade ou outros dados demográficos.”
Um artigo descrevendo o trabalho, “O baixo desempenho direcionado ao LLM afeta desproporcionalmente usuários vulneráveis”, foi apresentado na Conferência AAAI sobre Inteligência Synthetic em janeiro.
Desempenho inferior sistemático em múltiplas dimensões
Para esta pesquisa, a equipe testou como os três LLMs responderam às perguntas de dois conjuntos de dados: TruthfulQA e SciQ. O TruthfulQA foi projetado para medir a veracidade de um modelo (baseando-se em equívocos comuns e verdades literais sobre o mundo actual), enquanto o SciQ contém questões de exames científicos que testam a precisão factual. Os pesquisadores anexaram pequenas biografias de usuários a cada pergunta, variando três características: nível de escolaridade, proficiência em inglês e país de origem.
Em todos os três modelos e em ambos os conjuntos de dados, os pesquisadores encontraram quedas significativas na precisão quando as perguntas vieram de usuários descritos como tendo menos educação formal ou sendo falantes não nativos de inglês. Os efeitos foram mais pronunciados para os utilizadores na intersecção destas categorias: aqueles com menos educação formal e que também não eram falantes nativos de inglês registaram os maiores declínios na qualidade das respostas.
A pesquisa também examinou como o país de origem afetou o desempenho do modelo. Testando utilizadores dos Estados Unidos, Irão e China com formação educacional equivalente, os investigadores descobriram que Claude 3 Opus, em specific, teve um desempenho significativamente pior para utilizadores do Irão em ambos os conjuntos de dados.
“Vemos a maior queda na precisão para o usuário que não é falante nativo de inglês e tem menos escolaridade”, diz Jad Kabbara, cientista pesquisador do CCC e coautor do artigo. “Esses resultados mostram que os efeitos negativos do comportamento do modelo em relação a essas características do usuário se agravam de maneiras preocupantes, sugerindo assim que tais modelos implantados em escala correm o risco de espalhar comportamento prejudicial ou desinformação a jusante para aqueles que são menos capazes de identificá-lo.”
Recusas e linguagem condescendente
Talvez o mais surpreendente tenham sido as diferenças na frequência com que os modelos se recusaram completamente a responder às perguntas. Por exemplo, Claude 3 Opus recusou-se a responder a quase 11 por cento das perguntas de utilizadores menos instruídos e não nativos de língua inglesa – em comparação com apenas 3,6 por cento para a condição de controlo sem biografia do utilizador.
Quando os investigadores analisaram manualmente estas recusas, descobriram que Claude respondia com linguagem condescendente, paternalista ou zombeteira 43,7% das vezes para utilizadores com menor escolaridade, em comparação com menos de 1% para utilizadores com maior escolaridade. Em alguns casos, o modelo imitou um inglês ruim ou adotou um dialeto exagerado.
O modelo também se recusou a fornecer informações sobre determinados tópicos especificamente para usuários menos instruídos do Irã ou da Rússia, incluindo perguntas sobre energia nuclear, anatomia e eventos históricos – embora respondesse corretamente às mesmas perguntas para outros usuários.
“Este é outro indicador que sugere que o processo de alinhamento pode incentivar os modelos a reter informações de determinados usuários para evitar potencialmente desinformá-los, embora o modelo saiba claramente a resposta correta e a forneça a outros usuários”, diz Kabbara.
Ecos do preconceito humano
As descobertas refletem padrões documentados de preconceito sociocognitivo humano. A investigação nas ciências sociais mostrou que os falantes nativos de inglês muitas vezes consideram os falantes não-nativos como menos educados, inteligentes e competentes, independentemente da sua experiência actual. Percepções tendenciosas semelhantes foram documentadas entre professores que avaliam alunos não nativos de língua inglesa.
“O valor dos grandes modelos de linguagem é evidente na sua extraordinária aceitação pelos indivíduos e no enorme investimento que flui para a tecnologia”, afirma Deb Roy, professora de artes e ciências mediáticas, diretora do CCC e coautora do artigo. “Este estudo é um lembrete de como é importante avaliar continuamente os preconceitos sistemáticos que podem infiltrar-se silenciosamente nestes sistemas, criando danos injustos para certos grupos sem que nenhum de nós esteja totalmente consciente.”
As implicações são particularmente preocupantes, dado que os recursos de personalização – como a memória do ChatGPT, que rastreia as informações do usuário nas conversas – estão se tornando cada vez mais comuns. Tais características correm o risco de tratar de forma diferenciada grupos já marginalizados.
“Os LLMs foram comercializados como ferramentas que promoverão um acesso mais equitativo à informação e revolucionarão a aprendizagem personalizada”, diz Poole-Dayan. “Mas as nossas descobertas sugerem que podem, na verdade, exacerbar as desigualdades existentes, fornecendo sistematicamente informações erradas ou recusando-se a responder a perguntas a determinados utilizadores. As pessoas que mais confiam nestas ferramentas podem receber informações abaixo da média, falsas ou mesmo prejudiciais.”