Você já teve a experiência de reler uma frase várias vezes e perceber que ainda não a entendeu? Conforme ensinado a muitos calouros universitários, quando você percebe que está perdendo tempo, é hora de mudar sua abordagem.
Este processo, tomar consciência de que algo não funciona e depois mudar o que você está fazendo, é a essência do metacogniçãoou pensando em pensar.
É o seu cérebro monitorando seu próprio pensamentoreconhecendo um problema e controlar ou ajustar sua abordagem. Na verdade, a metacognição é basic para a inteligência humana e, até recentementefoi pouco estudado em sistemas de inteligência synthetic.
Meus colegas Carlos Courchaine, Hefei Qiue Josué Iacoboni e eu estão trabalhando para mudar isso. Desenvolvemos um quadro matemático projetado para permitir sistemas de IA generativosespecificamente grandes modelos de linguagem como ChatGPT ou Claude, para monitorar e common seus próprios processos “cognitivos” internos. Em certo sentido, você pode pensar nisso como dar à IA generativa um monólogo interno, uma forma de avaliar sua própria confiança, detectar confusão e decidir quando pense mais sobre um problema.
Por que as máquinas precisam de autoconsciência
Os sistemas generativos de IA de hoje são notavelmente capazes, mas fundamentalmente inconscientes. Eles geram respostas sem saber genuinamente o quão confiante ou confuso sua resposta pode ser se contém informações conflitantes ou se um problema merece atenção further. Esse limitação torna-se crítico quando a IA generativa incapacidade de reconhecer sua própria incerteza pode ter consequências graves, especialmente em aplicações de alto risco, como diagnóstico médico, aconselhamento financeiro e tomada de decisão sobre veículos autônomos.
Por exemplo, considere um sistema de IA generativo médico analisando sintomas. Pode sugerir com segurança um diagnóstico sem qualquer mecanismo para reconhecer situações em que possa ser mais apropriado fazer uma pausa e refletircomo “Esses sintomas se contradizem” ou “Isso é incomum, devo pensar com mais cuidado”.
O desenvolvimento de tal capacidade exigiria metacogniçãoque envolve tanto a capacidade de monitorar o próprio raciocínio por meio da autoconsciência e controlar a resposta por meio da autorregulação.
Inspirado na neurobiologianossa estrutura visa dar à IA generativa uma aparência dessas capacidades usando o que chamamos de vetor de estado metacognitivo, que é essencialmente uma medida quantificada do estado “cognitivo” interno da IA generativa. em cinco dimensões.
5 dimensões da autoconsciência da máquina
Uma maneira de pensar sobre isso cinco dimensões é imaginar dar a um sistema de IA generativo cinco sensores diferentes para o seu próprio pensamento.
Quantificamos cada um desses conceitos dentro de uma estrutura matemática geral para criar o vetor de estado metacognitivo e usá-lo para controlar conjuntos de grandes modelos de linguagem. Em essência, o vetor de estado metacognitivo converte as autoavaliações qualitativas de um grande modelo de linguagem em sinais quantitativos que ele pode usar para controlar suas respostas.
Por exemplo, quando a confiança de um modelo de linguagem grande numa resposta cai abaixo de um certo limite ou os conflitos na resposta excedem alguns níveis aceitáveis, pode mudar de um processamento rápido e intuitivo para um raciocínio lento e deliberativo. Isso é análogo ao que os psicólogos chamam Sistema 1 e Sistema 2 pensando em humanos.
Este diagrama conceitual mostra a ideia básica para dar a um conjunto de grandes modelos de linguagem uma consciência do estado de seu processamento. Ricky J. Sethi
Dirigindo uma Orquestra
Think about um grande conjunto de modelos de linguagem como uma orquestra onde cada músico – um grande modelo de linguagem particular person – entra em determinados momentos com base nas dicas recebidas do maestro. O vetor de estado metacognitivo atua como a consciência do maestro, monitorando constantemente se a orquestra está em harmonia, se alguém está desafinado ou se uma passagem particularmente difícil requer atenção further.
Ao executar uma peça acquainted e bem ensaiada, como uma simples melodia folclórica, a orquestra toca facilmente em uníssono rápido e eficiente, com o mínimo de coordenação necessária. Este é o modo do Sistema 1. Cada músico conhece a sua parte, as harmonias são simples e o conjunto funciona quase automaticamente.
Mas quando a orquestra encontra uma composição de jazz complexa com compassos conflitantes, harmonias dissonantes ou seções que exigem improvisação, os músicos precisam de maior coordenação. O maestro orienta os músicos a mudarem de papéis: alguns se tornam líderes de seção, outros fornecem ancoragem rítmica e solistas emergem para passagens específicas.
Este é o tipo de sistema que esperamos criar num contexto computacional através da implementação da nossa estrutura, orquestrando conjuntos de grandes modelos de linguagem. O vetor de estado metacognitivo informa um sistema de controle que atua como condutor, dizendo-lhe para mudar de modo para o Sistema 2. Ele pode então dizer a cada grande modelo de linguagem para assumir papéis diferentes – por exemplo, crítico ou especialista – e coordenar suas interações complexas com base na avaliação metacognitiva da situação.
Impacto e Transparência
As implicações vão muito além de tornar a IA generativa um pouco mais inteligente. Nos cuidados de saúde, um sistema de IA generativo metacognitivo poderia reconhecer quando os sintomas não correspondem aos padrões típicos e escalar o problema para especialistas humanos, em vez de arriscar um diagnóstico errado. Na educação, poderia adaptar estratégias de ensino ao detectar confusão nos alunos. Na moderação de conteúdo, poderia identificar situações diferenciadas que exigem julgamento humano, em vez de aplicar regras rígidas.
Talvez o mais importante seja o facto de a nossa estrutura tornar a tomada de decisões generativa em IA mais transparente. Em vez de um caixa preta que simplesmente produz respostas, obtemos sistemas que podem explicar os seus níveis de confiança, identificar as suas incertezas e mostrar porque escolheram estratégias de raciocínio específicas.
Esta interpretabilidade e explicabilidade são cruciais para construir confiança nos sistemas de IA, especialmente em indústrias regulamentadas ou em aplicações críticas de segurança.
A estrada à frente
Nosso quadro não dá consciência das máquinas ou verdadeira autoconsciência no sentido humano. Em vez disso, a nossa esperança é fornecer uma arquitetura computacional para alocar recursos e melhorar as respostas que também sirva como um primeiro passo em direção a abordagens mais sofisticadas para a metacognição synthetic completa.
O próxima fase em nosso trabalho envolve validar a estrutura com testes extensivos, medir como o monitoramento metacognitivo melhora o desempenho em diversas tarefas e estender a estrutura para começar a raciocinar sobre o raciocínio, ou metarraciocínio. Estamos particularmente interessados em cenários onde o reconhecimento da incerteza é essential, como em diagnósticos médicos, raciocínio jurídico e geração de hipóteses científicas.
Nossa visão ultimate são sistemas de IA generativos que não apenas processem informações, mas que compreendam suas limitações e pontos fortes cognitivos. Isto significa sistemas que sabem quando ser confiantes e quando ser cautelosos, quando pensar rápido e quando desacelerar, e quando estão qualificados para responder e quando devem ceder aos outros.
Este artigo foi republicado de A conversa sob uma licença Artistic Commons. Leia o artigo authentic.