Aprendizagem contínua para o agente LLM sem ajuste fino

Você já desejou que seu agente de IA pudesse aprender e se adaptar rapidamente, assim como você? Think about um assistente de IA que, depois de falhar em uma tarefa uma vez, lembra -se de seu erro e nunca o repete. Uma IA que não responde apenas a instruções, mas fica mais inteligente a cada interação.

Durante anos, esse tem sido o santo graal da inteligência synthetic, um sonho retido por dois grandes obstáculos. Construímos agentes poderosos de IA, mas eles permanecem presos em uma maneira fixa de pensar ou falhar em cenários do mundo actual que precisam de aprendizado contínuo. É um dilema clássico: um gênio estático versus um aluno lento com um apetite interminável por energia e dados.

Mas e se houvesse uma terceira maneira? UM Novo artigo de pesquisa saiu com uma maneira de permitir que os agentes da IA ​​aprendam continuamente a partir de um ambiente em mudança, sem envolver os custos pesados ​​de ajustar os modelos maciços que os alimentam. Memento é uma abordagem revolucionária que faz exatamente isso. Ao dar aos agentes LLM uma memória externa e humana, o Memento oferece um caminho escalável, eficiente e incrivelmente poderoso para a próxima geração de IA generalista. Neste weblog, dividiremos os detalhes do Memento e como ele funciona.

O problema com os agentes LLM de hoje

Os agentes do Modelo de Linguagem Grandes (LLM) são o futuro. Ao contrário dos LLMs tradicionais que apenas respondem a perguntas, esses agentes são solucionadores de problemas proativos. Eles podem executar autonomamente tarefas complexas usando ferramentas externas e raciocínio através de problemas passo a passo.

No entanto, por mais poderosos que sejam, a maioria dos agentes LLM se enquadra em uma das duas categorias, cada uma com uma falha crítica:

1. O agente rígido: Esse tipo de agente é construído com um fluxo de trabalho fixo e com código codificado. É ótimo em seu trabalho específico, mas não pode se adaptar. Ele não incorporará novas informações por conta própria ou aprenderá com seus erros em tempo actual. Pense em uma máquina altamente especializada que só pode executar uma tarefa perfeitamente.
2. O agente de ajuste fino: Esta é a abordagem mais flexível, mas incrivelmente cara,. Esses agentes são atualizados ajustando seus parâmetros Core LLM com base em novos dados ou aprendizado de reforço. Isso permite um comportamento mais dinâmico, mas o processo é um pesadelo logístico. Isso os torna impraticáveis ​​para o aprendizado on -line contínuo.

Memento foi construído para resolver esse desafio central: como criamos uma IA que pode aprender continuamente sem o processo constante, caro e arriscado de afinação?

O que é lembrança?

Memento é basicamente uma estrutura orientada a memória que permite Llm agentes para aprender com a experiência como qualquer humano faria. Eles se lembram, adaptam e reutilizam casos anteriores sem recorrer o modelo de linguagem grande base em que eles são construídos.

Os criadores de Memento olhavam para a máquina de aprendizado mais poderosa e eficiente que conhecemos: o cérebro humano. Os seres humanos não “ajustam” seus cérebros toda vez que aprendem algo novo. Em vez disso, confiamos em nossa memória. Armazenamos experiências passadas, aprendemos com nossos sucessos e falhas e usamos essas memórias para orientar nossas decisões futuras, conhecidas como raciocínio baseado em casos (CBR). É um princípio psicológico que sugere que resolvemos novos problemas, lembrando e adaptando soluções de situações anteriores semelhantes.

Memento traz essa abordagem humana aos agentes LLM. Em vez de ajustar o modelo principal do LLM, o Memento oferece ao agente uma memória episódica externa chamada banco de caso. O caso o banco armazena trajetórias passadas, incluindo medidas tomadas, resultados e se terminaram em sucesso ou fracasso. Isso permite que o agente “aprenda rapidamente” sem uma única atualização de gradiente para o seu modelo basic.

O código da estrutura do Memento pode ser encontrado aqui: Github

O que acontece no Memento?

O núcleo deste sistema é um processo de decisão de Markov agente para a memória (MDP). É uma maneira de modelar o processo de tomada de decisão do agente, onde sua memória é uma parte essencial de todas as opções. Esta é uma mudança enorme dos modelos tradicionais que dependem apenas de seu conhecimento interno e fixo.

Agora que sabemos o que é lembrança, vamos mergulhar em sua arquitetura.

Como funciona a arquitetura de Memento?

O Memento opera em uma estrutura simples, mas poderosa e de dois estágios:

Etapa 1: planejamento baseado em casos

É aqui que o agente pensa. Um LLM age como o Planejadorabsorvendo uma consulta de usuários e, assim como um humano, dividindo-o em uma lista de subtarefas. O molho secreto aqui é a memória da caixa.

Antes de agir, o planejador “lê” de seu banco de casos, recuperando experiências passadas mais semelhantes à tarefa atual. O agente então usa esses casos anteriores, incluindo tentativas bem -sucedidas e fracassadas, para informar seu plano atual, ajudando -o a evitar erros anteriores e aplicar estratégias comprovadas.

Etapa 2: Execução baseada em ferramentas

Uma vez que o planejador tem sua estratégia, ele entrega as subjugues ao Executor. Este é outro LLM que é aprimorado com um conjunto abrangente de ferramentas externas, como pesquisa da Net, intérpretes de código e processadores de arquivos. O executor realiza o plano, uma subjuga de cada vez, usando as ferramentas certas para realizar o trabalho. O agente está até equipado com poderosas ferramentas de pesquisa e rastreamento para buscar e analisar informações da Net em tempo actual.

Toda ação que o agente toma e a recompensa que recebe (sucesso ou falha) é registrada e “escrita” de volta ao banco do caso. Isso cria um loop de suggestions contínuo, onde a memória do agente está crescendo constantemente e ficando mais inteligente a cada nova interação. Este processo é formalizado através do smooth Q-learningum método que permite ao agente aprender o valor de diferentes casos (experiências) ao longo do tempo. É uma maneira sofisticada de garantir que o agente aprenda quais experiências passadas são mais valiosas para recuperar.

Memento: Efficiency do mundo actual

A estrutura de lembrança não é apenas um conceito teórico; Ele apresentou resultados verdadeiramente notáveis. O artigo detalha avaliações extensas em vários benchmarks, e os números são convincentes:

1. High-1 em Gaia: O Memento alcançou o primeiro lugar na tabela de líderes da GAIA, uma referência projetada para testar a capacidade de um agente de executar tarefas complexas e de longo horizonte que requerem uso de ferramentas e planejamento autônomo. Os resultados foram particularmente fortes no conjunto de testes, onde obtiveram 79,40%, um novo benchmark para estruturas de agentes de código aberto.
2. Superando a competição: No conjunto de dados DeePresearcher, que testa pesquisas na internet em tempo actual, o Memento atingiu uma impressionante pontuação de 66,6% na F1 e 80,4% pm. Ele superou os sistemas baseados em treinamento de última geração, provando que uma abordagem baseada em memória pode ser mais eficaz do que o ajuste fino da força bruta.
3. O poder da memória: Os estudos de ablação no artigo confirmaram o papel crítico do banco de casos. Somente a adição de memória baseada em casos aumentou a precisão nas tarefas fora da distribuição em até 9,6%, mostrando o poder de aprender com as experiências passadas.

A estrutura de lembrança, alimentada por uma combinação de modelos como GPT-4.1 e O4-minimostra que não se trata de usar o maior modelo, mas sobre o uso da estrutura certa para alavancar os recursos desse modelo.

Conclusão

A estrutura de lembrança representa uma profunda mudança na maneira como pensamos e construímos Agentes da IA. Isso prova que podemos criar sistemas de aprendizado altamente capazes e continuamente sem os custos incapacitantes e as complexidades técnicas do ajuste fino do modelo.

Essa abordagem oferece um caminho poderoso, escalável e eficiente para a construção de agentes LLM verdadeiramente generalistas, o tipo de IA que pode enfrentar uma ampla gama de tarefas e melhorar a cada interação. Ao abraçar uma memória humana e aprender o paradigma, a lembrança não é apenas uma maneira melhor de construir a IA; É mais intuitivo. É um passo em direção à AGI que não age de maneira inteligente, mas aprende e se adapta de uma maneira que parece muito mais … humana.

Pronto para ver como uma abordagem baseada em memória pode mudar a maneira como você constrói a IA? Confira o código e consulte o Memento em ação por si mesmo. O futuro da IA ​​está aqui e é construído sobre uma base de memória, não apenas o poder bruto.

Perguntas frequentes

Anu Madan é especialista em design instrucional, redação de conteúdo e advertising and marketing B2B, com um talento para transformar idéias complexas em narrativas impactantes. Com seu foco na IA generativa, ela cria conteúdo perspicaz e inovador que educa, inspira e impulsiona um envolvimento significativo.