CORPGEN avança agentes de IA para trabalho actual

No meio da manhã, um típico profissional do conhecimento já está lidando com um relatório de cliente, uma planilha de orçamento, uma apresentação de slides e uma lista de pendências de e-mail, todos interdependentes e exigindo atenção ao mesmo tempo. Para que os agentes de IA sejam genuinamente úteis nesse ambiente, terão de funcionar da mesma forma, mas os melhores modelos atuais são avaliados uma tarefa de cada vez, e não dezenas de uma vez.

Em nosso artigo, “CORPGEN: Simulando Ambientes Corporativos com Funcionários Digitais Autônomos em Ambientes de Tarefas Multi-Horizonte”, propomos uma estrutura de agente que equipa a IA com recursos de memória, planejamento e aprendizagem para preencher essa lacuna.

Apresentando ambientes de tarefas multihorizontes

Replicar a realidade da multitarefa no native de trabalho requer um novo tipo de ambiente de avaliação. Em resposta, desenvolvemos Ambientes de Tarefas Multi-Horizonte (MHTEs), configurações onde um agente deve gerenciar múltiplas tarefas complexas simultaneamente. Cada tarefa requer de 10 a 30 etapas dependentes em uma única sessão de cinco horas.

Para determinar o que um benchmark precisaria testar, executamos MHTEs em escala em alguns dos principais agentes de IA da atualidade, expondo quatro pontos fracos. Primeiro, a memória se enche. Um agente não pode reter detalhes de diversas tarefas ativas de uma só vez. Em segundo lugar, a informação de uma tarefa intrude no raciocínio sobre outra. Terceiro, as tarefas não dependem umas das outras em sequências simples. Eles formam redes complexas onde um agente deve verificar constantemente se o trabalho upstream foi concluído antes de poder avançar em qualquer coisa downstream. Quarto, todo ciclo de ação exige a redefinição de prioridades em todas as tarefas ativas, e não simplesmente a retomada de onde o agente parou.

Também testamos três sistemas de agentes independentes sob cargas crescentes. À medida que o número de tarefas simultâneas aumentou de 12 para 46, as taxas de conclusão caíram de 16,7% para 8,7% em todos os sistemas.

Arquitetura da CORPGEN

CORPGEN apresenta funcionários digitais: Agentes de IA com tecnologia LLM com identidades persistentes, conhecimento específico de função e cronogramas de trabalho realistas. Eles operam aplicativos do Microsoft Workplace por meio de automação de GUI e funcionam de forma consistente em MHTEs durante horas de atividade contínua. A Figura 1 ilustra como um funcionário digital passa por um dia inteiro de trabalho.

O CORPGEN aborda cada um dos quatro pontos fracos da execução simultânea de tarefas – sobrecarga de memória, interferência entre tarefas, complexidade de dependência e repriorização – de maneira direcionada. O planejamento hierárquico divide os objetivos em metas diárias e depois em decisões momento a momento, permitindo que o agente atue a partir de um plano estruturado em vez de revisar todas as tarefas disponíveis antes de cada etapa.

Os subagentes realizam operações complexas, como pesquisas na internet, em contextos isolados, evitando a contaminação entre tarefas. Um sistema de memória em camadas permite a recuperação seletiva de informações relacionadas à tarefa, em vez de reter tudo no contexto ativo. A sumarização adaptativa comprime observações de rotina enquanto preserva informações críticas, mantendo o crescimento da memória controlado.

Como esses mecanismos não estão vinculados a um modelo básico específico, testamos o CORPGEN em três agentes diferentes. Em cada caso, observamos ganhos consistentes. As melhorias vieram da arquitetura, não da força de algum modelo específico. A Figura 2 mostra como eles se encaixam na arquitetura do CORPGEN.

Como os funcionários digitais colaboram

Quando vários funcionários digitais operam no mesmo ambiente, a colaboração toma forma através de canais de comunicação padrão, sem regras de coordenação predefinidas. Um funcionário envia um e-mail solicitando dados; outro o pega no próximo ciclo, usa sua memória para processá-lo e responde. Essa troca reflete a comunicação actual no native de trabalho.

Não há estado interno compartilhado entre os agentes. A coordenação ocorre inteiramente por e-mail e Microsoft Groups, os mesmos canais usados ​​por muitos trabalhadores. Com o tempo, estas trocas independentes formam padrões organizacionais reconhecíveis. Alguns agentes assumem funções de liderança; outros fornecem suporte; documentos compartilhados tornam-se o tecido conjuntivo.

Quando um caminho de comunicação é interrompido, como um erro na entrega de e-mail, os agentes redirecionam as mensagens por meio de canais alternativos para manter o trabalho em andamento. O resultado é uma organização digital que se comporta como uma organização actual, sem ser explicitamente programada para isso.

Avaliando CORPGEN

Avaliamos o CORPGEN em um benchmark multitarefa que combinou até 46 tarefas em uma única sessão de seis horas. Três descobertas se destacaram.

As linhas de base degradam à medida que a carga aumenta; CORPGEN não. Todos os três sistemas de agentes de linha de base apresentaram declínios constantes de desempenho à medida que a carga de tarefas aumentava. A CORPGEN, por outro lado, manteve ou melhorou suas taxas de conclusão em cargas mais altas. Com 46 tarefas, a CORPGEN concluiu 15,2% das tarefas, em comparação com 4,3% das linhas de base, cerca de 3,5 vezes mais.

A aprendizagem experiencial gera os maiores ganhos. Introduzimos os componentes do CORPGEN sequencialmente: primeiro a camada de orquestração, depois as ferramentas cognitivas e, finalmente, a aprendizagem experiencial. Os dois primeiros produziram melhorias moderadas. A aprendizagem experiencial, na qual os agentes armazenam registros de tarefas concluídas e os reutilizam quando encontram trabalhos estruturalmente semelhantes, produziu o maior aumento, elevando as taxas de conclusão de 8,7% para 15,2%.

A metodologia de avaliação muda o quadro. Quando inspecionamos os arquivos de saída reais produzidos pelos agentes, os resultados concordaram com os julgamentos humanos em aproximadamente 90% das vezes. A avaliação baseada em capturas de tela e registros de ações foi acordada apenas em cerca de 40% das vezes. Esta lacuna sugere que as abordagens comuns de avaliação podem subestimar o que os agentes realmente realizam na prática.

Implicações e expectativa

Os resultados sugerem que a memória e a recuperação, e não apenas a capacidade bruta do modelo, podem ser um gargalo importante para fazer os agentes trabalharem no mundo actual. Os maiores ganhos vieram da aprendizagem experiencial. Os agentes que aprendem com os sucessos anteriores e aplicam esses padrões a tarefas estruturalmente semelhantes constroem uma vantagem sobre os sistemas que respondem a cada tarefa isoladamente.

CORPGEN também abre uma nova perspectiva sobre como os agentes de IA colaboram. As próximas etapas incluem testar se os agentes conseguem manter a memória durante vários dias de trabalho e como eles se coordenam ao trabalhar em equipes. Também estamos explorando maneiras de tornar os agentes mais rápidos e confiáveis, combinando diferentes métodos de interação com o software program.

Agradecimentos

Este trabalho é resultado de uma colaboração entre o Gabinete do CTO da Microsoft e o Microsoft AI Improvement Accelerator Program (MAIDAP). Gostaríamos de agradecer à equipe de Pesquisa de Segurança da Microsoft por fornecer os recursos que apoiaram esta pesquisa. Agradecemos também aos membros da Microsoft OVNI2 (abre em nova aba) equipe e o Mem0 (abre em nova aba) projeto por suas contribuições de código aberto, que possibilitaram componentes-chave da arquitetura CORPGEN, e à equipe OSWorld pelo benchmark que serviu de base para nossa avaliação multitarefa.

Finalmente, agradecemos aos muitos colaboradores desta pesquisa: Charlotte Siska, Manuel Raúl Meléndez Luján, Anthony Twum-Barimah e Mauricio Velazco.

Abre em uma nova aba