Laboratório de Agentes: Uma Equipe de Pesquisa Digital da AMD e Johns Hopkins

Enquanto todo mundo está comentando Agentes de IA e automação, a AMD e a Universidade Johns Hopkins têm trabalhado para melhorar a forma como os humanos e a IA colaboram na pesquisa. Sua nova estrutura de código aberto, Laboratório de Agentesé uma reimaginação completa de como a pesquisa científica pode ser acelerada por meio do trabalho em equipe humano-IA.

Depois de analisar inúmeras estruturas de pesquisa em IA, o Agent Laboratory se destaca por sua abordagem prática. Em vez de tentar substituir os investigadores humanos (como muitas soluções existentes), concentra-se em sobrecarregar as suas capacidades, lidando com os aspectos demorados da investigação, mantendo os humanos no comando.

A principal inovação aqui é simples, mas poderosa: Em vez de realizar pesquisas totalmente autônomas (que muitas vezes levam a resultados questionáveis), o Agent Laboratory cria um laboratório digital onde vários agentes especializados de IA trabalham juntos, cada um lidando com diferentes aspectos do processo de pesquisa enquanto permanecem ancorados na orientação humana.

Dividindo o Laboratório Digital

Pense no Agent Laboratory como uma equipe de pesquisa bem orquestrada, mas com agentes de IA desempenhando funções especializadas. Assim como um verdadeiro laboratório de pesquisa, cada agente tem responsabilidades e conhecimentos específicos:

• Um agente PhD aborda revisões de literatura e planejamento de pesquisa
• Agentes de pós-doutorado ajudam a refinar abordagens experimentais
• Os agentes do ML Engineer cuidam da implementação técnica
• Os agentes professores avaliam e pontuam os resultados da pesquisa

O que torna este sistema particularmente interessante é o seu fluxo de trabalho. Ao contrário das ferramentas tradicionais de IA que operam isoladamente, o Agent Laboratory cria um ambiente colaborativo onde esses agentes interagem e desenvolvem o trabalho uns dos outros.

O processo segue uma progressão pure de pesquisa:

1. Revisão da literatura: O agente PhD examina trabalhos acadêmicos usando o API arXivreunindo e organizando pesquisas relevantes
2. Formulação do Plano: Agentes de doutorado e pós-doutorado se unem para criar planos de pesquisa detalhados
3. Implementação: Agentes ML Engineer escrevem e testam código
4. Análise e Documentação: A equipe trabalha em conjunto para interpretar resultados e gerar relatórios abrangentes

Mas é aqui que fica realmente prático: A estrutura é flexível em termos de computação, o que significa que os pesquisadores podem alocar recursos com base em seu acesso ao poder computacional e nas restrições orçamentárias. Isso o torna uma ferramenta projetada para ambientes de pesquisa do mundo actual.

Schmidgall et al.

O fator humano: onde a IA encontra a experiência

Embora o Agent Laboratory possua recursos de automação impressionantes, a verdadeira mágica acontece no que eles chamam de “modo copiloto”. Nesta configuração, os investigadores podem fornecer suggestions em cada fase do processo, criando uma colaboração genuína entre a experiência humana e a assistência da IA.

Os dados de suggestions do copiloto revelam alguns insights convincentes. No modo autônomo, os artigos gerados pelo Agent Laboratory obtiveram uma média de 3,8/10 nas avaliações humanas. Mas quando os pesquisadores entraram no modo copiloto, essas pontuações saltaram para 4,38/10. O que é particularmente interessante é onde essas melhorias apareceram – os artigos obtiveram pontuações significativamente mais altas em clareza (+0,23) e apresentação (+0,33).

Mas aqui está a verificação da realidade: mesmo com envolvimento humano, esses artigos ainda pontuaram cerca de 1,45 pontos abaixo da média aceita NeuroIPS papel (que fica em 5,85). Isto não é um fracasso, mas é uma aprendizagem essential sobre como a IA e a experiência humana precisam de se complementar.

A avaliação revelou outra coisa fascinante: Os revisores de IA classificaram consistentemente os artigos cerca de 2,3 pontos acima dos revisores humanos. Esta lacuna realça a razão pela qual a supervisão humana continua a ser essential na avaliação da investigação.

Schmidgall et al.

Dividindo os Números

O que realmente importa em um ambiente de pesquisa? O custo e desempenho. A abordagem do Agent Laboratory para comparação de modelos revela alguns ganhos de eficiência surpreendentes nesse aspecto.

O GPT-4o emergiu como o campeão de velocidade, completando todo o fluxo de trabalho em apenas 1.165,4 segundos – isso é 3,2x mais rápido que o o1-mini e 5,3x mais rápido que o o1-preview. Mas o que é ainda mais importante é que custa apenas US$ 2,33 por artigo. Em comparação com métodos de pesquisa autônomos anteriores que custavam cerca de US$ 15, esperamos uma redução de custos de 84%.

Olhando para o desempenho do modelo:

• o1-preview obteve a pontuação mais alta em utilidade e clareza
• o1-mini alcançou os melhores índices de qualidade experimental
• GPT-4o ficou atrás em métricas, mas liderou em eficiência de custos

As implicações do mundo actual aqui são significativas.

Os pesquisadores agora podem escolher sua abordagem com base em suas necessidades específicas:

• Precisa de prototipagem rápida? GPT-4o oferece velocidade e eficiência de custos
• Priorizando a qualidade experimental? o1-mini pode ser sua melhor aposta
• Procurando o resultado mais sofisticado? o1-preview mostra promessa

Esta flexibilidade significa que as equipas de investigação podem adaptar a estrutura aos seus recursos e requisitos, em vez de ficarem presas a uma solução única para todos.

Um novo capítulo na pesquisa

Depois de analisar as capacidades e os resultados do Agent Laboratory, estou convencido de que estamos diante de uma mudança significativa na forma como a pesquisa será conduzida. Mas não é a narrativa da substituição que muitas vezes domina as manchetes – é algo muito mais matizado e poderoso.

Embora os artigos do Agent Laboratory ainda não tenham atingido os mais altos padrões de conferência por si só, eles estão criando um novo paradigma para a aceleração da pesquisa. Pense nisso como ter uma equipe de assistentes de pesquisa em IA que nunca dormem, cada um especializado em diferentes aspectos do processo científico.

As implicações para os pesquisadores são profundas:

• O tempo gasto em revisões de literatura e codificação básica pode ser redirecionado para ideias criativas
• Ideias de pesquisa que poderiam ter sido arquivadas devido a restrições de recursos tornam-se viáveis
• A capacidade de prototipar e testar hipóteses rapidamente pode levar a avanços mais rápidos

As limitações atuais, como a lacuna entre as pontuações de IA e de revisão humana, são oportunidades. Cada iteração destes sistemas aproxima-nos de uma colaboração de investigação mais sofisticada entre humanos e IA.

Olhando para o futuro, vejo três desenvolvimentos principais que poderão remodelar a descoberta científica:

1. Padrões mais sofisticados de colaboração entre humanos e IA surgirão à medida que os pesquisadores aprenderem a aproveitar essas ferramentas de forma eficaz
2. A economia de tempo e de custos poderia democratizar a pesquisa, permitindo que laboratórios e instituições menores desenvolvessem projetos mais ambiciosos
3. As capacidades de prototipagem rápida podem levar a abordagens mais experimentais em pesquisa

A chave para maximizar esse potencial? Compreender que o Agent Laboratory e estruturas semelhantes são ferramentas de amplificação, não de automação. O futuro da investigação não consiste em escolher entre a experiência humana e as capacidades de IA – trata-se de encontrar formas inovadoras de combiná-las.