Para pesquisadores, analistas e profissionais de segurança, a capacidade de recuperar informações relevantes com rapidez e precisão é basic. No entanto, à medida que o nosso panorama de informação cresce, também crescem os desafios dos métodos de pesquisa tradicionais.
A equipe de IA da Cisco Basis apresenta uma nova abordagem para recuperação de informações projetada para resolver as deficiências da pesquisa atual.
O desafio da pesquisa atual
Muitas vezes, quando buscamos informações, especialmente sobre temas complexos, nossas consultas iniciais podem não acertar o alvo. Os mecanismos de pesquisa tradicionais, embora poderosos, normalmente operam com base no princípio “one-shot”: você faz uma pergunta e ela lhe dá resultados. Se esses resultados não estiverem corretos, cabe a você reformular sua consulta e tentar novamente. Este processo pode ser ineficiente e frustrante, especialmente quando se lida com necessidades de informação diferenciadas ou multifacetadas.
Os LLMs oferecem compreensão semântica, mas podem ser computacionalmente caros e nem sempre ideais para a natureza iterativa e exploratória de pesquisas complexas. Os métodos existentes para reescrita ou decomposição de consultas muitas vezes comprometem-se com um plano de pesquisa muito cedo, fazendo com que o processo de recuperação fique preso em um espaço de pesquisa incorreto e perca informações relevantes.
Abordagem adaptativa da Basis AI
A abordagem de pesquisa da Basis AI aborda essas limitações, tornando o próprio processo de recuperação adaptativo e inteligente. Em vez de uma consulta estática e pronta, a estrutura permite que os modelos aprendam comoprocurariterativamente, como faria um investigador humano. Isso é feito usando uma série de técnicas: geração de trajetória sintética para criar diversos comportamentos de busca, ajuste fino supervisionado para estabelecer a estrutura para busca multivoltas, aprendizagem por reforço (GRPO) para refinar o comportamento de busca e, finalmente, busca por feixe de tempo de inferência para explorar as capacidades de autorreflexão aprendidas.
Basicamente, nossa estrutura capacita modelos compactos (de parâmetros de 350M a 1,2B) para:
- Aprenda diversas estratégias de pesquisa:Através de um processo de observação e aprendizagem de vários comportamentos de pesquisa, os modelos de estrutura entendem como abordar diferentes tipos de consultas.
- Refine as consultas com base no suggestions:O sistema aprende a ajustar suas consultas de pesquisa de forma dinâmica, incorporando insights de documentos recuperados anteriormente.
- Retroceder estrategicamente:Uma capacidade crítica é saber quando abandonar um caminho infrutífero e explorar direções de busca alternativas, evitando os “loops giratórios” observados em sistemas menos adaptativos.
Juntas, estas capacidades permitem que a nossa estrutura de pesquisa conduza uma “conversa” multifacetada com as informações que recupera, reflita sobre resultados intermédios e adapte a sua estratégia para se concentrar nas evidências mais relevantes. A figura abaixo compara algumas das abordagens existentes discutidas com as abordagens da equipe de IA da Fundação.
Ilustramos duas linhas de base de reformulação de consulta estabelecidas juntamente com nossa estrutura proposta em um exemplo do conjunto de dados FEVER. Embora a decomposição da consulta falhe sem suggestions do corpus e a reescrita da consulta produza reformulações estáticas que ignoram os resultados da recuperação, a estrutura Basis AI realiza exploração baseada em árvore com intervalos de raciocínio estruturados, revisando sua estratégia à medida que incorpora evidências contraditórias e muda de consultas focadas no vale para consultas focadas na montanha – retrocedendo, refinando e explorando efetivamente para recuperar evidências relevantes.
Resultados
Avaliamos nossa abordagem em dois conjuntos de benchmarks desafiadores que testam a precisão da recuperação e a profundidade do raciocínio: o benchmark BEIR para recuperação de informações clássica e multi-hop, e o benchmark BRIGHT para pesquisas com raciocínio intensivo abrangendo domínios científicos, técnicos e analíticos.
Apesar de ser até 400 vezes menor do que os modelos de linguagem grande com os quais foi comparado, nossos modelos personalizados menores usados nos testes tiveram desempenho consistente igual ou superior ao esperado:
- Em conjuntos de dados BEIR, como SciFact, FEVER, HotpotQA e NFCorpus, o modelo Basis AI grande (1,2B) alcançou77,6%nDCG@10 no SciFact e63,2%nDCG@10 no NFCorpus, superando os retrievers anteriores e aproximando-se do desempenho da classe GPT-4, mantendo pontuações fortes no FEVER (65,3%) e no HotpotQA (71,6%).
- No BRIGHT, alcançamos uma média macro nDCG@10 de25,2%superando grandes modelos proprietários como GPT-4.1 (22,1%) em 12 domínios diversos, desde economia e psicologia até robótica e matemática.
Esses resultados demonstram queaprendeu estratégias de pesquisa adaptativa,não apenas a escala do modelo, impulsiona o desempenho de recuperação.
Aplicação no mundo actual: Pesquisa de segurança
As implicações de tal sistema de recuperação adaptativo abrangem vários domínios, especialmente na segurança:
- Análise aprimorada de inteligência de ameaças: Os analistas de segurança estão constantemente examinando enormes volumes de relatórios de ameaças, bancos de dados de vulnerabilidades e dados de incidentes. A capacidade da estrutura de lidar com consultas complexas e em evolução e voltar atrás em becos sem saída significa que ela pode descobrir conexões sutis entre peças de inteligência díspares de forma mais eficaz, identificando ameaças emergentes ou padrões de ataque que uma pesquisa estática pode não perceber.
- Resposta mais rápida a incidentes: quando ocorre um incidente de segurança, os socorristas precisam localizar rapidamente logs relevantes, dados de tráfego de rede e políticas de segurança. Acelere isso pesquisando de forma adaptativa em diversas fontes de dados, refinando as consultas à medida que novas evidências surgem do incidente e ajudando a identificar a causa raiz ou os sistemas afetados com mais rapidez.
- Pesquisa proativa de vulnerabilidade: Os pesquisadores de segurança podem usar a estrutura para explorar repositórios de código, fóruns técnicos e avisos de segurança para identificar vulnerabilidades potenciais em sistemas. Sua natureza adaptativa permite seguir cadeias complexas de dependências ou técnicas de exploração, levando a uma descoberta de vulnerabilidades mais abrangente.
O futuro da pesquisa é adaptativo
Nossa pesquisa mostra que a inteligência de recuperação não é uma função de escala, mas de estratégia. Ao combinar dados sintéticos, aprendizagem por reforço e algoritmos de busca inteligentes, modelos compactos podem alcançar capacidades adaptativas poderosas. Isto significa sistemas de recuperação de informação mais eficientes, económicos e robustos, que possam verdadeiramente compreender e adaptar-se às complexidades das necessidades humanas de informação.
Se você estiver interessado em aprender mais, pode ler o artigo de pesquisa completoaqui no arXiv.
Saiba mais sobre as pesquisas que fazemos e inscreva-se para receber atualizações no Web site da equipe de IA da Cisco Basis.
Adoraríamos ouvir o que você pensa! Faça uma pergunta e fique conectado com a Cisco Safety nas redes sociais.
Mídias sociais de segurança da Cisco