UM Novo estudo de pesquisadores da LMU Munique, o Munique Heart for Machine Studying e a Adobe Analysis expuseram uma fraqueza em Modelos de idiomas da IA: Eles lutam para entender documentos longos de maneiras que podem surpreendê -lo. As descobertas da equipe de pesquisa mostram que mesmo os modelos de IA mais avançados têm problemas para conectar informações quando não podem confiar na correspondência simples de palavras.
O problema oculto das habilidades de leitura da IA
Imagem tentando encontrar um detalhe específico em um longo artigo de pesquisa. Você pode passar por ele, fazendo conexões mentais entre diferentes seções para reunir as informações necessárias. Muitos modelos de IA, ao que parece, não funcionam dessa maneira. Em vez disso, eles geralmente dependem muito de encontrar correspondências exatas de palavras, semelhantes a usar Ctrl+F no seu computador.
A equipe de pesquisa desenvolveu uma nova referência chamada Nolima (sem correspondência literal) para testar vários modelos de IA. Os resultados mostraram que, quando os modelos de IA lidam com textos com mais de 2.000 palavras, seu desempenho cai drasticamente. Quando atingem 32.000 palavras – sobre a duração de um pequeno livro – a maioria dos modelos tem metade da capacidade traditional. Isso incluiu o teste dos principais modelos como GPT-4OAssim, Gêmeos 1.5 Professionale Llama 3,3 70B.
Considere um pesquisador médico usando IA para analisar os registros dos pacientes ou uma equipe jurídica usando a IA para revisar os documentos do caso. Se a IA perder as conexões cruciais porque as informações relevantes usam palavras diferentes da consulta de pesquisa, as consequências podem ser significativas.
Por que a correspondência de palavras não é suficiente
Os modelos de IA atuais processam texto usando algo chamado mecanismo de atenção. Este sistema ajuda a IA a se concentrar em diferentes partes do texto a entender as relações entre palavras e idéias. Ao trabalhar com textos mais curtos, isso funciona bem o suficiente. No entanto, a pesquisa mostra que esse mecanismo fica sobrecarregado à medida que os textos ficam mais longos, especialmente quando não pode confiar nas correspondências exatas das palavras.
O teste Nolima revelou essa limitação fazendo perguntas de modelos de IA, onde as respostas exigiam o entendimento do contexto, em vez de encontrar palavras correspondentes. Os resultados foram reveladores. Enquanto os modelos tiveram um bom desempenho com textos curtos, sua capacidade de fazer essas conexões caíram significativamente à medida que o comprimento do texto aumentou. Até modelos especializados projetados para tarefas de raciocínio pontuaram abaixo de 50% de precisão ao lidar com documentos mais longos.
Sem a muleta da correspondência de palavras, os modelos de IA lutaram para:
- Conecte conceitos relacionados que usam terminologia diferente
- Siga os caminhos de raciocínio de várias etapas
- Encontre informações relevantes quando apareceram após o contexto -chave
- Ignorar palavras enganosas correspondem em seções irrelevantes
Os números contam a história
Os resultados da pesquisa mostram uma imagem gritante de como os modelos de IA lidam com textos mais longos. O GPT-4O mostrou o desempenho mais forte, mantendo a eficácia de até 8.000 tokens (aproximadamente 6.000 palavras). No entanto, mesmo esse melhor desempenho mostrou um declínio significativo com textos mais longos. A maioria dos outros modelos, incluindo Gemini 1.5 Professional e Llama 3,3 70B, sofreu quedas de desempenho acentuadas entre 2.000 e 8.000 tokens.
O declínio do desempenho tornou -se ainda mais pronunciado quando as tarefas exigiam várias etapas de raciocínio. Por exemplo, se um modelo precisava fazer duas conexões lógicas – como entender que um personagem morava perto de um marco e que o marco estava em uma cidade específica – a taxa de sucesso caiu consideravelmente. A pesquisa mostrou que esse tipo de raciocínio de várias etapas tornou-se particularmente desafiador em textos além de 16.000 tokens, mesmo quando usava técnicas projetadas para melhorar o raciocínio, como Cadeia de pensamento solicitando.
O que torna essas descobertas particularmente dignas de nota é que elas desafiam as reivindicações sobre a capacidade dos modelos de IA de lidar com contextos longos. Enquanto muitos modelos anunciam suporte para janelas de contexto extensas, o benchmark da NOLIMA mostra que o entendimento eficaz cai bem antes de atingir esses limites teóricos.
Fonte: Modarressi et al.
Quando Ai sente falta da floresta para as árvores
Essas limitações têm sérias implicações para a forma como usamos a IA em aplicativos do mundo actual. Considere um sistema authorized de IA pesquisando através da jurisprudência. Pode perder os precedentes relevantes simplesmente porque eles usam terminologia diferente da consulta de pesquisa. O sistema poderia se concentrar em casos menos relevantes que compartilham mais palavras com os termos de pesquisa.
O impacto na pesquisa e análise de documentos é particularmente preocupante. Os sistemas atuais de pesquisa de IA geralmente dependem de uma técnica chamada Geração de recuperação usededed (RAG). Mesmo quando esses sistemas recuperam com sucesso um documento contendo as informações corretas, a IA pode deixar de reconhecer sua relevância se a redação diferente da consulta. Em vez disso, a IA pode gravitar em direção a documentos menos relevantes que compartilham semelhanças no nível da superfície com os termos de pesquisa.
Para os usuários de IA, essas descobertas sugerem várias considerações importantes:
Primeiroconsultas e documentos mais curtos provavelmente produzirão resultados mais confiáveis. Ao trabalhar com textos mais longos, dividi -los em segmentos menores e focados pode ajudar a manter o desempenho da IA.
Segundoos usuários devem ser particularmente cuidadosos ao pedir à IA que faça conexões em diferentes partes de um documento longo. A pesquisa mostra que os modelos de IA lutam mais quando precisam reunir informações de diferentes seções, especialmente quando a conexão não é óbvia através do vocabulário compartilhado.
Finalmenteessas limitações destacam a importância contínua da supervisão humana. Embora a IA possa ser uma ferramenta poderosa para processar e analisar o texto, ela não deve ser considerada como o único meio de identificar conexões importantes em documentos longos ou complexos.
As descobertas servem como um lembrete de que, apesar dos rápidos avanços na tecnologia de IA, esses sistemas ainda processam informações de maneira muito diferente dos seres humanos. Compreender essas limitações é essential para o uso de ferramentas de IA de maneira eficaz e saber quando o julgamento humano permanece essencial.
O que vem a seguir
Compreender as limitações da capacidade dos modelos atuais de IA de processar textos longos abre questões importantes sobre o futuro do desenvolvimento da IA. A pesquisa por trás do benchmark da NOLIMA revelou que nossas abordagens atuais para o processamento de texto de IA podem precisar de refinamento significativo, particularmente na maneira como os modelos lidam com informações em passagens mais longas.
As soluções atuais mostraram apenas sucesso parcial. A cadeia de pensamentos, que incentiva os modelos de IA a dividir seu raciocínio em etapas, ajuda a melhorar um pouco o desempenho. Por exemplo, ao usar essa técnica, o LLAMA 3.3 70B mostrou melhor capacidade de lidar com contextos mais longos. No entanto, essa abordagem ainda fica aquém ao lidar com textos além de 16.000 tokens, sugerindo que precisamos de soluções mais fundamentais.
O mecanismo de atenção, que forma a espinha dorsal de como os modelos de IA atuais processam o texto, precisa repensar. Pense nisso como tentar manter uma conversa em uma sala lotada – quanto mais tempo a conversa fica, mais difícil se torna acompanhar todos os pontos importantes mencionados anteriormente. Nossos modelos atuais de IA enfrentam um desafio semelhante, mas em uma escala muito maior.
Olhando para o futuro, os pesquisadores estão explorando várias direções promissoras. Uma abordagem envolve o desenvolvimento de novas maneiras de a IA organizar e priorizar informações em textos longos, indo além da correspondência simples de palavras para entender as conexões conceituais mais profundas. Isso pode funcionar mais como como os humanos criam mapas mentais de informação, conectando idéias com base no significado e não apenas no vocabulário compartilhado.
Outra área de desenvolvimento se concentra em melhorar a maneira como os modelos de IA lidam com o que os pesquisadores chamam de “lúpulo latente” – as etapas lógicas necessárias para conectar diferentes informações. Os modelos atuais lutam com essas conexões, especialmente em textos mais longos, mas novas arquiteturas podem ajudar a preencher essa lacuna.
Para quem trabalha com as ferramentas de IA hoje, essas descobertas sugerem várias abordagens práticas:
Considere dividir documentos mais longos em segmentos significativos ao trabalhar com a IA. Isso ajuda a criar seções lógicas que preservam o contexto importante. Por exemplo, se analisar um artigo de pesquisa, você poderá manter as seções de metodologia e resultados juntos, pois elas geralmente contêm informações relacionadas.
Ao pedir à IA para analisar textos mais longos, seja específico sobre as conexões que você deseja fazer. Em vez de fazer perguntas amplas, guie a IA em direção aos relacionamentos específicos que você está interessado em explorar. Isso ajuda a compensar as limitações atuais do modelo para fazer essas conexões de forma independente.
Talvez o mais importante seja, mantenha as expectativas realistas sobre as capacidades da IA com textos longos. Embora essas ferramentas possam ser incrivelmente úteis para muitas tarefas, elas não devem ser tratadas como substituições completas para a análise humana de documentos complexos. A capacidade humana de manter o contexto e fazer conexões conceituais em textos longos permanece superior aos recursos atuais da IA.
O caminho a seguir para o desenvolvimento da IA nessa área é desafiador e emocionante. Como entendemos melhor essas limitações, podemos trabalhar em direção a sistemas de IA que realmente compreendem textos longos, em vez de apenas processá -los. Até então, usar a IA significa efetivamente trabalhar com suas limitações atuais enquanto aprecia seus pontos fortes.