O último lançamento do O’Reilly Solutions é o primeiro exemplo de royalties generativos na period da IA, criado em parceria com Missô. Este novo serviço é uma fonte confiável de respostas para a comunidade de aprendizagem da O’Reilly e um novo passo à frente no compromisso da empresa com os especialistas e autores que impulsionam o conhecimento em sua plataforma de aprendizagem.
A IA generativa pode ser uma nova tecnologia inovadora, mas também desencadeou uma torrente de complicações que minam sua confiabilidade, muitas das quais são a base de processos judiciais. Os criadores de conteúdo e editores na internet aberta serão creditados diretamente e compensados de forma justa pelas contribuições de seus trabalhos para plataformas de IA? Haverá uma capacidade de consentir com sua participação em tal sistema em primeiro lugar? As alucinações podem realmente ser controladas? E o que acontecerá com a qualidade do conteúdo em um futuro de LLMs?
Embora a inteligência perfeita não seja mais possível num sentido sintético do que num sentido orgânico, recuperação-generativa aumentada (RAG) Os mecanismos de busca podem ser a chave para abordar as muitas preocupações que listamos acima. Os modelos de IA generativa são treinados em grandes repositórios de informações e mídia. Eles são então capazes de receber prompts e produzir saídas com base nos pesos estatísticos dos modelos pré-treinados desses corpora. No entanto, os mecanismos RAG não são modelos de IA generativa, mas sim sistemas de raciocínio direcionado e pipelines que usam LLMs generativos para criar respostas baseadas em fontes. Os processos que ajudam a informar a construção dessas respostas de alta qualidade, verificadas em bases verdadeiras e apoiadas por citações trazem grandes esperanças de produzir um mecanismo social e econômico digital para creditar suas fontes e pagá-las simultaneamente. É possível.
Esta não é apenas uma teoria; é uma solução nascida da prática aplicada direta. Nos últimos quatro anos, a plataforma de aprendizagem O’Reilly e MissôO laboratório de IA de notícias e mídia da trabalhou em conjunto para construir uma solução capaz de responder de forma confiável às perguntas dos alunos, creditando as fontes que usou para gerar suas respostas e, em seguida, pagando royalties a essas fontes por suas contribuições. E com o último lançamento do O’Reilly Solutions, a ideia de um mecanismo de royalties que paga os criadores de forma justa agora é uma realidade prática do dia a dia — e essencial para o sucesso da parceria e do crescimento contínuo das duas organizações.
Como a O’Reilly Solutions surgiu
A O’Reilly é uma plataforma de aprendizado focada em tecnologia que dá suporte ao aprendizado contínuo de equipes de tecnologia. Ela oferece uma riqueza de livros, cursos sob demanda, eventos ao vivo, postagens curtas, laboratórios interativos, playlists de especialistas e muito mais — formadas a partir do conteúdo proprietário de milhares de autores independentes, especialistas do setor e várias das maiores editoras educacionais do mundo. Para nutrir e sustentar o conhecimento de seus membros, a O’Reilly paga royalties das receitas de assinatura geradas com base em como seus alunos se envolvem e usam as obras de especialistas na plataforma de aprendizado. A organização tem uma linha vermelha clara: nunca infrinja os meios de subsistência dos criadores e suas obras.
Embora a plataforma de aprendizagem da O’Reilly forneça aos alunos uma maravilhosa abundância de conteúdo, o grande quantity de informações (e as limitações da busca por palavras-chave) às vezes sobrecarregava os leitores que tentavam vasculhá-las para encontrar exatamente o que precisavam saber. E a consequência foi que essa rica experience permaneceu presa dentro de um livro, atrás de um hyperlink, dentro de um capítulo ou enterrada em um vídeo, talvez para nunca ser vista. A plataforma exigia uma maneira mais eficaz de conectar os alunos diretamente às principais informações que eles buscavam. Entra em cena a equipe da Miso.
Os cofundadores da Miso, Fortunate Gunasekara e Andy Hsieh, são veteranos do Small Knowledge Lab na Cornell Tech, que se dedica a abordagens privadas de IA para personalização imersiva e explorações centradas em conteúdo. Eles expandiram seu trabalho na Miso para construir uma infraestrutura facilmente explorável para editores e websites com modelos avançados de IA para pesquisa, descoberta e publicidade que poderiam competir em qualidade com os gigantes da Huge Tech. E a Miso já havia construído um mecanismo de busca inicial baseado em LLM usando o modelo BERT de código aberto que se aprofundou em artigos de pesquisa — ele poderia pegar uma consulta em linguagem pure e encontrar um trecho de texto em um documento que respondesse a essa pergunta com confiabilidade e suavidade surpreendentes. Esse trabalho inicial levou à colaboração com a O’Reilly para ajudar a resolver os desafios de pesquisa e descoberta específicos de aprendizagem em sua plataforma de aprendizagem.
O resultado foi o primeiro mecanismo de busca LLM de O’Reilly, o O’Reilly Solutions unique. Você pode ler um pouco sobre seu funcionamento internomas, em essência, period um mecanismo RAG sem o “G” de “generativo”. Graças ao BERT ser de código aberto, a equipe da Miso conseguiu ajustar os recursos de compreensão de consultas do Solutions em relação a milhares e milhares de pares de perguntas e respostas no aprendizado on-line para torná-lo especialista em entender perguntas e procurar por trechos cujo contexto e conteúdo eram relevantes para essas perguntas. Ao mesmo tempo, a Miso fez um chunking e mapeamento de metadados aprofundados de cada livro no catálogo da O’Reilly para gerar embeddings de trechos vetoriais enriquecidos de cada trabalho. Parágrafo por parágrafo, metadados profundos foram gerados mostrando onde cada trecho foi originado, do texto do título, capítulo, seções e subseções até o código ou figuras mais próximos em um livro.
O casamento desse modelo especializado de perguntas e respostas com esse armazenamento vetorial enriquecido de conteúdo da O’Reilly significava que os leitores podiam fazer uma pergunta e obter uma resposta diretamente da biblioteca de títulos da O’Reilly — com a resposta do snippet destacada diretamente no texto e uma citação de hyperlink profundo para a fonte. E como havia um pipeline de dados claro para cada resposta recuperada por esse mecanismo, a O’Reilly tinha a perícia à mão para pagar royalties por cada resposta entregue, a fim de compensar de forma justa a comunidade de autores da empresa por entregar valor direto aos alunos.
Como a O’Reilly Solutions evoluiu
Avançando para hoje, Miso e O’Reilly levaram esse sistema e os valores por trás dele ainda mais longe. Se o lançamento unique do Solutions fosse um LLM-driven recuperação motor, a nova versão de hoje do Solutions é um LLM-driven pesquisar motor (no sentido mais verdadeiro). Afinal, a pesquisa é tão boa quanto suas referências, e as equipes de ambas as organizações entenderam profundamente que a possibilidade de alucinações e respostas infundadas poderia confundir e frustrar completamente os alunos. Então, a equipe de Miso passou meses fazendo P&D interno sobre como fundamentar e verificar melhor as respostas — no processo, eles descobriram que poderiam atingir um desempenho cada vez melhor adaptando vários modelos para trabalhar uns com os outros.
Em essência, o último lançamento do O’Reilly Solutions é uma linha de montagem de trabalhadores de LLM. Cada um tem sua própria experiência e conjunto de habilidades discretos, e eles trabalham juntos para colaborar enquanto recebem uma pergunta ou consulta, raciocinam qual é a intenção, pesquisam as possíveis respostas e avaliam e analisam criticamente essa pesquisa antes de escrever uma resposta fundamentada e apoiada por citação. Para ser claro, este novo lançamento do Solutions não é um LLM massivo que foi treinado no conteúdo e nas obras dos autores. A equipe da Miso compartilha a crença da O’Reilly em não desenvolver LLMs sem crédito, consentimento e compensação dos criadores. E eles aprenderam por meio de seu trabalho diário, não apenas com a O’Reilly, mas com editoras como Macworld, CIO.com, Cozinha de teste da Américae Tempos de Enfermagem que há muito mais valor em treinar LLMs para serem especialistas em raciocínio sobre conteúdo especializado do que treiná-los para regurgitar generativamente esse conteúdo especializado em resposta a um immediate.
O resultado líquido é que o O’Reilly Solutions agora pode pesquisar criticamente e responder perguntas em uma resposta longa, muito mais rica e envolvente, preservando as citações e referências de fontes que eram tão importantes em seu lançamento unique.
A versão mais recente do Solutions é novamente construída com um modelo de código aberto — neste caso, o Llama 3. Isso significa que a biblioteca especializada de modelos para pesquisa, raciocínio e escrita de especialistas é totalmente privada. E, novamente, embora os modelos sejam ajustados para concluir suas tarefas em um nível especializado, eles não conseguem reproduzir os trabalhos dos autores na íntegra. As equipes da O’Reilly e da Miso estão animadas com o potencial dos LLMs de código aberto porque sua rápida evolução significa trazer novos avanços para os alunos, ao mesmo tempo em que controlam o que esses modelos podem e não podem fazer com o conteúdo e os dados da O’Reilly.
O benefício de construir o Solutions como um pipeline de pesquisa, raciocínio e escrita usando os principais LLMs de código aberto da atualidade é que a robustez das perguntas que ele pode responder continuará a aumentar, mas o sistema em si sempre será baseado em comentários originais de especialistas autorizados do conteúdo da plataforma de aprendizagem da O’Reilly. Cada resposta ainda contém citações para os alunos se aprofundarem, e foi tomado cuidado para garantir que a linguagem permaneça o mais próxima possível do que os especialistas compartilharam originalmente. E quando uma pergunta ultrapassa os limites de citações possíveis, a ferramenta simplesmente responderá “Não sei” em vez de correr o risco de alucinações.
Mais importante, assim como na versão unique do Solutions, a arquitetura para a versão mais recente fornece dados forenses que mostram a contribuição do trabalho de cada autor referenciado em uma resposta. Isso permite que a O’Reilly pague especialistas por seu trabalho com uma primeira royalty de IA generativa do gênero, ao mesmo tempo em que permite que eles compartilhem seu conhecimento de forma mais fácil e direta com a comunidade de alunos globais que a plataforma O’Reilly foi criada para servir.
Espere mais atualizações em breve, conforme O’Reilly e Miso se esforçam para obter amostras de código compiláveis em respostas e mais recursos conversacionais e generativos. Eles já estão trabalhando em lançamentos futuros do Solutions e adorariam ouvir suggestions e sugestões sobre o que podem construir a seguir.