Na O’Reilly, não estamos apenas criando materiais de treinamento sobre IA. Também estamos usando-a para criar novos tipos de experiências de aprendizagem. Uma das maneiras pelas quais estamos colocando a IA para funcionar é nossa atualização do Solutions. O Solutions é um recurso generativo alimentado por IA que visa responder a perguntas no fluxo de aprendizagem. Ele está em todos os livros, cursos sob demanda e vídeos e, eventualmente, estará disponível em toda a nossa plataforma de aprendizagem. Para vê-lo, clique no ícone “Solutions” (o último merchandise da lista no lado direito da tela).
Aprenda mais rápido. Vá mais fundo. Veja mais longe.
Solutions permite o aprendizado ativo: interagir com o conteúdo fazendo perguntas e obtendo respostas em vez de simplesmente ingerir um fluxo de um livro ou vídeo. Se você está resolvendo um problema para o trabalho, ele coloca o aprendizado no fluxo do trabalho. É pure ter perguntas enquanto você está trabalhando em algo; aqueles de nós que se lembram de livros impressos também se lembram de ter uma pilha de livros abertos de cabeça para baixo em nossas mesas (para salvar a página) conforme nos aprofundávamos mais e mais na pesquisa de um problema. Algo semelhante acontece on-line: você abre tantas abas enquanto procura uma resposta que não consegue lembrar qual é qual. Por que você não pode simplesmente fazer uma pergunta e obter uma resposta? Agora você pode.
Aqui estão alguns insights sobre as decisões que tomamos no processo de construção do Solutions. Claro, tudo está sujeito a mudanças; essa é a primeira coisa que você precisa perceber antes de começar qualquer projeto de IA. Este é um território desconhecido; tudo é um experimento. Você não saberá como as pessoas usarão seu aplicativo até que você o construa e implante; há muitas perguntas sobre o Solutions para as quais ainda estamos aguardando respostas. É importante ter cuidado ao implantar um aplicativo de IA, mas também é importante perceber que toda IA é experimental.
O núcleo do Solutions foi construído através de colaboração com um parceiro que forneceu a experience em IA. Esse é um princípio importante, especialmente para pequenas empresas: não construa sozinho quando você pode fazer parceria com outras pessoas. Teria sido muito difícil desenvolver a experience para construir e treinar um modelo, e muito mais eficaz trabalhar com uma empresa que já tem essa experience. Haverá muitas decisões e problemas para sua equipe tomar e resolver. Pelo menos para os primeiros produtos, deixe o trabalho pesado de IA para outra pessoa. Concentre-se em entender o problema que você está resolvendo. Quais são seus casos de uso específicos? Que tipos de respostas seus usuários esperam? Que tipo de respostas você quer entregar? Pense em como as respostas a essas perguntas afetam seu modelo de negócios.
Se você criar um serviço semelhante a um chat, deve pensar seriamente sobre como ele será usado: que tipos de prompts esperar e que tipos de respostas retornar. O Solutions impõe poucas restrições sobre as perguntas que você pode fazer. Enquanto a maioria dos usuários pensa na O’Reilly como um recurso para desenvolvedores de software program e departamentos de TI, nossa plataforma contém muitos outros tipos de informações. O Solutions é capaz de responder perguntas sobre tópicos como química, biologia e mudanças climáticas — qualquer coisa que esteja em nossa plataforma. No entanto, ele difere de aplicativos de chat como o ChatGPT de várias maneiras. Primeiro, ele é limitado a perguntas e respostas. Embora sugira perguntas de acompanhamento, não é conversacional. Cada nova pergunta inicia um novo contexto. Acreditamos que muitas empresas que experimentam IA querem ser conversacionais por causa da conversa, não um meio para seu fim — possivelmente com o objetivo de monopolizar a atenção de seus usuários. Queremos que nossos usuários aprendam; queremos que nossos usuários continuem resolvendo seus problemas técnicos. A conversa por si só não se encaixa neste caso de uso. Queremos que as interações sejam curtas, diretas e objetivas.
Limitar as respostas a perguntas e respostas também minimiza o abuso; é mais difícil levar um sistema de IA “para fora dos trilhos” quando você está limitado a perguntas e respostas. (A Honeycomb, uma das primeiras empresas a integrar o ChatGPT em um produto de software program, fez uma decisão semelhante.)
Ao contrário de muitos produtos baseados em IA, o Solutions dirá quando ele realmente não tiver uma resposta. Por exemplo, se você perguntar “Quem ganhou a série mundial?”, ele responderá “Não tenho informações suficientes para responder a esta pergunta”. Se você fizer uma pergunta que ele não pode responder, mas sobre a qual nossa plataforma pode ter informações relevantes, ele apontará para essa informação. Esta decisão de design foi simples, mas surpreendentemente importante. Muito poucos sistemas de IA dirão que não podem responder à pergunta, e essa incapacidade é uma fonte importante de alucinações, erros e outros tipos de desinformação. A maioria dos mecanismos de IA não pode dizer “Desculpe, não sei”. Os nossos podem e farão.
As respostas são sempre atribuídas a um conteúdo específico, o que nos permite compensar nossos talentos e nossos editores parceiros. Projetar o plano de compensação foi uma parte significativa do projeto. Estamos comprometidos em tratar os autores de forma justa — não geraremos apenas respostas a partir do conteúdo deles. Quando um usuário faz uma pergunta, o Solutions gera uma resposta curta e fornece hyperlinks para os recursos dos quais ele extraiu as informações. Esses dados vão para o nosso modelo de compensação, que é projetado para ser neutro em termos de receita. Ele não penaliza nossos talentos quando geramos respostas a partir do materials deles.
O design do Solutions é mais complexo do que você pode esperar — e é importante para organizações que iniciam um projeto de IA entender que “a coisa mais simples que pode funcionar” provavelmente não funcionará. Desde o início, sabíamos que não poderíamos simplesmente usar um modelo como GPT ou Gemini. Além de serem propensos a erros, eles não têm nenhum mecanismo para fornecer dados sobre como construíram uma resposta, dados que precisamos como entrada para nosso modelo de compensação. Isso nos empurrou imediatamente para o padrão de geração aumentada de recuperação (RAG), que forneceu uma solução. Com o RAG, um programa gera um immediate que inclui a pergunta e os dados necessários para responder à pergunta. Esse immediate aumentado é enviado para o modelo de linguagem, que fornece uma resposta. Podemos compensar nosso talento porque sabemos quais dados foram usados para construir a resposta.
Usar o RAG levanta a questão: de onde vêm os documentos? Outro modelo de IA que tem acesso a um banco de dados do conteúdo da nossa plataforma para gerar documentos de “candidatos”. Outro modelo classifica os candidatos, selecionando aqueles que parecem mais úteis; e um terceiro modelo reavalia cada candidato para garantir que eles sejam realmente relevantes e úteis. Finalmente, os documentos selecionados são aparados para minimizar o conteúdo que não está relacionado à pergunta. Esse processo tem dois propósitos: minimiza a alucinação e os dados enviados ao modelo que responde à pergunta; também minimiza o contexto necessário. Quanto mais contexto for necessário, mais tempo levará para obter uma resposta e mais custará para executar o modelo. A maioria dos modelos que usamos são pequenos modelos de código aberto. Eles são rápidos, eficazes e baratos.
Além de minimizar a alucinação e tornar possível atribuir conteúdo aos criadores (e, a partir daí, atribuir royalties), esse design facilita a adição de novos conteúdos. Estamos constantemente adicionando novos conteúdos à plataforma: milhares de itens por ano. Com um modelo como o GPT, adicionar conteúdo exigiria um longo e caro processo de treinamento. Com o RAG, adicionar conteúdo é trivial. Quando algo é adicionado à plataforma, ele é adicionado ao banco de dados do qual o conteúdo relevante é escolhido. Esse processo não é computacionalmente intensivo e pode ocorrer quase imediatamente — em tempo actual, por assim dizer. O Solutions nunca fica para trás em relação ao resto da plataforma. Os usuários nunca verão “Este modelo só foi treinado em dados até julho de 2023”.
Solutions é um produto, mas é apenas uma parte de um ecossistema de ferramentas que estamos construindo. Todas essas ferramentas são projetadas para servir à experiência de aprendizado: para ajudar nossos usuários e clientes corporativos a desenvolver as habilidades necessárias para permanecerem relevantes em um mundo em mudança. Esse é o objetivo — e também é a chave para construir aplicativos bem-sucedidos com IA generativa. Qual é o objetivo actual? Não é impressionar seus clientes com sua experiência em IA. É resolver algum problema. No nosso caso, esse problema é ajudar os alunos a adquirir novas habilidades de forma mais eficiente. Concentre-se nesse objetivo, não na IA. A IA será uma ferramenta importante — talvez a ferramenta mais importante. Mas não é um fim em si mesma.