A jornada desde uma grande ideia para um caso de uso de IA generativa até sua implantação em um ambiente de produção muitas vezes se assemelha a navegar em um labirinto. Cada curva apresenta novos desafios — sejam obstáculos técnicos, preocupações de segurança ou mudanças de prioridades — que podem impedir o progresso ou até mesmo forçá-lo a recomeçar.
A Cloudera reconhece as dificuldades que muitas empresas enfrentam ao seguir esse caminho e é por isso que começamos a construir aceleradores para projetos de ML (AMPs). AMPs são protótipos de ML totalmente desenvolvidos que podem ser implantados com um único clique diretamente do Cloudera Machine Studying. As AMPs permitem que os cientistas de dados passem de uma ideia a um caso de uso de ML totalmente funcional em uma fração do tempo. Ao fornecer fluxos de trabalho pré-construídos, práticas recomendadas e integração com ferramentas de nível empresarial, os AMPs eliminam grande parte da complexidade envolvida na construção e implantação de modelos de aprendizado de máquina.
Em linha com nosso compromisso contínuo de apoiar os profissionais de ML, a Cloudera tem o prazer de anunciar o lançamento de cinco novos aceleradores! Estas ferramentas de ponta concentram-se em tópicos de tendência em IA generativa, capacitando as empresas a desbloquear a inovação e a acelerar o desenvolvimento de soluções impactantes.
Estúdio de ajuste fino
O ajuste fino tornou-se uma metodologia importante para a criação de modelos especializados de grandes linguagens (LLM). Como os LLMs são treinados essencialmente em toda a Web, eles são generalistas capazes de fazer muito bem muitas coisas diferentes. No entanto, para que se destaquem verdadeiramente em tarefas específicas, como geração de código ou tradução de idiomas para dialetos raros, eles precisam estar ajustados para a tarefa com um conjunto de dados mais focado e especializado. Este processo permite ao modelo refinar a sua compreensão e adaptar os seus resultados para melhor se adequar às nuances da tarefa específica, tornando-o mais preciso e eficiente nesse domínio.
O Fantastic Tuning Studio é um AMP desenvolvido pela Cloudera que fornece aos usuários um aplicativo e “ecossistema” abrangente para gerenciar, ajustar e avaliar LLMs. Este aplicativo é um iniciador que ajuda os usuários a organizar e despachar outras cargas de trabalho do Cloudera Machine Studying (principalmente por meio do recurso Jobs) que são configuradas especificamente para tarefas de treinamento e avaliação LLM.
RAG com Gráfico de Conhecimento
A Geração Aumentada de Recuperação (RAG) tornou-se uma das metodologias padrão para adicionar contexto adicional às respostas de um LLM. Essa arquitetura de aplicativo faz uso de engenharia imediata e armazenamentos de vetores para fornecer ao LLM novas informações no momento da inferência. No entanto, o desempenho das aplicações RAG está longe de ser perfeito, o que leva a inovações como a integração de gráficos de conhecimento, que estruturam os dados em entidades e relacionamentos interconectados. Esta adição melhora a precisão da recuperação, a relevância contextual, as capacidades de raciocínio e a compreensão específica do domínio, elevando a eficácia geral dos sistemas RAG.
RAG com Data Graph demonstra como a integração de gráficos de conhecimento pode melhorar o desempenho do RAG, usando uma solução projetada para recuperação de artigos de pesquisa acadêmica. A solução ingere documentos significativos de IA/ML de arXiv no gráfico de conhecimento e armazenamento de vetores do Neo4j. Para o LLM, usamos Meta-Llama-3.1-8B-Instrução que pode ser aproveitado remotamente ou localmente. Para destacar as melhorias que os gráficos de conhecimento oferecem ao RAG, a IU compara os resultados com e sem um gráfico de conhecimento.
PromptBrew da Vertav
80% do sucesso da IA generativa depende de prompts, mas a maioria dos desenvolvedores de IA não consegue escrever bons prompts. Esta lacuna nas competências imediatas de engenharia conduz frequentemente a resultados abaixo do preferrred, uma vez que a eficácia dos modelos generativos de IA depende em grande parte da forma como são orientados através das instruções. Elaborar prompts precisos, claros e contextualmente apropriados é essential para maximizar os recursos do modelo. Sem prompts bem projetados, mesmo os modelos mais avançados podem produzir resultados irrelevantes, ambíguos ou de baixa qualidade.
PromptBrew fornece assistência com tecnologia de IA para ajudar os desenvolvedores a criar prompts confiáveis e de alto desempenho com facilidade. Esteja você começando com uma meta de projeto específica ou um rascunho de solicitação, o PromptBrew o guiará por um processo simplificado, oferecendo sugestões e otimizações para refinar suas solicitações. Ao gerar vários prompts de candidatos e recomendar melhorias, você garante que suas contribuições sejam adaptadas para obter os melhores resultados possíveis. Esses prompts otimizados podem então ser perfeitamente integrados ao fluxo de trabalho do seu projeto, melhorando o desempenho e a precisão em aplicativos generativos de IA.
Converse com seus documentos
Este AMP mostra como construir um chatbot usando um Massive Language Mannequin (LLM) de código aberto, pré-treinado e que segue instruções. As respostas do chatbot são melhoradas ao fornecer-lhe contexto a partir de uma base de conhecimento interna, criada a partir de documentos carregados pelos usuários. Esse contexto é recuperado por meio de pesquisa semântica, alimentada por um banco de dados vetoriais de código aberto.
Em comparação com o unique LLM Chatbot aumentado com dados corporativos AMP, esta versão inclui novos recursos como ingestão de documentos do usuário, geração automática de perguntas e streaming de resultados. Também aproveita o Llama Index para implementar o pipeline RAG.
Para saber mais, Clique aqui.