Temos o prazer de anunciar o lançamento de um novo Cloudera Acelerador para projetos de aprendizado de máquina (ML) (AMP): “Resumo com Gemini da Vertex AI”. Um AMP é um produto mínimo viável (MVP) pré-construído e de alta qualidade para casos de uso de Inteligência Synthetic (IA) que pode ser implantado com um único clique a partir do Cloudera AI (CAI). Os AMPs têm como objetivo ajudar você a criar rapidamente aplicativos de IA de alto desempenho. Mais sobre AMPs pode ser encontrado aqui.
Construímos este AMP por dois motivos:
- Adicionar um protótipo de aplicativo de IA ao nosso catálogo AMP que possa lidar com o resumo completo de documentos e o resumo de blocos de texto bruto.
- Para mostrar como é fácil construir um aplicativo de IA usando Cloudera AI e Jardim de modelos Vertex AI do Google.
A sumarização tem sido consistentemente o fruto mais fácil dos casos de uso de IA generativa (GenAI). Por exemplo, um cliente da Cloudera percebeu uma grande melhoria de produtividade em seu processo de revisão de contrato com um aplicativo que extrai e exibe um breve resumo de cláusulas essenciais para o revisor. Outro cliente do setor bancário reduziu o tempo necessário para produzir o memorando de avaliação da fonte de patrimônio de um cliente em potencial de um dia para apenas 15 minutos com um aplicativo GenAI personalizado que resume detalhes importantes de dezenas a centenas de documentos financeiros.
Este será nosso primeiro AMP usando o Vertex AI Mannequin Backyard, e já period hora. É extremamente benéfico precisar apenas de uma única conta para facilitar o acesso à API a mais de uma centena dos principais modelos de código fechado e de código aberto, incluindo um forte conjunto de modelos específicos de tarefas. Os modelos no Backyard já estão otimizados para funcionar com eficiência na infraestrutura de nuvem do Google, oferecendo inferência econômica e escalonamento de nível empresarial, mesmo nos aplicativos de maior rendimento.
Este também será nosso primeiro AMP usando modelos Gemini Professional, que funcionam bem com aplicativos multimodais e de resumo de texto e oferecem uma grande janela de contexto, que chega a um milhão de tokens. Testes de benchmark indicam que o Gemini Professional demonstra velocidade superior no processamento de tokens em comparação com seus concorrentes como o GPT-4. E em comparação com outros modelos de alto desempenho, o Gemini Professional oferece estruturas de preços competitivas para níveis gratuitos e pagos, tornando-o uma opção atraente para empresas que buscam soluções de IA econômicas sem comprometer a qualidade.
Como implantar o AMP:
- Obtenha acesso Gemini Professional: No Vertex AI Market, encontre e ative a API Vertex AI, crie uma chave de API e ative o Gemini para o mesmo espaço de projeto para o qual você gerou a chave de API.
- Inicie o AMP: Clique no bloco AMP “Resumo de documentos com Gemini da Vertex AI” no Cloudera AI Studying, insira as informações de configuração (chave de API Vertex AI e informações de tempo de execução de ML) e clique em iniciar.
Os scripts AMP farão o seguinte:
- Instale todas as dependências e requisitos (incluindo o modelo de incorporação totalmente MiniLM-L6-v2, a biblioteca de transformadores Hugging Face e o armazenamento de vetores LlamaIndex).
- Carregue um documento de amostra no armazenamento de vetores LlamaIndex
- Inicie a IU Streamlit
Você pode então usar a UI Streamlit para:
- Selecione o modelo Gemini Professional que você gostaria de usar para resumo
- Cole o texto e resuma-o
- Carregar documentos no armazenamento de vetores (que gera os embeddings)
- Selecione um documento carregado e resuma-o
- Ajuste o comprimento da resposta (tokens de saída máximos) e a aleatoriedade (temperatura)
E aí está: um aplicativo de resumo implantado em poucos minutos. Fique ligado nas futuras AMPs que construiremos usando Cloudera AI e Vertex AI.