O mundo da inteligência synthetic (IA) e da análise de dados está prestes a receber um impulso significativo, graças à colaboração da Databricks com a NVIDIA. Este trabalho reúne as capacidades de ponta do Plataforma Mosaic AI da Databricks e NVIDIA AI, permitindo que as organizações transformem seus fluxos de trabalho de dados e IA em grande escala.
Desbloqueando o potencial do Mosaic AI
O Databricks Mosaic AI capacita as organizações a construir e implantar sistemas de agentes de alta qualidade no information lakehouse. Ele permite a personalização segura de modelos com dados corporativos, fornecendo resultados precisos e específicos de domínio. O Mosaic AI se conecta perfeitamente com modelos comerciais ou de código aberto, oferecendo ferramentas para avaliar e otimizar resultados com um fluxo de trabalho de desenvolvimento rápido. Com uma governança robusta entre dados e modelos de IA, os clientes ganham complete visibilidade e controle sobre suas aplicações e resultados de IA.
Novas possibilidades com a plataforma NVIDIA Blackwell
Um dos principais avanços na plataforma Blackwell é a introdução dos formatos de precisão FP4 e FP6, que podem melhorar drasticamente o desempenho do serviço do modelo de IA, mantendo a qualidade. Usar a precisão do FP4 pode potencialmente dobrar o desempenho em comparação com o FP8, sem comprometer a precisão do modelo. Para inferência de modelo de linguagem grande (LLM), as GPUs NVIDIA Blackwell fornecerão desempenho até 30x mais rápido para modelos de linguagem em comparação com as GPUs NVIDIA Hopper da geração anterior.
A Databricks espera ser uma das primeiras plataformas de IA a aproveitar a plataforma NVIDIA Blackwell.
“Com a plataforma NVIDIA Blackwell, planejamos aproveitar os benefícios inerentes à arquitetura de próxima geração, incluindo o Transformer Engine de segunda geração para maior desempenho e precisão de inferência e os mecanismos de compressão de memória de alta largura de banda. Trabalharemos em estreita colaboração com a NVIDIA para acelerar novos recursos de IA em nossa plataforma, levando a recursos interessantes e ganhos de desempenho para nossos clientes”, disse Naveen Rao, vice-presidente de IA da Databricks.
Quando combinado com Plataforma Mosaic AI da Databrickseste {hardware} poderoso abre novas possibilidades para as empresas, permitindo-lhes enfrentar desafios de IA cada vez mais sofisticados com maior velocidade e eficiência. Com a plataforma de computação NVIDIA Blackwell e a Databricks Knowledge Intelligence Platform, os cientistas e engenheiros de dados podem ampliar os limites do que é possível em IA, desde o desenvolvimento de modelos preditivos mais precisos até a criação de aplicações de IA generativas mais envolventes e responsivas.
Transformando indústrias com IA e análise de dados
A colaboração da Databricks com a NVIDIA ajuda a enfrentar os principais desafios do setor. Ao potencializar a Mosaic AI com computação acelerada NVIDIA, as organizações podem:
- Acelere o processamento de dados: Databricks usará computação acelerada NVIDIA para acelerar o processamento, limpeza e curadoria de dados. Essa combinação reduz o tempo necessário para preparar e transformar conjuntos de dados em grande escala para treinamento de modelo.
- Treine modelos mais rapidamente: A integração do Mosaic AI com a computação acelerada da NVIDIA permite um treinamento de modelo mais rápido, permitindo que as equipes de dados iterem e refinem seus modelos com mais rapidez. Com o Mosaic AI, as equipes também podem melhorar a precisão e a confiabilidade do modelo de IA por meio de técnicas como geração aumentada de recuperação (RAG).
- Otimize pipelines de dados: Os recursos automatizados de otimização de pipeline de dados do Mosaic AI ajudam as equipes de dados a identificar e eliminar gargalos, garantindo que os dados fluam de maneira eficiente e eficaz através do pipeline.
Esta colaboração tem o potencial de redefinir setores como a saúde, as finanças e o retalho, onde a IA e a análise de dados são cruciais para o sucesso. Ao otimizar cada estágio do fluxo de trabalho – desde a ingestão de dados até o treinamento e implantação de modelos de IA – os clientes podem aproveitar tecnologia de ponta para descobrir novos insights, aprimorar a tomada de decisões e promover a inovação.
Colaboração de código aberto do Databricks com NVIDIA
A Databricks também está colaborando com a NVIDIA para oferecer suporte, por meio de Databricks Notebooks, a muitas ferramentas de software program de código aberto, como NVIDIA NeMo para desenvolvimento e personalização de modelos, NVIDIA Morfeu para fluxos de trabalho de IA de segurança cibernética, NVIDIA Tritão Servidor de inferência e NVIDIA TensorRT-LLM para otimização de inferência de IA, tudo parte da plataforma de software program NVIDIA AI Enterprise. NVIDIA AI Enterprise oferece segurança, estabilidade e suporte de nível empresarial para ajudar a garantir transições perfeitas da IA piloto para a produção.
Os principais benefícios incluem:
- Integração perfeita: Aproveite o poder dos notebooks Databricks.
- Desenvolvimento de modelo de IA escalável: A colaboração da Databricks com a NVIDIA permite que as equipes de dados escalem o desenvolvimento de seus modelos de IA, desde experimentação em pequena escala até ambientes de produção em grande escala.
- Tempo de lançamento no mercado mais rápido: As equipes de dados podem desenvolver e implantar modelos de IA mais rapidamente, reduzindo o tempo necessário para lançar novos produtos e serviços baseados em IA no mercado.
Principais benefícios e recursos para empresas
Implantação e escalabilidade perfeitas
Com o Databricks, as empresas podem implantar e dimensionar seus modelos de IA com confiança, sabendo que a plataforma foi projetada para lidar com grandes volumes de dados e tráfego. O Databricks, com tecnologias NVIDIA, também permite que as empresas:
- Monitore e depure o desempenho do modelo com Lakehouse Monitoring, que fornece métricas e painéis gerados automaticamente, detecção de anomalias e análise automatizada de causa raiz
- Aproveite o Characteristic Retailer e a Vector Search do Databricks para simplificar a integração de recursos e incorporações em modelos
- Use MLflow, a estrutura MLOps de código aberto líder, para experimentar, construir, avaliar e implantar aplicativos e sistemas GenAI
Segurança e conformidade integradas
Na Databricks, levamos a segurança e a conformidade a sério, trabalhando em estreita colaboração com clientes em setores com elevadas necessidades de conformidade. Nossa plataforma oferece uma variedade de recursos de segurança, incluindo:
- Recursos de segurança e governança de nível empresarial, como controles de acesso, auditoria e criptografia
- Suporte para padrões de conformidade específicos do setor, como HIPAA, PCI-DSS e GDPR
- Governança de dados com Unity Catalog, que fornece um sistema centralizado de gerenciamento de metadados para dados e ativos de IA
- AI Gateway, que fornece uma interface de consulta padrão e controla centralmente os limites de taxas, rastreia o uso, impõe proteções e audita dados de APIs de modelo
- Lakehouse Monitoring, que fornece recursos de monitoramento e depuração para todos os dados e ativos de IA, desde tabelas de recursos até modelos básicos de IA
Casos de uso do mundo actual e aplicações industriais
Vamos examinar um exemplo actual de como a colaboração do Databricks com a NVIDIA pode ser aplicada a um caso de uso de atendimento ao cliente.
Exemplo: Agente de Atendimento ao Cliente
Uma empresa deseja construir um agente de atendimento ao cliente que possa lidar com um grande quantity de consultas de clientes. O agente precisa entender a intenção do cliente, fornecer respostas personalizadas e encaminhar problemas complexos para agentes humanos de suporte ao cliente. Ele também precisa resumir as conversas anteriores durante os processos de escalação e transferência e registrar todas as interações por meio de um agente de IA. Para construir este chatbot, a empresa usa Databricks Mosaic AI para desenvolver e treinar um agente de IA que pode aprender com as interações com os clientes e se adaptar às mudanças nas necessidades dos clientes.
Para melhorar a qualidade das respostas, o agente de IA pode ser ajustado com base em uma variedade de dados específicos da empresa. Com o Mosaic AI Mannequin Coaching, a empresa pode realizar pré-treinamento contínuo e métodos de ajuste fino de instrução com o mesmo conjunto de ferramentas. O pré-treinamento contínuo pode ensinar ao modelo termos e conceitos relevantes, incluindo informações como ofertas de produtos, conteúdo do website, glossários e perguntas frequentes, enquanto o ajuste fino das instruções usará exemplos formatados de informações do cliente e respostas do agente derivadas de transcrições de chamadas anteriores para melhorar as respostas do agente . Muitas empresas descobrem que o ajuste fino evita a necessidade de arquiteturas RAG e simplifica a implantação de modelos. O agente de IA também pode ser integrado à plataforma de atendimento ao cliente da empresa, permitindo acessar os dados e o histórico do cliente para fornecer respostas personalizadas e registrar a interação por meio de um fluxo de trabalho de agente.
Depois que o agente de IA é treinado, a empresa usa o Databricks Mosaic AI Mannequin Serving para implantá-lo em um ambiente de produção com algumas etapas simples. O agente de IA pode lidar com um grande quantity de consultas de clientes em tempo actual, fornecendo respostas rápidas e precisas às dúvidas e preocupações dos clientes.
Os benefícios desta solução incluem:
- Maior satisfação do cliente: O agente é capaz de responder com rapidez e precisão às dúvidas dos clientes, melhorando a satisfação do cliente e reduzindo a necessidade de suporte humano ao cliente.
- Maior eficiência: O agente é capaz de lidar com um grande quantity de consultas de clientes, liberando os agentes humanos de suporte ao cliente para se concentrarem em questões mais complexas que exigem empatia e julgamento humano.
- Custos reduzidos: O agente pode reduzir a necessidade de agentes humanos de suporte ao cliente, reduzindo custos e melhorando os resultados financeiros.
- Experiência aprimorada do cliente: O agente de IA pode fornecer respostas e recomendações personalizadas, melhorando a experiência do cliente e aumentando a fidelidade do cliente.
Ao usar Databricks Mosaic AI e NVIDIA AI para desenvolver e implantar um agente de IA, as empresas podem criar chatbots de atendimento ao cliente mais eficientes, eficazes e personalizados, levando a maior satisfação e fidelidade do cliente. Líderes do setor como Allianz, Chevron Phillips, Experian, Kubrick, Santalucía Seguros, UK Energy Networks e muitos outros estão aproveitando o Databricks para aprimorar a experiência do cliente com soluções inovadoras de IA generativa.
Soluções de IA prontas para empresas
Com os recursos combinados do Databricks Mosaic AI e da computação acelerada da NVIDIA, as organizações podem desbloquear novos insights, melhorar a tomada de decisões, impulsionar a inovação nos negócios e mover sistemas de IA para produção com segurança. Com esta colaboração, os usuários podem esperar novos recursos e funcionalidades, incluindo suporte expandido para computação acelerada NVIDIA.
Junte-se à Databricks (estande 1820) e NVIDIA (estande 1620) em AWS re:Invent 2024 para saber mais sobre como você pode aproveitar as tecnologias Databricks e NVIDIA para transformar seus negócios. Junte-se a nós para uma noite de diversão na recepção de rede Databricks patrocinada pela NVIDIA na terça-feira, 3 de dezembro, das 18h às 22h, no Venetian Grand Lux Cafe. Cadastre-se aqui.