Introdução
Equinit (EQ)líder world em serviços para acionistas, pensões e remediação, aproveitou a Databricks para revolucionar a sua abordagem baseada em dados e melhorar a experiência do cliente em 136 países. Atendendo a mais de 6.000 empresas, a EQ reconheceu a necessidade de adaptação a ambientes cada vez mais complexos e regulamentados, aproveitando o poder da análise avançada e da IA generativa.
Dado que o acesso oportuno às informações é elementary para o sucesso dos clientes da Equiiti, eles queriam fazer dos dados (e dos insights baseados em dados) a base de sua abordagem operacional e estratégica. A Equiiti pretendia implementar práticas empresariais mais informadas, eficientes e eficazes e tirar partido dos novos desenvolvimentos em análises avançadas e GenAI que melhorariam a experiência do cliente e impulsionariam a inovação interna.
Para atingir esses objetivos, a Equiiti precisava construir uma plataforma de dados preparada para o futuro, segura e de alto desempenho que pudesse dar suporte a quaisquer dados e aplicações de IA existentes ou novos. Este weblog descreve como e por que eles selecionaram a Databricks Knowledge Intelligence Platform para apoiar sua infraestrutura e discorre sobre os casos de uso avançados que já exploraram aproveitando a plataforma Databricks e as ferramentas Databricks Mosaic AI, como o desenvolvimento de PensãoGuru, seu chatbot com tecnologia GenAI.
Etapa 1: Identifique o valor e construa bases sólidas de dados
Em vez de começar com a pergunta, ‘Para que podemos usar a IA?’, perguntou Equiiti, ‘Como podemos fornecer novo valor aos nossos clientes, usando dados confiáveis e de alta qualidade e ferramentas e técnicas modernas?’
Surgiram alguns temas comuns: obter acesso a dados confiáveis em escala, ter agilidade para experimentar e agir de forma rápida e econômica, agilizar a capacitação de especialistas no assunto (PMEs) e dos recursos existentes e ser capaz de modernizar rapidamente suas ofertas para atender às necessidades do cliente.
A partir desse trabalho inicial, a Equiiti identificou os principais requisitos para uma futura plataforma de dados e IA em nuvem que lhes permitiria desbloquear melhor o valor de seus dados:
● Dados integrados e governança de IA: Sem governação e controlo não pode haver valor. A Equiiti precisava de recursos de segurança robustos, controles de acesso, linhagem automática e auditoria que ajudassem a manter a conformidade com os requisitos regulatórios, rastreando o fluxo e a transformação de dados em toda a plataforma e construindo confiança com partes interessadas e clientes internos e externos.
● Uma plataforma unificada e aberta: Outro requisito period uma arquitetura simples que pudesse suportar engenharia de dados, ciência de dados, análises avançadas e GenAI. A Equiiti queria eliminar silos e duplicações desnecessárias de dados e evitar ficar preso a uma solução proprietária. Eles queriam uma plataforma construída com base em padrões e protocolos abertos. Além disso, eles precisavam de suporte para fontes de dados em lote e streaming em qualquer formato para cargas de trabalho GenAI. Com a natureza distribuída dos seus dados e sistemas, uma plataforma única que pudesse tornar-se uma fonte analítica da verdade seria um enorme passo em frente.
● Otimização de custos: Por fim, a Fairness precisava de uma computação escalável e otimizada que aprimorasse o processamento de dados e reduzisse o TCO com um verdadeiro modelo baseado no consumo. A capacidade de começar com um investimento inicial baixo e depois expandir conforme necessário period essencial.
Com esses requisitos em mente, a Equiiti escolheu a Databricks Knowledge Intelligence Platform como a espinha dorsal de sua moderna plataforma de dados em nuvem e IA.
Etapa 2: aja rapidamente e aproveite conjuntos de ferramentas integrados
Tradicionalmente, são necessárias contribuições de muitas equipes diferentes para avaliar componentes separados e serviços distintos que formam uma plataforma de dados, exigindo a navegação de prioridades e recursos concorrentes para implementá-la. No entanto, a Equiiti conseguiu implantar a plataforma Databricks de forma rápida e fácil e explorar todos os seus recursos integrados. A opção de experimentar e dimensionar de forma rápida, mas econômica, significou que a Equiiti poderia tomar decisões com confiança na prototipagem de conectividade, processamento de dados e recursos analíticos, sem investimento inicial significativo em tempo ou custo. Depois que a Equiiti estabeleceu os principais casos de uso para sua implementação inicial de IA, ela colaborou com a equipe da Databricks para criar uma arquitetura inicial, conforme mostrado na Figura 1 abaixo. Através de uma série de workshops, os arquitetos de soluções da Databricks mostraram como utilizar melhor os recursos integrados da plataforma; A Equiiti também usou recursos abrangentes de aprendizagem individualizada para aprimorar suas habilidades.
Um dos recursos mais valiosos da plataforma Databricks é Catálogo de Unidadeuma solução de governança unificada e aberta para dados e IA. A capacidade de rastrear a linhagem capturada automaticamente dos dados ingeridos e como eles foram transformados e usados no modelo foi elementary para construir confiança, compreensão e aprovação das equipes de InfoSec e Risco da Equiiti. A Equiiti conseguiu demonstrar quais dados e onde estavam sendo usados, sem custos adicionais, sobrecarga de implementação e tempo no gerenciamento de um catálogo de dados separado. Além disso, Compartilhamento Delta e Mercado de blocos de dados foram transformacionais, pois permitiram que a Equiiti compartilhasse dados externamente com parceiros pela primeira vez. Obter a capacidade de visualizar dados de múltiplas fontes que antes eram inacessíveis ou isoladas e utilizar dados de fornecedores externos sem ter que armazenar e manter conjuntos de dados em escala de petabytes permitiu à Equiiti desenvolver de forma rápida e fácil insights que antes estavam fora de alcance. A capacidade das equipes de negócios descobrirem e usarem facilmente as mesmas ferramentas e ativos de dados de uma fonte central e confiável continuará a gerar qualidade e valor em sua plataforma de dados.
Para a pequena equipe de engenharia da Equiiti, um dos recursos que mais economizou tempo da plataforma Databricks foi o LakeFlow Join. Blocos de dados LakeFlow fornece conectores integrados para ingestão de dados de aplicativos corporativos e bancos de dados. A capacidade de criar integrações sem código para nossas plataformas principais, como Workday, Salesforce e SQL Server, reduziu enormemente o tempo necessário para disponibilizar os dados no Databricks para consumo dos modelos. Ele reduziu significativamente os custos de armazenamento e computação e economizou meses de trabalho de desenvolvimento para a Equiiti em comparação com o método tradicional de construção de integrações de API e processos ETL para armazenar e gerenciar dados. A equipe da Equiiti poderia então se concentrar em áreas multiplicadoras de valor, como a criação de aplicativos Gen AI que agregariam valor ao negócio.
Finalmente, o desenvolvimento destas novas aplicações GenAI requer um novo tipo de “desenvolvedor de conhecimento”. Estas são PMEs de domínio que compreendem profundamente o negócio (no caso da Equiiti, o mercado de pensões). Esses especialistas devem ter acesso contínuo a ferramentas e plataformas para fornecer suggestions essential e garantir que os aplicativos GenAI forneçam resultados precisos e de alta qualidade. A facilidade de utilização e acessibilidade da plataforma Databricks Platform facilitou às PME a colaboração eficaz com as equipas de desenvolvimento e engenharia na construção de aplicações GenAI. Ao aproveitar sua experiência e insights de negócios profundos, a Equiiti conseguiu estabelecer informações sólidas e receber suggestions valioso, o que ajudou a ajustar as respostas e gerou conteúdo para uso em toda a organização.
Passo 3: Mostre valor, entregue resultados e proceed inovando
Um dos primeiros casos de uso de GenAI da Equiiti foi o desenvolvimento de seu chatbot GenAI, PensãoGuru. Dado o papel da Equiiti na administração de numerosos planos de pensões, a sua os funcionários muitas vezes precisam navegar e interpretar um extenso quantity de documentos, incluindo políticas, contratos fiduciários e diretrizes. PensãoGuru enfrenta esse desafio oferecendo respostas instantâneas e precisas, simplificando o acesso a informações complexas e melhorando a produtividade.
O aplicativo aumenta significativamente a eficiência dos negócios, automatizando a análise de documentos e minimizando o tempo necessário para extrair detalhes críticos, reduzindo assim a sobrecarga administrativa. Tarefas que antes demoravam muitas horas agora são concluídas em minutos. PensãoGuru capacita os funcionários a recuperar informações com rapidez e precisão, melhorando a prestação de serviços e os processos de tomada de decisão. Ao utilizar processamento avançado de linguagem pure, o aplicativo entende e processa as consultas dos usuários de forma inteligente, fornecendo informações contextualmente relevantes de vastos conjuntos de dados. Esta inovação não só poupa tempo, mas também melhora os conhecimentos baseados em dados, permitindo uma abordagem mais estratégica à gestão dos regimes de pensões.
Para criar PensãoGurua Equiiti começou pegando milhares de documentos previdenciários, originalmente armazenados como arquivos PDF, e carregando-os em um quantity Databricks, conforme mostrado na Figura 2 acima. Em seguida, a Equiiti gerenciou com eficiência esses arquivos não estruturados por meio do Unity Catalog, desde o ponto de ingestão. A próxima etapa foi extrair o texto dos documentos, dividi-los em partes gerenciáveis e armazenar os dados em uma Tabela Delta. Usando Pesquisa de vetor de IA em mosaico com uma configuração sem servidor, a Equiiti construiu facilmente um banco de dados vetorial para oferecer suporte a recursos de pesquisa e recuperação.
Para potencializar o aplicativo, a Equiiti aproveitou Exibição do modelo Mosaic AI para estabelecer um endpoint LLM baseado no modelo Meta Llama 3.1 70B de código aberto poderoso e econômico. Por fim, a Equiiti conseguiu implantar o chatbot de maneira simples e segura para usuários finais com Aplicativos de blocos de dadosuma nova solução simples e sem servidor para criar aplicativos prontos para produção com governança integrada na plataforma Databricks Knowledge Intelligence. O recurso de aplicativos integrados economizou muito tempo e mudou muito o jogo, pois eliminou a necessidade da equipe de dados da Equiiti implantar, gerenciar e manter a infraestrutura subjacente para dar suporte ao aplicativo. Em vez disso, a equipe poderia se concentrar na entrega de valor comercial, em vez de gastar tempo em tarefas rotineiras, como integração de serviços isolados e gerenciamento de infraestrutura de TI.
A inicial PensãoGuru os resultados e o suggestions têm sido altamente encorajadores, e a Equiiti continua a refinar e aprimorar o desempenho do aplicativo por meio de experimentação contínua e treinamento de modelo. Eles também estão explorando a incorporação de um Estrutura do agente de IA que lhes permitiria personalizar e ampliar ainda mais os recursos de PensãoGurutornando-o ainda mais ágil e adaptado às necessidades específicas da administração dos regimes de pensões. Com esta abordagem, a Equiiti pretende oferecer ainda maior precisão e eficiência no processamento e recuperação de informações críticas sobre pensões.
Conclusão
Ao selecionar a plataforma Databricks Knowledge Intelligence, a Equiiti forneceu uma solução que é modular, extensível e capaz de atender a todas as necessidades atuais e futuras de dados e IA. A capacidade da Databricks de unificar engenharia de dados, ciência de dados, aprendizado de máquina e GenAI em uma única solução permite que a Equiiti alcance altos níveis de eficiência e escalabilidade. Essa abordagem abrangente está ancorada na governança de dados elementary com o Unity Catalog, que promove a acessibilidade dos dados em toda a organização.
Além disso, as ferramentas e ambientes avançados da plataforma Databricks para desenvolvimento e implantação de modelos de IA desbloquearam novas oportunidades, alimentando a inovação e a eficiência operacional sem sacrificar a integração, segurança e governança de dados.
“Embora estejamos no início de nossa jornada de IA generativa, estamos confiantes em nossa capacidade de fornecer valor comercial significativo com a plataforma de inteligência de dados Databricks.”
— James West, Diretor Estratégico de Dados da Equiiti
A Equiiti está agora em processo de migração, consolidação e trazendo todas as suas fontes de dados para o ambiente Databricks e treinando e integrando novos usuários e temos um grande número de análises avançadas e casos de uso de IA em preparação para serem entregues em um futuro próximo.
Este weblog foi de autoria conjunta de Tomasz Kurzydym (arquiteto de soluções sênior, Databricks) e James West (Diretor Estratégico de Dados, Equiiti)