Como construir análises de fornecedores com integração Salesforce SAP em Databricks
Os dados dos fornecedores abrangem quase todas as partes de uma organização — desde compras e gestão da cadeia de abastecimento para finanças e análises. No entanto, muitas vezes está espalhado por sistemas que não se comunicam entre si. Por exemplo, o Salesforce mantém perfis de fornecedores, contatos e detalhes de contas, e o SAP S/4HANA gerencia faturas, pagamentos e entradas de contabilidade. Como esses sistemas operam de forma independente, as equipes não têm uma visão abrangente das relações com os fornecedores. O resultado é uma reconciliação lenta, registros duplicados e oportunidades perdidas para otimizar gastos.
A Databricks resolve isso conectando os dois sistemas em uma plataforma governada de dados e IA. Usando Lakeflow Join para Salesforce para ingestão de dados e SAP Enterprise Information Cloud (BDC) Join, as equipes podem unificar dados de CRM e ERP sem duplicação. O resultado é uma visão única e confiável de fornecedores, pagamentos e métricas de desempenho que oferece suporte a casos de uso de compras e finanças, bem como análises.
Neste tutorial, você aprenderá como conectar ambas as fontes de dados, construir um pipeline combinado e criar uma camada dourada que potencializa análises e insights de conversação por meio de painéis de IA/BI e Genie.
Por que funciona a integração de dados SAP Salesforce com cópia zero
A maioria das empresas tenta conectar SAP e Salesforce por meio de ETL tradicional ou ferramentas de terceiros. Esses métodos criam múltiplas cópias de dados, introduzem latência e dificultam a governança. Databricks adota uma abordagem diferente.
Acesso SAP de cópia zero: O Conector SAP BDC para Databricks oferece acesso controlado e em tempo actual aos produtos de dados SAP S/4HANA por meio do Delta Sharing. Sem exportações ou duplicação.
Figura: Conector SAP BDC para Native Databricks (bidirecional) - Ingestão incremental rápida do Salesforce: Lakeflow conecta e ingere dados do Salesforce continuamente, mantendo seus conjuntos de dados atualizados e consistentes.
- Governança unificada: Catálogo de Unidade impõe permissões, linhagem e auditoria em fontes SAP e Salesforce.
- Pipelines declarativos: Lakeflow Spark Declarative Pipelines simplifica o design e a orquestração de ETL com otimizações automáticas para melhor desempenho.
Juntos, esses recursos permitem que os engenheiros de dados combinem dados SAP e Salesforce em uma plataforma, reduzindo a complexidade e ao mesmo tempo mantendo a governança de nível empresarial.
Arquitetura de integração de dados SAP Salesforce em Databricks
Antes de construir o pipeline, é útil entender como esses componentes se encaixam no Databricks.
Em alto nível, o SAP S/4HANA publica dados de negócios como produtos de dados gerenciados por SAP, selecionados e prontos para negócios, no SAP Enterprise Information Cloud (BDC). SAP BDC Join para blocos de dados permite acesso seguro e sem cópia a esses produtos de dados usando Delta Sharing. Enquanto isso, o Lakeflow Join lida com a ingestão do Salesforce – capturando contas, contatos e dados de oportunidades por meio de pipelines incrementais.
Todos os dados recebidos, sejam do SAP ou do Salesforce, são controlados no Unity Catalog para governança, linhagem e permissões. Os engenheiros de dados então usam Pipelines declarativos Lakeflow juntar e transformar esses conjuntos de dados em uma arquitetura medalhão (camadas de bronze, prata e ouro). Por fim, a camada dourada serve como base para análise e exploração em AI/BI Dashboards e Genie.
Essa arquitetura garante que os dados de ambos os sistemas permaneçam sincronizados, controlados e prontos para análise e IA, sem a sobrecarga de replicação ou ferramentas externas de ETL.
Como construir análises unificadas de fornecedores
As etapas a seguir descrevem como conectar, combinar e analisar dados SAP e Salesforce no Databricks.
Etapa 1: ingestão de dados do Salesforce com Lakeflow Join
Usar Conexão Lakeflow para trazer dados do Salesforce para o Databricks. Você pode configurar pipelines por meio da IU ou API. Esses pipelines gerenciam atualizações incrementais automaticamente, garantindo que os dados permaneçam atualizados sem atualizações manuais.
O conector é totalmente integrado à governança do Unity Catalog, Lakeflow Spark Declarative Pipelines para ETL e Lakeflow Jobs para orquestração.
Estas são as tabelas que planejamos ingerir do Salesforce:
- Conta: Detalhes do fornecedor/fornecedor (os campos incluem: AccountId, Nome, Setor, Tipo, BillingAddress)
- Contato: Contatos do fornecedor (os campos incluem: ContactId, AccountId, FirstName, LastName, E mail)
Etapa 2: acessar dados SAP S/4HANA com o conector SAP BDC
Conexão SAP BDC fornece acesso em tempo actual e governado ao SAP S/4HANA pagamento do fornecedor dados diretamente para Databricks — eliminando o ETL tradicional, aproveitando o produto de dados SAP BDC sap_bdc_working_capital.entryviewjournalentry.operationalacctgdocitem-o Merchandise de linha do Diário Common visualizar.
Este produto de dados BDC é mapeado diretamente para a visualização SAP S/4HANA CDS I_JournalEntryItem (Merchandise do Documento Contábil Operacional) em ACDOCA.
Para o contexto ECC, as estruturas físicas mais próximas foram BSEG (itens de linha FI) com cabeçalhos em BKPF, Postagens CO em COEP, e índices abertos/limpos BSIK/BSAK (fornecedores) e BSID/BSAD (clientes). No SAP S/4HANAesses BS** os objetos fazem parte do modelo de dados simplificado, onde os itens de linha do fornecedor e do Razão são centralizados no Diário Common (ACDOCA), substituindo a abordagem ECC que muitas vezes exigia a junção de várias tabelas financeiras separadas.
Estas são as etapas que precisam ser executadas no cockpit SAP BDC.
1: Faça login no cockpit do SAP BDC e confira a formação do SAP BDC no System Panorama. Conecte-se ao Native Databricks por meio do SAP BDC compartilhamento delta conector. Para obter mais informações sobre como conectar Native Databricks ao SAP BDC para que ele se torne parte de sua formação.
2: Vá para o Catálogo e procure o lançamento de diário de exibição de entrada de produto de dados, conforme mostrado abaixo
3: No produto de dados, selecione Compartilhar e selecione o sistema de destino, conforme mostrado na imagem abaixo.
4: Depois que o produto de dados for compartilhado, ele aparecerá como um compartilhamento delta no espaço de trabalho do Databricks, conforme mostrado abaixo. Certifique-se de ter “Usar provedor”Acesso para ver esses provedores.
5: Em seguida, você poderá montar esse compartilhamento no catálogo e criar um novo catálogo ou montá-lo em um catálogo existente.
6: Assim que o compartilhamento for montado, ele será refletido no catálogo.
Etapa 3: Combinando o pipeline ETL em Databricks usando pipelines declarativos Lakeflow
Com ambas as fontes disponíveis, use Pipelines declarativos Lakeflow para construir um pipeline ETL com dados Salesforce e SAP.
O Salesforce Account tabela geralmente inclui o campo SAP_ExternalVendorId__cque corresponde ao ID do fornecedor no SAP. Esta se torna a chave de junção primária para sua camada prateada.
Lakeflow Spark Declarative Pipelines permitem que você defina a lógica de transformação em SQL enquanto o Databricks lida com a otimização automaticamente e orquestra os pipelines.
Exemplo: criar tabelas selecionadas em nível de negócios
Esta consulta cria um visão materializada de nível de negócios com curadoria que unifica registros de pagamento de fornecedores do SAP com detalhes de fornecedores do Salesforce que estão prontos para análises e relatórios.
Etapa 4: analisar com painéis de IA/BI e Genie
Depois que a visualização materializada for criada, você poderá explorá-la diretamente no Painéis de IA/BI permita que as equipes visualizem pagamentos de fornecedores, saldos pendentes e gastos por região. Eles suportam filtragem dinâmica, pesquisa e colaboração, tudo controlado pelo Unity Catalog. Gênio permite a exploração em linguagem pure dos mesmos dados.
Você pode criar espaços Genie nesses dados combinados e fazer perguntas, o que não seria possível se os dados estivessem isolados no Salesforce e no SAP
- “Quem são meus três principais fornecedores a quem pago mais e também quero suas informações de contato?”
- “Quais são os endereços de cobrança dos três principais fornecedores?”
- “Quais dos meus 5 principais fornecedores não são dos EUA?”
Resultados de negócios
Ao combinar dados SAP e Salesforce no Databricks, as organizações obtêm uma visão completa e confiável do desempenho, pagamentos e relacionamentos dos fornecedores. Esta abordagem unificada oferece benefícios operacionais e estratégicos:
- Resolução de disputas mais rápida: As equipes podem visualizar detalhes de pagamento e informações de contato do fornecedor lado a lado, facilitando a investigação de problemas e a solução rápida.
- Economia com pagamento antecipado: Com condições de pagamento, datas de compensação e valores líquidos em um só lugar, as equipes financeiras podem identificar facilmente oportunidades de descontos por pagamento antecipado.
- Mestre do fornecedor de limpeza: Juntando-se no
SAP_ExternalVendorId__cajuda a identificar e resolver registros de fornecedores duplicados ou incompatíveis, mantendo assim dados precisos e consistentes do fornecedor em todos os sistemas. - Governança pronta para auditoria: O Unity Catalog garante que todos os dados sejam controlados com linhagem, permissões e auditoria consistentes, de modo que análises, modelos de IA e relatórios dependam da mesma fonte confiável.
Juntos, esses resultados ajudam as organizações a simplificar o gerenciamento de fornecedores e a melhorar a eficiência financeira, mantendo ao mesmo tempo a governança e a segurança necessárias para os sistemas empresariais.
Conclusão:
Unificar dados de fornecedores no SAP e no Salesforce não significa necessariamente reconstruir pipelines ou gerenciar sistemas duplicados.
Com Blocos de dadosas equipes podem trabalhar a partir de uma base única e governada que integra perfeitamente ERP e CRM dados em tempo actual. A combinação de acesso SAP BDC de cópia zero, ingestão incremental do Salesforce, governança unificada, e pipelines declarativos substitui a sobrecarga de integração por insights.
O resultado vai além de relatórios mais rápidos. Ele oferece uma visão conectada do desempenho do fornecedor que melhora as decisões de compra, fortalece o relacionamento com os fornecedores e proporciona economias mensuráveis. E porque é construído sobre o Plataforma de inteligência de dados Databricksos mesmos dados SAP que alimentam pagamentos e faturas também podem gerar painéis, modelos de IA e análises de conversação, tudo a partir de uma fonte confiável.
Os dados SAP costumam ser a espinha dorsal das operações empresariais. Ao integrar o SAP Enterprise Information Cloud, Compartilhamento Delta, e Catálogo da Unidade, as organizações podem estender essa arquitetura além da análise de fornecedores — para otimização do capital de giro, gerenciamento de estoque e previsão de demanda.
Essa abordagem transforma os dados SAP de um sistema de registro em um sistema de inteligência, onde cada conjunto de dados está ativo, controlado e pronto para uso em toda a empresa.