Para os fabricantes de hoje, fluxos de trabalho simplificados e automatizados são cruciais para superar desafios como gerenciamento handbook de dados e tempo de inatividade de equipamentos. Ao aproveitar fluxos de trabalho automatizados e permitir a manutenção preditiva, os fabricantes podem obter insights de produção em tempo actual que reduzem ineficiências e desperdícios. A eliminação de silos de dados e a capacidade de dimensionar a análise permitem uma melhor tomada de decisões e apoiam o crescente quantity de dados operacionais. Num cenário orientado por dados, os fluxos de trabalho automatizados tornaram-se essenciais para o sucesso dos negócios, permitindo que os profissionais de dados passem da resolução reativa de problemas para a inovação proativa.
Fluxos de trabalho de databricksa ferramenta de orquestração unificada para dados, análises e IA, pode ajudar a atender às crescentes demandas das equipes de dados, definindo, gerenciando e monitorando facilmente fluxos de trabalho automatizados para ETL, análises e pipelines de aprendizado de máquina. Totalmente integrado à plataforma de inteligência de dados, o Workflows oferece uma experiência simples de definição de fluxo de trabalho, recursos avançados de observabilidade e alta confiabilidade. Os fluxos de trabalho fornecem uma ampla variedade de tipos de tarefas, incluindo notebooks, arquivos JAR, scripts Python, consultas e painéis SQL do Databricks, pipelines Delta Reside Tables, tarefas dbt e muito mais. Os fluxos de trabalho também apresentam avanços recentes em capacidades – de tabela acionada por dados e chegada de arquivo automação para geração de sintaxe cron alimentada por IA e computação sem servidor.
Neste weblog, analisamos como os fluxos de trabalho do Databricks permitiram que líderes de manufatura como Corning, Volvo e Cox Automotive simplificassem seus pipelines de dados, melhorassem os insights em tempo actual e reduzissem as despesas gerais de manutenção. Usando fluxos de trabalho, suas equipes de dados mudaram seu foco para a inovação. Os resultados incluem maior visibilidade do inventário, maior eficiência operacional e melhores experiências do cliente, mostrando como os fluxos de trabalho do Databricks podem beneficiar o setor de manufatura.
Usando fluxos de trabalho do Databricks, essas empresas conseguiram automatizar o fluxo de dados de dispositivos IoT no chão de fábrica para modelos de manutenção preditiva, gerar cronogramas e alertas com extrema precisão e dimensionar cargas de trabalho de análise para lidar com grandes volumes de dados de suas operações. Como resultado, eles tiveram mudanças significativas em seus resultados — entregando cronogramas de produção otimizados, prevendo falhas de equipamentos antes que elas acontecessem e tendo uma visão em tempo actual da cadeia de fornecimento para gerenciar proativamente as interrupções e garantir que os produtos cheguem no prazo. Vamos mergulhar em algumas histórias de sucesso de clientes de manufatura.
A orquestração de dados ponta a ponta da Corning com Databricks Workflows impulsiona a eficiência operacional
Corning revolucionou verdadeiramente seus processos de gerenciamento de dados com Databricks Workflows. A Corning é inovadora em ciência de materiais, contando com dados para impulsionar inovações e patentes. Os engenheiros da Corning usaram anteriormente o Apache Airflow como ferramenta de orquestração de dados, mas migraram totalmente para o Databricks Workflows. Essa mudança permitiu à Corning gerenciar aproximadamente 2.500 trabalhos (cerca de 5 petabytes de dados) e dar suporte a 900 usuários globais ativos. Os recursos de automação da plataforma simplificaram a curadoria de dados, quebraram silos e permitiram que engenheiros e cientistas de dados processassem grandes quantidades de dados em escala, estabelecendo fluxos de trabalho repetíveis e reutilizáveis. Esses avanços melhoraram a eficiência operacional e forneceram insights mais rápidos, cruciais para a inovação.
“Os fluxos de trabalho do Databricks desempenham um papel elementary ao nos permitir executar repetidamente, de acordo com nossa própria programação, uma orquestração completa de pipeline, com fluxo de dados de ponta a ponta por meio da plataforma de inteligência de dados.”
— Jibreal Hamenoo, Engenheiro Principal de Sistemas, Engenharia de Dados, Corning Included
Com o Databricks Workflows, a Corning melhorou o monitoramento e o gerenciamento de custos avaliando o uso de recursos e identificando rapidamente oportunidades de otimização. A observabilidade aprimorada capacitou as equipes de dados a resolver possíveis problemas de forma proativa e reparar subconjuntos de tarefas sem reiniciar fluxos de trabalho inteiros. O resultado foi um aumento significativo na agilidade, permitindo que a Corning respondesse rapidamente às mudanças do mercado, melhorasse a confiabilidade da cadeia de suprimentos e elevasse a experiência do cliente.
Renovação da cadeia de suprimentos da Volvo: insights de inventário em tempo actual com Databricks Workflows
O Grupo Volvo deu passos significativos na otimização de suas operações, mudando do Azure Knowledge Manufacturing facility (ADF) para o Databricks Workflows. Essa mudança agiliza o gerenciamento de estoque para sua enorme cadeia de suprimentos world, do fornecedor ao revendedor de caminhões. Quase 200.000 novos caminhões Volvo são vendidos anualmente, com outros milhões nas estradas, que exigem centenas de milhares de peças de reposição espalhadas por armazéns em todo o mundo. Com o processamento de dados em tempo actual, a Volvo pode monitorar continuamente os níveis de estoque, em vez de esperar que a escassez aconteça. Num negócio de cadeia de abastecimento world, cada minuto conta e eles não querem que os seus dados fiquem rapidamente desatualizados. Essa solução proativa e unificada permite que seus engenheiros de dados prevejam as necessidades de estoque com mais precisão, garantindo disponibilidade ideally suited de peças e minimizando o excesso de estoque.
“Os fluxos de trabalho têm sido um grande orquestrador para nós. Podemos consultar todos os dados usando APIs de banco de dados e criar um relatório de monitoramento para ver se um trabalho está falhando, quanto tempo está demorando em média e se está demorando mais do que a média para esse trabalho.”
— Bruno Magri, engenheiro de dados sênior, Logística de Mercado de Serviços do Grupo Volvo
Ao integrar o Databricks Workflows com o Delta Reside Tables (DLT), a Volvo simplificou as operações da sua cadeia de fornecimento world. Os fluxos de trabalho automatizados permitem que as equipes da cadeia de suprimentos da Volvo prevejam melhor as necessidades de estoque, garantam a disponibilidade ideally suited de peças e minimizem o excesso de estoque. A combinação de DLT e fluxos de trabalho não só melhorou a eficiência operacional – alcançando uma eficiência até 40% maior no tratamento de grandes volumes de dados – mas também capacitou a Volvo a se adaptar rapidamente às demandas dos clientes, impulsionando uma logística mais inteligente e melhorando significativamente o desempenho geral da cadeia de suprimentos.
Cox Automotive aumenta a eficiência e agilidade dos dados com Databricks Workflows
Cox Automotivo transformou suas operações de dados com Databricks Workflows, empregando fluxos de trabalho automatizados para gerenciar dados em grande escala sem gargalos.
A Cox Automotive Europe faz parte da Cox Automotive, a maior organização mundial de serviços automotivos que tem a missão de transformar a forma como o mundo compra, vende, possui e utiliza veículos. A equipe de serviços de dados corporativos mantém uma plataforma de dados que atende principalmente clientes internos em unidades de negócios, embora também mantenha alguns feeds de dados para terceiros. A equipe coleta dados de diversas fontes internas e unidades de negócios.
“Usamos Databricks Workflows como nossa ferramenta de orquestração padrão para realizar ETL e permitir a automação de cerca de 300 trabalhos, dos quais aproximadamente 120 estão programados para execução common.”
— Robert Hamlet, engenheiro líder de dados, serviços de dados corporativos, Cox Automotive
Hoje em dia, grandes quantidades de dados são processadas em pipelines de produção e os trabalhos programados são provenientes de diferentes áreas, tanto dentro como fora da empresa. Hamlet usa fluxos de trabalho do Databricks para entregar dados à equipe de ciência de dados, à equipe interna de relatórios de dados por meio do Tableau ou diretamente no Energy BI. Os fluxos de trabalho fornecem observabilidade em cada execução de fluxo de trabalho e em cada notificação de falha para que eles possam se antecipar aos problemas rapidamente e solucioná-los antes que a equipe de ciência de dados seja afetada.
O Databricks Workflows simplifica as operações de dados da Cox Automotive, automatizando tarefas de ETL e fornecendo observabilidade avançada em todo o pipeline. Essa integração permite que os engenheiros de dados garantam um fluxo de dados tranquilo, detectem problemas rapidamente e otimizem o desempenho. Com os fluxos de trabalho orquestrando a entrega de dados em tempo actual para ferramentas analíticas, a Cox pode tomar decisões mais rápidas e baseadas em dados, agilizar as operações e melhorar a capacidade de resposta às mudanças do mercado, aumentando a eficiência e a agilidade.
Resumo
Essas histórias de sucesso dos líderes globais de fabricação Corning, Volvo e Cox Automotive demonstram o impacto mensurável do uso de fluxos de trabalho do Databricks. Ao utilizar um serviço de orquestração unificado, totalmente integrado com a plataforma Databricks Knowledge Intelligence, estes líderes de produção não só melhoraram a sua eficiência operacional, mas também aceleraram a inovação para fornecer insights acionáveis em tempo actual. Seja simplificando as cadeias de fornecimento, garantindo a prontidão do inventário ou automatizando fluxos de trabalho em escala, o Databricks Workflows está permitindo que as organizações se tornem mais ágeis, eficientes e orientadas por dados.
Introdução aos fluxos de trabalho do Databricks
Databricks Workflows oferece uma solução de orquestração simples e confiável para dados e IA na plataforma de inteligência de dados. Usando fluxos de trabalho, você pode ter uma orquestração unificada de fluxos de trabalho para implementar pipelines de ETL, fluxos de trabalho de treinamento de ML e muito mais. Os fluxos de trabalho também oferecem recursos aprimorados de fluxo de controle e oferecem suporte a diferentes tipos de tarefas e opções de acionamento.