A migração das cargas de trabalho do information warehouse é uma das tarefas mais desafiadoras, porém essenciais, para qualquer organização. Quer a motivação seja o crescimento dos seus negócios e os requisitos de escalabilidade ou a redução do alto custo de licença e {hardware} dos seus sistemas legados existentes, a migração não é tão simples quanto a transferência de arquivos. Na Databricks, nossa equipe de serviços profissionais (PS) trabalhou com centenas de clientes e parceiros em projetos de migração e possui um rico histórico de migrações bem-sucedidas. Esta postagem do weblog explorará as práticas recomendadas e as lições aprendidas que qualquer profissional de dados deve considerar ao definir o escopo, projetar, criar e executar uma migração.
5 fases para uma migração bem-sucedida
Na Databricks, desenvolvemos um processo de cinco fases para os nossos projetos de migração com base na nossa experiência e conhecimento.
Antes de iniciar qualquer projeto de migração, começamos com o descoberta fase. Durante esta fase, pretendemos compreender as razões da migração e os desafios do sistema legado existente. Destacamos também os benefícios da migração de cargas de trabalho para a Databricks Information Intelligence Platform. A fase de descoberta envolve sessões colaborativas de perguntas e respostas e discussões arquitetônicas com as principais partes interessadas do cliente, Databricks. Além disso, usamos um perfil de descoberta automatizado para obter insights sobre as cargas de trabalho legadas e estimar os custos de consumo da plataforma Databricks para calcular a redução do TCO.
Depois de concluir a fase de descoberta, passamos para uma abordagem mais aprofundada avaliação. Durante esta etapa, utilizamos analisadores automatizados para avaliar a complexidade do código existente e obter uma estimativa de alto nível do esforço e custo necessários. Este processo fornece informações valiosas sobre a arquitetura da plataforma de dados atual e dos aplicativos que ela suporta. Também nos ajuda a refinar o escopo da migração, eliminar tabelas, pipelines e trabalhos desatualizados e começar a considerar a arquitetura de destino.
Na migração estratégia e na fase de design, finalizaremos os detalhes da arquitetura alvo e o design detalhado para migração de dados, ETL, tradução de código de procedimento armazenado e modernização de relatórios e BI. Nesta fase, também mapearemos a tecnologia entre os ativos de origem e de destino. Depois de finalizarmos a estratégia de migração, incluindo a arquitetura alvo, padrões de migração, ferramentas e parceiros de entrega selecionados, a Databricks PS, juntamente com o parceiro SI escolhido, preparará uma Declaração de Trabalho (SOW) de migração para o Piloto (Fase I) ou múltiplas fases do projeto. Databricks possui vários certificados Parceiros de migração do Brickbuilder SI que fornecem ferramentas automatizadas para garantir migrações bem-sucedidas. Além disso, os Databricks Skilled Companies podem fornecer serviços de garantia de migração juntamente com um parceiro SI.
Após a assinatura da declaração de trabalho (SOW), o Databricks Skilled Companies (PS) ou o Parceiro de Entrega escolhido realiza uma piloto de produção fase. Nesta fase, um caso de uso ponta a ponta claramente definido é migrado para o Databricks a partir da plataforma legada. Os dados, código e relatórios são modernizados para Databricks usando ferramentas automatizadas e aceleradores de conversão de código. As melhores práticas são documentadas e uma retrospectiva do Dash captura todas as lições aprendidas para identificar áreas de melhoria. Um guia de integração do Databricks é criado para servir como modelo para as fases restantes, que normalmente são executadas em sprints paralelos usando equipes ágeis Scrum.
Finalmente, avançamos para o processo de migração completo execução fase. Repetimos nossa abordagem de execução piloto, integrando todas as lições aprendidas. Isso ajuda a estabelecer um Centro de Excelência (CoE) do Databricks dentro da organização e a dimensionar as equipes, colaborando com equipes de clientes, parceiros de SI certificados e nossa equipe de serviços profissionais para garantir experiência e sucesso na migração.
Lições aprendidas
Pense grande, comece pequeno
É essential, durante a fase de estratégia, compreender totalmente o cenário de dados da sua empresa. Igualmente importante é testar alguns casos de uso específicos de ponta a ponta durante a fase piloto de produção. Não importa quão bem você planeje, alguns problemas só poderão surgir durante a implementação. É melhor enfrentá-los cedo para encontrar soluções. Uma ótima maneira de escolher um caso de uso piloto é começar com o objetivo remaining – por exemplo, escolher um painel de relatórios que seja importante para o seu negócio, descobrir os dados e processos necessários para criá-lo e, em seguida, tentar criar o mesmo painel no seu plataforma alvo como um teste. Isso lhe dará uma boa ideia do que o processo de migração envolverá.
Automatize a fase de descoberta
Começamos usando questionários e entrevistando os administradores de banco de dados para entender o escopo da migração. Além disso, nossos criadores de perfil de plataforma automatizados examinam os dicionários de dados de bancos de dados e metadados do sistema hadoop para nos fornecer números reais baseados em dados sobre utilizações de CPU, % de ETL versus % de uso de BI, padrões de uso por vários usuários e entidades de serviço. Esta informação é muito útil para estimar os custos do Databricks e a poupança de TCO resultante. Os analisadores de complexidade de código também são valiosos porque nos fornecem o número de DDLs, DMLs, procedimentos armazenados e outros trabalhos de ETL a serem migrados, juntamente com sua classificação de complexidade. Isso nos ajuda a determinar os custos e os prazos da migração.
Aproveite conversores de código automatizados
A utilização de ferramentas automatizadas de conversão de código é essencial para agilizar a migração e minimizar despesas. Essas ferramentas auxiliam na conversão de código legado, como procedimentos armazenados ou ETL, para Databricks SQL. Isso garante que nenhuma regra de negócio ou função implementada no código legado seja ignorada devido à falta de documentação. Além disso, o processo de conversão normalmente economiza aos desenvolvedores mais de 80% do tempo de desenvolvimento, permitindo que eles revisem prontamente o código convertido, façam os ajustes necessários e se concentrem nos testes unitários. É essential garantir que as ferramentas automatizadas possam converter não apenas o código do banco de dados, mas também o código ETL de plataformas herdadas baseadas em GUI.
Além da conversão de código: os dados também são importantes
As migrações muitas vezes criam uma impressão enganosa de um projeto claramente definido. Quando pensamos em migração, geralmente nos concentramos na conversão do código do mecanismo de origem para o destino. No entanto, é importante não ignorar outros detalhes necessários para tornar a nova plataforma utilizável.
Por exemplo, é essential finalizar a abordagem para a migração de dados, semelhante à migração e conversão de código. A migração de dados pode ser alcançada de forma eficaz usando Databricks Conexão LakeFlow quando aplicável ou escolhendo um de nossos Ferramentas de parceiros de ingestão de CDC. Inicialmente, durante a fase de desenvolvimento, pode ser necessário realizar cargas históricas e de atualização do EDW legado, ao mesmo tempo que constrói a ingestão de dados das fontes reais para o Databricks. Além disso, é importante ter uma estratégia de orquestração bem definida utilizando Fluxos de trabalho de databricks, Tabelas Delta ao vivoou ferramentas semelhantes. Além disso, sua plataforma de dados migrada deve estar alinhada com seu desenvolvimento de software program e Práticas de CI/CD antes que a migração seja considerada concluída.
Não ignore a governança e a segurança
A governação e a segurança são outros componentes que são frequentemente ignorados ao conceber e definir o âmbito de uma migração. Independentemente das suas práticas de governança existentes, recomendamos o uso do Catálogo de Unidade no Databricks como sua única fonte de verdade para recursos centralizados de controle de acesso, auditoria, linhagem e descoberta de dados. Migrar e habilitar o Unity Catalog aumenta o esforço necessário para a migração completa. Além disso, discover os recursos exclusivos que alguns de nossos Parceiros de governança fornecer.
A validação de dados e o teste do usuário são essenciais para uma migração bem-sucedida
É essential para o sucesso do projeto ter a validação de dados adequada e a participação ativa de especialistas no assunto de negócios (PMEs) durante a fase de teste de aceitação do usuário. A equipa de migração da Databricks e os nossos Integradores de Sistemas (SIs) certificados utilizam testes paralelos e ferramentas de reconciliação de dados para garantir que os dados cumprem todos os padrões de qualidade de dados sem quaisquer discrepâncias. O forte alinhamento com os executivos garante a participação atempada e focada das PME empresariais durante os testes de aceitação dos utilizadores, facilitando uma rápida transição para a produção e um acordo sobre o desmantelamento de sistemas e relatórios mais antigos assim que o novo sistema estiver em funcionamento.
Make It Actual – operacionalize e observe sua migração
Implemente boas práticas operacionais, como estruturas de qualidade de dados, tratamento de exceções, reprocessamento e controles de observabilidade de pipeline de dados, para capturar e relatar métricas de processo. Isto ajudará a identificar e reportar quaisquer desvios ou atrasos, permitindo ações corretivas imediatas. Recursos do Databricks como Monitoramento de Lakehouse e nosso faturamento do sistema tabelas auxiliam na observabilidade e no rastreamento de FinOps.
Confie nos especialistas
As migrações podem ser desafiadoras. Sempre haverá compensações a serem equilibradas e problemas inesperados e atrasos a serem gerenciados. Você precisa de parceiros e soluções comprovados para os aspectos de pessoas, processos e tecnologia da migração. Recomendamos confiar nos especialistas da Serviços profissionais de databricks e nosso parceiros de migração certificadosque possuem ampla experiência no fornecimento de soluções de migração de alta qualidade em tempo hábil. Entre em contato para iniciar sua avaliação de migração.