Antes de tomar decisões arquitetônicas, vale a pena revisar a estratégia de migração mais ampla. Em nossa postagem anteriorIntroduzimos a abordagem dos Serviços Profissionais de Databricks para migrações complexas de knowledge warehouse, destacando a importância das decisões precoces em torno da estratégia e design. Essas escolhas fundamentais influenciam diretamente a implementação e a arquitetura da plataforma de destino.
Nós também introduziu duas estratégias de sequenciamento: ETL-primeiro e bi-primeiro. A abordagem bi-primeiro oferece valor rápido modernizando a camada de consumo, enquanto a abordagem ETL-primeiro se concentra nos pipelines a montante. Cada um tem seu lugar, dependendo das prioridades.
Neste put up, exploramos uma das opções de design mais críticas: escolhendo entre uma abordagem de elevação e mudança ou modernização. Explicamos o que cada abordagem implica, quando usá-la e como mesclá-los em uma abordagem híbrida para o sucesso a longo prazo nos bancos de dados.
Da estratégia à abordagem de migração: escolher o caminho certo
Depois de se alinhar com a estratégia de migração mais ampla-o primeiro primeiro ou o primeiro primeiro-a próxima decisão importante é como estruturar a migração. Você duplicate o que existe ou reimagina -o para o futuro?
Essa decisão arquitetônica normalmente se resume a duas abordagens principais:
- Elevação e deslocamento: mover cargas de trabalho como é para acelerar a migração
- Modernização: Redesenhar a plataforma para desbloquear eficiência e escala a longo prazo
A abordagem correta depende de seus objetivos, restrições e cronograma. Abaixo, quebramos as compensações de cada um e incluímos um modelo híbrido que muitas organizações usam para combinar o melhor de ambos.
Migração de elevação e mudança
O elevador e o deslocamento envolve a movimentação dos modelos de dados existentes e a base de código para a nova plataforma com alterações mínimas. Você não apresenta novos casos de uso e a arquitetura permanece inalterada.
Essa abordagem é atraente porque é mais fácil escopo, planejar e automatizar. Ferramentas como Profilers e analisadores de código ajudam a medir padrões de carga de trabalho, complexidade e custo, facilitando a avaliação e a execução.
Os principais benefícios incluem:
- Linhas de tempo previsíveis
- Ferramentas automatizadas (por exemplo, conversores de código, validadores de reconciliação)
- Migração mais rápida ao enfrentar prazos ou licenças expiradas
Por exemplo, os conversores de código podem lidar automaticamente até 80% dos scripts. Como a funcionalidade permanece a mesma, a validação e as consultas de execução nos dois sistemas e em comparação são mais fáceis.
Nos bancos de dados, o elevador e o deslocamento tira as plataformas legadas rapidamente, desbloqueando ganhos de desempenho imediatos usando recursos como a ordem z e agrupamento de líquidos. Depois de migrar, sua organização pode começar a modernizar incrementalmente a plataforma.
Modernizar o padrão de migração
Modernizar, em contraste com a elevação e o turno, significa construir uma nova plataforma de dados em seu sistema de destino sem ser restringido pela sua arquitetura herdada. O foco muda de simplesmente migrar ativos existentes para reimaginar casos de uso e projetar para necessidades futuras. Em vez de mapear otimizações desatualizadas, você implementa as melhores práticas e os pilares bem arquitetados da Lakehouse.
Em um lago aberto, isso envolve a refatoração de código e as estruturas de dados re-arquitetas para atender aos requisitos atuais e futuros de escalabilidade, desempenho, custo e capacidade da sua organização, livres de limitações herdadas.
As ferramentas permanecem úteis, mas mais para descoberta e planejamento:
- Profilers e analisadores de código ajudam o inventário do que você precisa para migrar
- Os conversores de código e as ferramentas de reconciliação desempenham um papel mínimo, pois isso não é uma tradução direta de código
Essa abordagem é preferrred quando você tem cronogramas flexíveis e um sistema legado desatualizado ou excessivamente complexo, geralmente com milhares de mesas e scripts. Enquanto começar o Contemporary pode parecer lento e esmagador, os benefícios a longo prazo são substanciais: arquitetura simplificada, melhor desempenho e sobrecarga de manutenção reduzida.
Dito isto, migrar milhares de scripts geralmente significa manter sua complexidade de manutenção. Se isso parecer assustador, considere fazer parceria com os serviços profissionais do Databricks ou especialistas em migração certificados para ajudar a orientar a fase de planejamento e design e garantir um caminho mais suave.
Uma abordagem híbrida: levantar e mudar, e depois modernizar
Outra abordagem é uma estratégia de migração híbrida que equilibra a velocidade do valor de longo prazo. Você começaria com a abordagem de elevação e mudança para eliminar sua plataforma herdada o mais rápido possível, especialmente quando enfrentam restrições urgentes, como licenças expiradas. Automação e ferramentas repetíveis ajudam a acelerar essa fase inicial e reduzir o risco durante a execução.
Você pode se mover para a fase de modernização depois de migrar suas cargas de trabalho para o Databricks.
Na abordagem híbrida, você:
- Integrar fontes de dados novas e modernas
- Implementar uma estratégia de produto de dados
- Ativar análises avançadas, IA e novos casos de uso que conduzem decisões de negócios
Essa fase geralmente requer atualizações arquitetônicas, mas permite que você evolua gradualmente. Com uma estratégia híbrida, você não precisa modernizar tudo no primeiro dia – você se baseia em uma base estável enquanto se alinha com os requisitos futuros.
Se você estiver buscando essa abordagem, os Serviços Profissionais de Databricks e parceiros certificados podem ajudar a orientar seu roteiro, garantindo uma transição suave e uma arquitetura pronta para o futuro.
Nosso ponto de vista
Selecionar uma abordagem de migração não é uma de tamanho único. A abordagem mais comum é uma migração híbrida:
- Crie uma fábrica de migração que alavanca as ferramentas de automação.
- Raise-and-Shift A maioria da base de código.
- Ativar otimizações prontas para uso, como Z-ordering e agrupamento líquidopara começar o seu modernização esforço.
Os bancos de dados podem atuar como seu Primário Information Warehouse. Por exemplo, você pode migrar procedimentos armazenados para notebooks e usar Script SQL para escalabilidade e integração de IA sem deixar o conforto do SQL. A migração do Transact-SQL para qualquer outro knowledge warehouse em nuvem requer um esforço semelhante à migração desse transact-sql para um pocket book com código Python envolvido em torno da funcionalidade SQL. O benefício de usar um caderno é que você também obtém flexibilidade e uma ótima experiência de desenvolvimento.
O que fazer a seguir
Pronto para modernizar seu knowledge warehouse? Baixe nosso e -book, “Transformando Warehouses Legacy Information: um plano estratégico de migração,”Para estratégias detalhadas e práticas recomendadas, que garantem uma transição de baixo risco para a plataforma de inteligência de dados do Databricks.
Se você é um DBA, confira este weblog em 10 principais dicas para DBAs migrando para o Databricks.