À medida que as organizações aproveitam cada vez mais a Plataforma Databricks Information Intelligence para necessidades de dados e IA, a atualização para Catálogo de Unidade é um passo basic para melhorar a descoberta, a governança e a segurança para desbloquear todo o potencial da plataforma. UCX, uma ferramenta poderosa desenvolvida pela Databricks Labs, simplifica essa transição ao automatizar o processo de atualização, garantindo uma jornada mais tranquila e eficiente. Neste weblog, mostraremos como o UCX pode ser um companheiro poderoso enquanto você planeja sua jornada de atualização para o Unity Catalog.
O que é UCX?
UCX é um projeto do Databricks Labs de código aberto projetado para ajudar as organizações a atualizar seus espaços de trabalho não-Unity Catalog para o Unity Catalog. Desenvolvido por uma equipe de especialistas experientes em Databricks, incluindo engenheiros de campo que entendem as complexidades de tais atualizações em primeira mão, o UCX se destaca como uma ferramenta essencial para organizações que realizam essa transição. Este equipment de ferramentas abrangente oferece uma variedade de fluxos de trabalho automatizados para abordar vários aspectos do processo de atualização, incluindo:
- Avaliação da compatibilidade do espaço de trabalho com o Unity Catalog
- Migração de identidades e permissões de grupo
- Atualização de tabelas metastore do Hive para o Unity Catalog
- Migração de código e reconciliação de dados
O UCX é particularmente útil para organizações com grandes quantidades de dados em seu metastore Hive e configurações complexas de espaço de trabalho. Ele oferece utilitários de linha de comando e interfaces visuais para atender a diferentes preferências do usuário e casos de uso.
Por que atualizar do Hive Metastore para o Unity Catalog?
Embora o Hive tenha servido como uma solução confiável de metadados e gerenciamento de dados para muitas organizações, suas limitações no tratamento de dados diversos e modernos e cargas de trabalho de IA podem prejudicar a agilidade, a governança e a colaboração. O Unity Catalog aborda esses desafios fornecendo a única solução de governança aberta e unificada do setor, desenvolvida especificamente para gerenciar todos os dados e ativos de IA. Como base de uma estratégia moderna de inteligência de dados, o Unity Catalog integra o poder do Lakehouse e da IA, permitindo uma compreensão abrangente dos dados e, ao mesmo tempo, fornecendo insights contextuais e específicos de domínio que aumentam a produtividade para usuários técnicos e empresariais.
Construído em uma base de código aberto, o Unity Catalog oferece suporte à descoberta, ao acesso e ao compartilhamento contínuos de dados confiáveis e ativos de IA em qualquer ferramenta, mecanismo de computação ou plataforma de nuvem. Esta abordagem unificada e aberta incentiva a colaboração multifuncional, acelera iniciativas de dados e IA e simplifica a conformidade, permitindo que as organizações acompanhem um cenário de dados em evolução, ao mesmo tempo que libertam todo o potencial dos seus investimentos em dados. Mais de 10.000 empresas agora estão aproveitando o Unity Catalog para controlar seus dados e seu patrimônio de IA.
Como funciona o UCX: guia passo a passo
Visão geral do UCX
Mergulhe nos fundamentos do UCX e descubra como essa ferramenta pode transformar seu processo de migração do Unity Catalog. Exploraremos seus principais recursos e benefícios, preparando o terreno para um mergulho mais profundo em seus vários componentes
Guia de instalação
Acompanhe enquanto orientamos você no processo passo a passo de instalação do UCX em seu ambiente Databricks. Saiba mais sobre os pré-requisitos e práticas recomendadas para garantir uma configuração tranquila.
Automatizando o fluxo de trabalho de avaliação
Descubra como o fluxo de trabalho de avaliação do UCX pode avaliar automaticamente seu espaço de trabalho atual do Databricks, identificando possíveis desafios de migração e fornecendo insights acionáveis para se preparar para a atualização
Migrações de grupo
Discover as complexidades da migração de grupos de usuários e permissões com UCX. Demonstraremos como essa ferramenta pode automatizar a complexa tarefa de traduzir os controles de acesso existentes para o modelo do Unity Catalog.
Migrações de tabela
Saiba como o UCX simplifica o processo de migração de tabelas do metastore Hive para o Unity Catalog. Abordaremos tabelas gerenciadas e externas e mostraremos como preservar a integridade dos dados e os padrões de acesso durante a migração.
Design de catálogo e esquema
Configurando autenticação e acesso para Azure
Criando catálogos e esquemas
Migrações de código
Descubra como o UCX pode ajudá-lo a atualizar seu código existente para ser compatível com o Catálogo Unity. Apresentaremos recursos automatizados de análise e transformação de código que podem economizar inúmeras horas de refatoração guide.
Conclusão
Ao aproveitar o UCX, as organizações podem reduzir significativamente o tempo e o esforço necessários para atualizar para o Unity Catalog. Essa abordagem automatizada não apenas minimiza o erro humano, mas também garante um processo de atualização mais abrangente e consistente. À medida que você embarca em sua jornada de atualização do Unity Catalog, o UCX se destaca como um aliado inestimável, ajudando você a desbloquear todo o potencial da governança de dados unificada em seu ambiente Databricks.
Recursos: