Há quatro anos, os bancos de dados viam uma tremenda complexidade no cenário de dados: catálogos separados para cada plataforma, ferramentas de governança em isenção nas nuvens e nenhuma maneira unificada de garantir ativos de IA. Nós foi pioneiro Governança unificada lançando Catálogo de unidadesUma camada de catálogo aberta e flexível para gerenciar acesso, linhagem, auditoria e descoberta em todos os dados e ativos de IA.
Hoje, o catálogo da unidade se tornou o fundamento do Databricks Knowledge Intelligence Platform e a única solução de governança unificada do setor para dados e IA entre formatos, nuvens e motores. Desde o compartilhamento de dados aberto até a segurança e a governança do conhecimento, o catálogo de unidades ajuda as organizações a trazer contexto, controle e confiança para seus dados de dados.
Na Cúpula de Dados + AI deste ano, estamos anunciando grandes inovações em todo o catálogo da Unity, oferecendo o melhor catálogo para o Apache Iceberg ™, novas experiências de usuários de negócios e governança inteligente para proteger dados confidenciais e garantir a qualidade de dados confiáveis em escala.
Aqui está o que há de novo.
O melhor catálogo para Apache iceberg ™
As organizações que adotam uma casa Lakehouse são frequentemente forçadas a escolher entre Delta Lake e Apache Iceberg ™. Essa escolha cria silos artificiais: restringindo o acesso aos dados e ferramentas de IA que as equipes podem usar, fragmentando a governança e travando metadados em catálogos específicos de formato.
O Unity Catalog elimina a necessidade de escolher. Construído em padrões abertos, o Unity Catalog é o único catálogo unificado que funciona perfeitamente entre formatos, motores e nuvens, tornando -o a base da casa aberta. No ano passado, seguindo o Aquisição do Tabular, Investimos profundamente no Apache Iceberg para estender essa visão. Estamos animados para anunciar:
- API do catálogo de Relaxation Catalog Icebergpermitindo que os motores externos leiam (geralmente disponíveis) e escreva (visualização pública) para as mesas de iceberg gerenciadas por catálogo da unidade. Este é um grande diferencial no mercado, eliminando o bloqueio de formato e permitindo a interoperabilidade completa incomparável por qualquer outra solução.
- Mesas gerenciadas pelo Iceberg estão agora em pré-visualização pública, oferecendo o melhor preço e desempenho da categoria, agrupamento líquidoAssim, Otimização preditivae integração completa com os bancos de dados e entre os motores externos, incluindo Trino, Snowflake e Amazon EMR.
- Federação do Catálogo Iceberg está em pré -visualização pública, permitindo que você governe e consulte as mesas de iceberg gerenciadas em cola da AWS, Metastares de colméia e horizonte de floco de neve sem copiar dados.
- Delta compartilhamento para iceberg Agora está em visualização privada, permitindo que você compartilhe mesas de catálogo de unidades e mesas de delta com qualquer destinatário usando o Delta compartilhando e consumi -las em qualquer cliente que suporta a API do catálogo de Relaxation Relaxation.
Juntos, essas capacidades quebram os silos de formato e diferenciam o catálogo de unidades como o único catálogo que oferece governança e interoperabilidade verdadeiramente abertas e unificadas. Confira o nosso weblog sobre suporte de iceberg Para saber mais sobre esses anúncios.
Expandindo o catálogo de unidades para usuários de negócios
As plataformas de dados não devem parar no usuário técnico. Os usuários de negócios precisam de uma maneira clara e consistente de encontrar, confiar e trabalhar com dados. O Unity Catalog agora oferece uma base unificada para o contexto de negócios para preencher a lacuna entre dados e equipes de negócios.
Métricas de catálogo de unidades: uma camada semântica para todos os dados e cargas de trabalho de IA
Definições de métricas inconsistentes entre ferramentas e equipes há muito causam confusão, desalinhamento e falta de confiança nos dados. Métricas de catálogo de unidadesAssim, agora em pré -visualização pública sobre AWSAssim, Azuree GCP E geralmente disponível no closing deste verão, resolve isso fazendo com que as métricas de negócios de primeira classe ativos na casa Lakehouse. Ao contrário das métricas definidas apenas na camada de BI, que limitam a reutilização e a integração, a definição de métricas na camada de dados torna a semântica dos negócios reutilizável em todas as cargas de trabalho, como painéis, modelos de IA e trabalhos de engenharia de dados. As métricas do catálogo da Unity também são totalmente endereçadas through SQL para garantir que todos na organização possam ter a mesma visão das métricas, independentemente da ferramenta que escolhem.
- Defina uma vez, use em todos os lugares: Crie métricas uma vez no catálogo da Unity e use -as nos painéis de AI/BI, gênio, notebooks, SQL e Lakeflow Jobs. As próximas integrações estenderão o suporte a ferramentas de BI como Tableau, Hex, Sigma, Thinkspot, Omni e Ferramentas de Observabilidade, como Anomalo e Monte Carlo.
- Governado e auditável por padrão: As métricas certificadas vêm com auditoria e linhagem fora da caixa, permitindo que as idéias confiáveis e compatíveis entre as equipes.
“As métricas do catálogo da Unity nos dão um lugar central para definir KPIs de negócios e padronizar a semântica entre as equipes, garantindo que todos trabalhem com as mesmas definições confiáveis entre os painéis, SQL e aplicativos de IA”.
– Richard Masters, vice -presidente de dados e IA, Virgin Atlantic
“As métricas do catálogo de unidades representam uma oportunidade emocionante para os clientes do Tableau alavancarem o valor da governança centralizada com o Catalog de Unidade de Databricks. Através de nossa profunda integração e expansão do roteiro com os bancos de dados, estamos emocionados em ajudar a remover o atrito de nossos clientes na alavancagem de dados de dados para definir suas métricas comerciais principais”.
– Nicolas Brisoux, Sr. Diretor de Gerenciamento de Produtos, Tableau
Novas experiências de descoberta com curadoria com idéias inteligentes
Para capacitar totalmente os usuários de negócios, você deve facilitar a localização e o uso de dados confiáveis. O Catálogo da Unidade está estendendo sua governança com reconhecimento de negócios com um novo Descubra a experiênciaAssim, agora em pré -visualização privada, Um mercado interno com curadoria de produtos de dados certificados organizados por domínios de negócios como vendas, advertising ou finanças.
As recomendações e a curadoria de dados da IA ajudam a superfície os ativos de maior valor, como métricas, painéis, tabelas, agentes de IA e espaços de gênios enriquecidos com documentação, propriedade e insights de uso. Novos sinais inteligentes destacam a qualidade dos dados, padrões de uso, relacionamentos e standing de certificação, ajudando os usuários a avaliar rapidamente a confiança e a relevância. Além disso, com o Assistente de Databricks incorporado, os usuários podem fazer perguntas sobre idiomas naturais e obter respostas claras e com reconhecimento de contexto com base nas métricas governadas.
Também estamos introduzindo novos recursos inteligentes nos Databricks para tornar a descoberta de dados mais fácil e intuitiva, onde quer que os usuários trabalhem na plataforma. Alimentado pelo Catálogo da Unity, esses recursos ajudam as equipes a encontrar dados confiáveis mais rapidamente e entender seu contexto rapidamente.
- Domínios (em breve): Arrange dados por área de negócios para alinhar a descoberta às operações da organização.
- Certificações e tags de depreciação (beta): Sinalize a confiança dos dados e a relevância dos negócios entre os conjuntos de dados, métricas e painéis. Os ativos marcados exibem seu standing com destaque na criação de superfícies como o editor SQL, mantendo os sinais de qualidade dos dados visíveis durante todo o fluxo de trabalho do usuário. Certificações e tags de depreciação estão disponíveis como parte das políticas de tag beta.
- Solicitação de acesso (visualização pública): Para otimizar a entrega, os usuários podem solicitar instantaneamente acesso de dados diretamente ao ativo.
Capacidades adicionais de governança avançada agora disponíveis
Governança de alta alavancagem com controles escaláveis e orientados a atributos
Escalar a governança de dados se torna cada vez mais desafiadora à medida que as organizações crescem, com mais usuários, equipes e ativos de dados a serem gerenciados. Políticas estáticas e controles manuais não podem acompanhar, levando a lacunas de governança, riscos de segurança e gargalos operacionais.
Para enfrentar esses desafios, o Unity Catalog agora fornece automação inteligente e controles flexíveis e escaláveis para classificar dados confidenciais, aplicar a política de forma consistente e acelerar o acesso seguro de dados em toda a casa.
Controle de acesso baseado em atributos (ABAC): Defina políticas de acesso flexíveis usando tags que podem ser aplicadas no nível do catálogo, esquema ou tabela. O ABAC está disponível na versão beta para Segurança em nível de linha e coluna sobre AWSAssim, Azuree GCP.
Políticas de tags: As políticas de tag aplicam uma camada de governança sobre como as tags são criadas, atribuídas e usadas nos Databricks. Essas políticas no nível da conta garantem que as tags permaneçam consistentes e confiáveis, apoiando tudo, desde a classificação de dados até a atribuição de custos. As políticas de tags estão disponíveis na versão beta sobre AWSAssim, Azuree GCP.
Classificação de dados: Detecte e tag de forma inteligente dados sensíveis ao catálogo da unidade. Novos dados são digitalizados dentro de 24 horas para detectar automaticamente novos PII, minimizando o esforço guide e permitindo que as equipes permaneçam no topo do acesso a dados. Quando usado com o ABAC, a classificação de dados protege automaticamente dados confidenciais com base em suas políticas de controle de acesso. Classificação de dados está disponível na versão beta sobre AWSAssim, Azuree GCP.
“Implementando o mascaramento de colunas em mais de 5.000 tabelas costumavam ser um enorme esforço guide. Com o ABAC, podemos aplicar políticas consistentes dinamicamente, melhorando drasticamente a velocidade e a governança”.
– Ramesh Balasubramanyan, Databricks Admin, Saif
“A classificação de dados do Databricks tem sido um mudança de jogo em nossa estratégia de privacidade e segurança de dados. Emparelhado com o ABAC, ela nos permite proteger automaticamente dados confidenciais sem restringir os dados de que nossos analistas precisam. O maior benefício foi velocidade, com classificação automatizada e mascarar a média da semana.
– Mary Tesfay, Knowledge & Analytics Lead, Corp It, Navitas
Monitoramento automatizado de qualidade de dados em escala
O catálogo da unidade agora detecta de forma inteligente e ajuda a resolver problemas de qualidade de dados em todas as suas tabelas com Monitoramento da qualidade dos dados, disponível na versão beta sobre AWSAssim, Azuree GCP. Verificações de monitoramento de qualidade de dados frescura– Como os dados recentemente foram atualizados – e integridade– Se os volumes de dados são os esperados – utilizando inteligência de dados em esquemas inteiros. Os consumidores são capazes de entender a saúde dos dados rapidamente com indicadores de saúde, enquanto os proprietários de dados podem entender a prioridade dos problemas com base na linhagem a jusante, descobrir a causa raiz e definir alertas usando log e painéis internos.
Comece com o catálogo da Unity, a base da inteligência de dados
O catálogo da Unity continua evoluindo como a única camada de governança unificada do setor, a base para plataformas de dados seguras, inteligentes e com reconhecimento de negócios. Esteja você construindo agentes de IA, fornecendo painéis de BI ou compartilhando dados entre organizações, o Catálogo de Unidades conecta tudo através de um único catálogo aberto.
Para começar, siga os guias do catálogo da unidade para AWSAssim, Azuree GCP.
Assista o Dados + AI Summit 2025 Keynote de Matei Zaharia, co-fundador e diretor de tecnologia da Databricks, para saber mais sobre esses anúncios recentes.
Registre -se para dados + cúpula de IA e discover o Dados e faixa de governança de IA