Seu Catálogo de Unidade (UC) tabelas gerenciadas agora melhore por conta própria. As atualizações automáticas (automáticas) são o primeiro recurso desse tipo em qualquer lago. Ele verifica automaticamente se seus clientes são compatíveis e, em seguida, aplica recursos de práticas recomendadas, como o Row Monitoring, no momento em que suas tabelas estão prontas, sem a necessidade de esforço handbook.
Os formatos de tabelas abertas estão inovando rapidamente, introduzindo muitos novos recursos de tabela. No entanto, adotar um novo recurso de tabela historicamente significou identificar tabelas elegíveis, verificar a compatibilidade do cliente e executar ALTER TABLE em milhares de tabelas. A maioria das equipes não tem tempo para isso e, portanto, não obtém os benefícios como melhor desempenho, confiabilidade, interoperabilidade e economia de custos que esses recursos podem oferecer. As atualizações automáticas preenchem essa lacuna e você mantém o controle: cada alteração é reversível por tabela.
Qualquer coisa que alivie a carga psychological é uma vitória. Acompanhar cada novo recurso em cada mesa é muito importante, então estou ansioso para que as atualizações automáticas cuidem da manutenção para mim! —Audrey Boslego, gerente de engenharia de plataforma de dados
Como funcionam as atualizações automáticas
As atualizações automáticas funcionam observando como as tabelas existentes são acessadas, verificando se cada carga de trabalho está pronta e, em seguida, aplicando recursos em seu nome.
1. Observe: para cada tabela gerenciada por UC existente, o Auto Upgrades observa os clientes que a acessam em um período contínuo janela de observação.
2. Verifique: Para cada recurso, as atualizações automáticas verificam se todas as condições a seguir são válidas para a mesma janela de observação:
- Cada cliente do Databricks que acessou a tabela durante a janela de observação está em uma versão do Databricks Runtime que dá suporte ao recurso
- A tabela em si deve estar ativa (tabelas completamente inativas são ignoradas)
- (Por enquanto) Clientes externos não acessaram a tabela durante a janela de observação
3. Atualização: Depois que uma tabela é elegível, o Auto Upgrades executa ALTER TABLE por meio de um trabalho leve em segundo plano para aplicar o recurso com segurança.
Estendendo para novas tabelas: Depois que todas as tabelas existentes em um esquema forem verificadas como compatíveis com um recurso, as atualizações automáticas a tornarão um padrão para o esquema, de modo que qualquer nova tabela criada lá herdará o recurso automaticamente. Quaisquer propriedades da tabela que você definir explicitamente no momento da criação sempre terão precedência.
No futuro, o Auto Upgrades visa habilitar recursos em tabelas acessadas por clientes externos, detectando que são compatíveis com um determinado recurso. Estamos trabalhando com a comunidade em padrões para fornecer os metadados corretos para detectar compatibilidade para esses clientes.
Mais completo do que uma atualização handbook
Uma atualização handbook cuidadosa exige muita diligência: selecionar os recursos certos e confirmar que estão prontos para produção, verificar se cada cliente os suporta e garantir que haja uma maneira de reverter. O Auto Upgrades aplica a mesma diligência a todas as mesas automaticamente.
✅ Somente GA, sem regressões materiais de desempenho ou custos. Um recurso se qualifica para atualizações automáticas somente se tiver atingido a disponibilidade geral e não reduzir significativamente o desempenho ou aumentar os custos. Muitos recursos melhoram o desempenho ou reduzem custos, mas nenhum piora a situação.
✅ Uma janela de observação abrangente. Nem toda carga de trabalho de dados é executada diariamente. Trabalhos em lote mensais, relatórios trimestrais e análises advert hoc podem levar semanas para aparecer. A Databricks escolheu uma janela de 100 dias para capturar a cauda longa, dando-nos uma visão completa de como suas tabelas são realmente usadas antes de qualquer decisão ser tomada.
✅ Verificação rigorosa de compatibilidade. Não habilitamos um recurso até que todos os clientes que acessam suportem o recurso. Um único cliente não suportado é suficiente para esperarmos, tanto pelas tabelas existentes quanto pelos padrões de esquema que regem as novas.
✅ Tire as mãos quando não for possível verificar. As atualizações automáticas atuam apenas em tabelas que podem ser totalmente verificadas. As tabelas tocadas por clientes externos estão fora do escopo e as tabelas inativas por mais de 30 dias são ignoradas.
✅Suas decisões são respeitadas. Cada recurso habilitado pelas atualizações automáticas pode ser desabilitado ou descartado por mesa a qualquer momento. Depois que você desabilitar um recurso em uma mesa, as atualizações automáticas não irão reativá-lo posteriormente.
Benefícios desbloqueios de atualizações automáticas
As atualizações automáticas trazem recursos de práticas recomendadas estabelecidas para suas tabelas gerenciadas de UC. Isso inclui recursos que a maioria das equipes deseja, mas não habilitou devido ao trabalho handbook envolvido.
À medida que as atualizações automáticas são executadas, suas mesas ficam gradualmente:
Tabelas mais rápidas e econômicas. Suas tabelas ficam mais rápidas de consultar, mais baratas de armazenar e mais baratas de alterar.
- O Automated Liquid Clustering se aplica a novas tabelas que o tenham definido como padrão de esquema, otimizando o structure dos dados de acordo com as consultas que você realmente executa e adaptando-se à medida que sua carga de trabalho evolui, portanto, não há necessidade de ZORDER ou chaves de cluster manuais.
- Os vetores de exclusão marcam as linhas como excluídas ou atualizadas em vez de reescrever arquivos de dados inteiros, para que as exclusões e atualizações sejam executadas mais rapidamente e com menor custo.
- O mapeamento de colunas permite renomear ou eliminar colunas instantaneamente, sem reescrever os dados.
- O Parquet V2 compacta dados com mais eficiência, reduzindo os custos de armazenamento e acelerando as verificações.
Interoperabilidade aberta entre mecanismos. Suas tabelas ficam abertas a mais formatos e mais mecanismos, com governança no Unity Catalog que se aplica a todas elas.
- Confirmações de catálogo permite que o UC se torne o sistema de coordenação para tabelas gerenciadas, entre mecanismos. Ele desbloqueia gravações de mecanismos externos em tabelas gerenciadas por UC, permite que políticas ABAC sejam aplicadas a mecanismos externos e permite transações com várias tabelas e instruções.
- O Row Monitoring adiciona identificadores exclusivos em nível de linha que abrem a porta para Automated Change Knowledge Feed, Vector Search e Lakebase, em Iceberg e Delta. Ele também permite que as visualizações materializadas sejam atualizadas de forma incremental em vez de recalcular a visualização completa, reduzindo significativamente os custos de atualização.
Maior confiabilidade sob carga. Suas tabelas permanecem estáveis à medida que crescem e o quantity de gravação aumenta.
- O Checkpoint V2 mantém os metadados da tabela em um formato mais escalável, reduzindo falhas de commit em situações com muitas gravações simultâneas.
As atualizações automáticas continuarão a crescer para abranger mais recursos e oferecer suporte a tipos adicionais de tabelas gerenciadas de UC, como visualizações materializadas e tabelas de streaming.
Observabilidade abrangente
Cada recurso adicionado pelas atualizações automáticas aparece na saída DESCRIBE HISTORY da tabela e na guia histórico do Catalog Explorer, de forma que seja distinguível das alterações iniciadas pelo usuário. Para obter mais informações, consulte observe os recursos habilitados.
Para obter visibilidade em toda a conta, você poderá consultar uma tabela do sistema para ver todos os eventos de atualizações automáticas por tabela, recurso e carimbo de knowledge/hora. Por exemplo, para ver todas as operações de atualização automática que ocorreram para todos os recursos em uma tabela específica:
Começando
As atualizações automáticas funcionam em tabelas gerenciadas por UC. Portanto, a etapa mais impactante que você pode realizar para começar é garantir que suas tabelas sejam convertidas para esse tipo de tabela.
Não tem certeza de quais das suas tabelas são gerenciadas pelo Unity Catalog? Verifique o tipo de tabela no Catalog Explorer ou execute DESCRIBE EXTENDED em sua tabela.
Para auditar tabelas em massa, você também pode usar a tabela do sistema de Atualizações Automáticas para informar quais recursos foram habilitados em quais tabelas e em quais horários:
Se você tiver tabelas externas que gostaria de trazer, você pode converter eles com um único SET MANAGED, e as atualizações automáticas partem daí.
Para saber mais sobre como funciona o Auto Upgrades, quais recursos ele permite e como observar sua atividade, consulte nosso documentação.
Com as atualizações automáticas, suas tabelas gerenciadas são gerenciadas sozinhas. À medida que o Databricks fornece novos recursos, suas tabelas ficam cada vez melhores — sem maratonas ALTER TABLE, auditorias de compatibilidade ou projetos de migração. Você obtém tabelas mais rápidas, mais confiáveis e mais interoperáveis, automaticamente.
Perguntas frequentes
Como as atualizações automáticas garantem que uma mesa seja segura para atualização?
As atualizações automáticas aplicam apenas recursos geralmente disponíveis que não reduzem significativamente o desempenho nem aumentam os custos. Ele aguarda uma janela de observação de 100 dias, exige que todos os clientes que acessam sejam compatíveis, ignora tabelas que não podem ser verificadas totalmente e permite desabilitar qualquer recurso por tabela a qualquer momento.
Se minha tabela mudou, como posso saber se foram atualizações automáticas?
Cada alteração feita pelas atualizações automáticas aparece na saída DESCRIBE HISTORY da tabela e na guia de histórico do Catalog Explorer, marcada de forma distinta de suas próprias alterações. Para visibilidade em toda a conta, a consulta system.storage.table_auto_upgrade_operations_history também mostrará a que horas um recurso foi adicionado a qualquer tabela.
As atualizações automáticas quebrarão uma tabela lida por minhas ferramentas externas ou OSS?
Não. As tabelas acessadas por clientes externos ou OSS estão fora do escopo por enquanto. As atualizações automáticas só atuam quando podem verificar se cada cliente que toca em uma mesa oferece suporte ao recurso. No futuro, ampliaremos para incluir também tabelas com acesso externo ou OSS, uma vez que as atualizações automáticas possam confirmar se esses clientes são compatíveis.
As atualizações automáticas custam alguma coisa? Isso aumentará minha DBU ou conta de armazenamento?
No atual Gated Public Preview, o Databricks não cobra pelas atualizações automáticas em si (o trabalho ALTER TABLE em segundo plano) e esperamos continuar a oferecê-lo gratuitamente. Verifique o Documentação de atualizações automáticas para obter as informações mais atualizadas.
Quanto tempo até que minhas mesas sejam atualizadas? Quando verei mudanças?
As atualizações automáticas usam uma janela de observação de 100 dias para capturar cargas de trabalho pouco frequentes (por exemplo, trabalhos em lote mensais, relatórios trimestrais, análises advert hoc) antes de agir. Depois que uma tabela for verificada como compatível, o recurso será aplicado brand depois por meio de um trabalho em segundo plano. Tenha também em mente que quando um recurso é lançado pela primeira vez, ele é gradual entre clientes e % de tabelas, portanto pode levar de 3 a 5 meses para que ele chegue às suas mesas com cargas de trabalho compatíveis.