Desde que anunciamos a visualização pública do Lakebase no verão, milhares de clientes do Databricks têm construído aplicativos inteligentes de dados sobre o Lakebase, usando-os para potencializar o serviço de dados de aplicativos, armazenamentos de recursos e memória do agente, ao mesmo tempo em que mantêm esses dados estreitamente alinhados com análises e fluxos de trabalho de aprendizado de máquina.
À medida que nos aproximamos do closing do ano, temos o prazer de lançar um novo e emocionante conjunto de melhorias:
- Escalonamento automático que ajusta dinamicamente a computação com base na carga
- Escalar para zeropermitindo que a computação seja desligada quando ociosa e retomada automaticamente em centenas de milissegundos
- Provisionamento instantâneo para criar novas instâncias de banco de dados em segundos
- Ramificação instantânea de banco de dadospermitindo fluxos de trabalho semelhantes ao git com ambientes isolados de cópia na gravação para desenvolvimento, teste e preparação
- Backups automatizados e recuperação pontual para restauração rápida e operações mais seguras
- Postgres 17juntamente com suporte contínuo ao Postgres 16
- Maior capacidade de armazenamento até 8 TB para cargas de trabalho de produção maiores
- Uma nova IU do Lakebase que simplifica fluxos de trabalho comuns
Esses recursos representam um marco significativo na definição da categoria lakebase, uma arquitetura de banco de dados sem servidor que separa o armazenamento OLTP da computação. Eles são possíveis combinando o Postgres sem servidor e a tecnologia de armazenamento de nossa aquisição da Neon com a infraestrutura multinuvem de nível empresarial da Databricks.
Escalonamento automático para cargas de trabalho de aplicativos dinâmicos
As cargas de trabalho de aplicativos modernos raramente seguem padrões de tráfego previsíveis. A atividade do usuário flutua ao longo do dia, os trabalhos em segundo plano geram picos de gravações e os sistemas baseados em agentes podem criar picos repentinos de simultaneidade. Os bancos de dados operacionais tradicionais exigem que as equipes planejem manualmente o uso máximo e ajustem a capacidade, muitas vezes resultando em provisionamento excessivo e complexidade desnecessária.
Como o Lakebase se baseia em uma arquitetura que separa a camada de armazenamento da camada de computação e permite o escalonamento independente das duas, agora estamos lançando o recurso de escalonamento automático de computação que pode ajustar a computação dinamicamente com base na demanda de carga de trabalho ativa. Quando o tráfego aumenta, a computação aumenta para manter o desempenho. Quando a atividade fica mais lenta, a computação diminui. Os bancos de dados ociosos são suspensos após um curto período de inatividade e retomados rapidamente quando chegam novas consultas. A computação se ajusta dinamicamente para atender à demanda da carga de trabalho nos ambientes de produção e desenvolvimento.
O resultado é menos tempo gasto no gerenciamento da capacidade e mais tempo focado no comportamento do aplicativo.
Inicialização rápida e provisionamento instantâneo
Criar um novo banco de dados ou retomar um banco de dados ocioso não deve retardar o desenvolvimento. Com esta atualização, novos bancos de dados Lakebase são provisionados em segundos e as instâncias suspensas são retomadas rapidamente quando o tráfego retorna. Isso facilita a criação de ambientes sob demanda, a iteração durante o desenvolvimento e o suporte a fluxos de trabalho onde bancos de dados são criados e descartados com frequência.
Para equipes que criam e testam aplicativos, uma inicialização mais rápida reduz o atrito e mantém os ciclos de iteração rígidos, especialmente quando combinada com ramificação e escalonamento automático.
Ramificação para iteração mais rápida e segura
Construir e evoluir aplicações de produção significa mudanças constantes. As equipes validam atualizações de esquema, depuram problemas complexos e executam pipelines de CI que dependem de visualizações consistentes de dados. A clonagem de banco de dados tradicional tem dificuldade para acompanhar porque cópias completas são lentas, exigem muito armazenamento e são operacionalmente arriscadas.
O serviço de armazenamento Lakebase implementa ramificação de cópia na gravação e agora expomos essa funcionalidade como ramificação de banco de dados para nossos clientes. As filiais são ambientes instantâneos de cópia na gravação que permanecem isolados enquanto compartilham o armazenamento subjacente. Isso facilita a ativação de ambientes de desenvolvimento, teste e preparação em segundos e a iteração na lógica do aplicativo sem tocar nos sistemas de produção.
Na prática, a ramificação elimina o atrito do ciclo de vida de desenvolvimento e ajuda as equipes a avançarem com mais rapidez e confiança. (Mas testes em produção ainda não são recomendados!)
Backups automatizados e recuperação pontual
Nem todo problema de dados é uma interrupção. Às vezes, o problema é mais sutil: um bug que grava silenciosamente dados incorretos ao longo do tempo, uma alteração de esquema que se comporta de maneira diferente do esperado ou um script de preenchimento que atinge mais linhas do que o pretendido. Esses problemas muitas vezes passam despercebidos até que as equipes precisem confiar em dados históricos para análise, geração de relatórios ou comportamento downstream do aplicativo.
Em ambientes tradicionais, a recuperação de cenários como este pode ser dolorosa. As equipes são forçadas a reconstruir o histórico manualmente, reproduzir registros ou criar sistemas temporários apenas para recuperar uma versão válida e conhecida de seus dados. Esse processo é demorado, sujeito a erros e muitas vezes requer profundo conhecimento de banco de dados.
Lakebase agora torna essas situações muito mais fáceis de lidar. Com backups automatizados e recuperação pontual, as equipes podem restaurar um banco de dados para um momento exato em segundos. Isso permite que as equipes de aplicativos se recuperem rapidamente de problemas de dados causados por bugs de aplicativos ou erros operacionais, sem exigir reprodução guide ou fluxos de trabalho de recuperação complexos.
Suportando cargas de trabalho de produção maiores
Além da recuperação, os sistemas de produção também precisam de espaço para crescer à medida que os volumes de dados aumentam. Com esta atualização, o Lakebase aumenta sua capacidade de armazenamento suportada para até 8 TB, um aumento de quatro vezes em relação aos limites anteriores, tornando-o adequado para cargas de trabalho de aplicativos maiores e mais exigentes.
Suporte expandido à versão Postgres
Lakebase agora também oferece suporte ao Postgres 17, juntamente com suporte contínuo ao Postgres 16. Isso dá às equipes acesso às melhorias mais recentes do Postgres, mantendo a compatibilidade com os aplicativos existentes.
Juntas, essas atualizações tornam o Lakebase uma base mais sólida para a execução de cargas de trabalho operacionais de nível de produção no Databricks.
Fluxos de trabalho mais simples com uma nova UI Lakebase
Lakebase agora inclui uma nova interface de usuário atualizada, projetada para simplificar os fluxos de trabalho diários. Criar bancos de dados, gerenciar filiais e compreender o comportamento da capacidade é mais simples, com melhores padrões e provisionamento mais rápido. Esta nova IU pode ser acessada no ícone do App Launcher para a nova oferta de escalonamento automático do Lakebase. A oferta provisionada anterior do Lakebase aparecerá na IU nas próximas semanas.
Adoção
Conforme indicado anteriormente, milhares de clientes do Databricks têm criado aplicativos com base no Lakebase. Como o Lakebase está totalmente integrado à plataforma Databricks Information Intelligence, os dados operacionais residem na mesma base que dá suporte a análises, IA, aplicativos e fluxos de trabalho de agente. O Unity Catalog fornece governança, controle de acesso, auditoria e linhagem consistentes. Os aplicativos Databricks e as estruturas de agente podem utilizar o Lakebase para integrar o estado em tempo actual com o contexto histórico, eliminando a necessidade de ETL ou replicação.
Para os profissionais, isto cria um ambiente unificado onde os dados operacionais e analíticos permanecem alinhados, sem a necessidade de conciliar vários sistemas para manter as aplicações ligadas à inteligência.
Citando dois primeiros adotantes:
“O Lakebase permite que uma equipe de agentes forneça rapidamente os dados necessários para seus modelos, sejam reivindicações históricas ou transações em tempo actual, e isso é realmente poderoso.” — Dragon Sky, arquiteto-chefe, Ensemble Well being
“O Lakebase nos oferece um armazenamento durável e de baixa latência para o estado do aplicativo, para que nossos aplicativos de dados sejam carregados rapidamente, atualizados perfeitamente e até mesmo suportem hyperlinks de páginas compartilhadas entre usuários.” – Bobby Muldoon, vice-presidente de engenharia, YipitData
O que vem por aí para Lakebase
Esses novos recursos estão disponíveis hoje em AWS us-east-1, us-west-2, eu-west-1 e serão implementados gradualmente em mais regiões nas próximas semanas. Confira o documentação do produto para saber mais e experimentar os recursos mais recentes.
Esta atualização representa um avanço significativo para Lakebase. Mas não estamos parados. Espere muitas atualizações interessantes após as férias do próximo ano!
Boas festas da equipe Lakebase!