Em muitas organizações, o monitoramento de dados ainda é uma rotina handbook e repetitiva: abrir o mesmo painel todas as manhãs, executar novamente as mesmas consultas, verificar anomalias. Quando alguém pergunta “Por que esta métrica está baixa?”, muitas vezes ela está errada há horas ou até dias, geralmente sinalizada por uma parte interessada ou por um relatório posterior que já enviou números ruins. A correção é outro ritual handbook. Isso funciona até que não funciona: não é possível escalar entre equipes, ambientes ou cargas de trabalho de produção, e o custo do monitoramento continua aumentando.
Hoje estamos anunciando que Alertas SQL do Databricks está geralmente disponível (GA), com mais de 4.000 clientes já usando Alertas em produção. Os Alertas SQL transformam essa rotina handbook em monitoramento confiável e automatizado: defina uma métrica ou condição uma vez no SQL, avalie-a de acordo com um cronograma (ou alinhado com o pipeline de Jobs que produz os dados) e notifique os proprietários certos quando ela ultrapassar suas barreiras de proteção. Esteja você monitorando KPIs de negócios, como receita, ou integridade operacional, como atualização de pipeline, ou problemas de qualidade de dados, os Alertas SQL ajudam a detectar problemas antecipadamente, reduzir verificações manuais pontuais e manter o monitoramento consistente à medida que o uso aumenta.
“A implementação de Alertas SQL para nossos serviços de detecção de anomalias tornou a observabilidade muito mais simples. Em vez de manter a infraestrutura de monitoramento, agora podemos contar com Alertas para verificar problemas e notificar os usuários. Sua interface simplificada e experiência personalizável reduziram o esforço handbook de nossa equipe e nos ajudaram a identificar problemas mais rapidamente.” —Enrique Olivares, engenheiro de desenvolvimento de software program de Large Information, Zillow
Visão geral dos alertas SQL
O que são alertas SQL?
Um Alerta SQL agrupa uma consulta SQL, uma condição de avaliação, um agendamento e um conjunto de destinos de notificação. Quando o resultado da consulta ultrapassa a condição na sua execução agendada, o Databricks notifica os proprietários certos através dos canais que configura.
O que as equipes podem fazer com alertas SQL:
- Detecte antecipadamente o desvio das métricas de negócios. Alerte quando a receita cair mais de 5% semana após semana, quando a taxa de conversão diária cair abaixo de uma meta ou quando os usuários ativos diariamente caírem em uma região importante.
- Mantenha os pipelines confiáveis. Alerta quando uma tabela não foi atualizada na última hora, quando a contagem de linhas fica abaixo da linha de base esperada ou quando um trabalho carrega dados parciais.
Detecte problemas de qualidade de dados personalizados antes que os painéis sejam interrompidos. Alerta quando as taxas nulas excedem um limite, quando aparecem chaves duplicadas ou quando uma distribuição sai dos limites esperados.
O que está disponível no GA?
SQL Alerts GA inclui tudo que você precisa para criar, operar e dimensionar alertas em produção:
- Alertas de autor no editor SQL. Defina a consulta, a condição de avaliação, o agendamento e as notificações em um fluxo. Você obtém todo o poder do Databricks SQL com Genie Code para ajudá-lo a escrever consultas.
- Execute alertas onde você precisar deles. Use alertas SQL independentes para executar de acordo com sua própria programação ou adicione um Tarefa de alerta SQL para um trabalho Lakeflow para avaliar as condições alinhadas com o pipeline que produz os dados.
- Alcance as pessoas certas da maneira certa. Envie notificações por e-mail, Slack, PagerDuty, Microsoft Groups ou webhooks, com modelos avançados que incluem histórico de avaliação de alertas para que os destinatários possam fazer a triagem com mais rapidez.
- Gerencie alertas como código de produção. Definições de alerta de versão no Git, implante-as por meio Pacotes de automação declarativae automatizar a criação e atualizações por meio de APIs, Terraformae SDKs.
- Observe alertas em grande escala. Novas tabelas do sistema de alertas (em visualização privada) – `system.alert.alerts` e `system.alert.alert_evaluation_history` – exibem dados de configuração e avaliação em seu espaço de trabalho, para que as equipes possam auditar alertas, analisar tendências e gerenciar cargas de trabalho em escala.
“A integração nativa do Databricks torna os alertas simples de definir e confiáveis para operar. Ter a lógica, o agendamento e as notificações de alerta gerenciados em um só lugar – e versionados por meio do Git – nos ajudou a padronizar o monitoramento e detectar problemas mais rapidamente, com muito menos esforço handbook.” —Tom Potash, gerente de engenharia de software program da DoubleVerify
Exemplo de uso de alertas SQL
Agora vamos examinar um exemplo para demonstrar o valor dos Alertas SQL. Uma necessidade comum de monitoramento de negócios é detectar quedas inesperadas nas receitas em relação às linhas de base recentes. Este exemplo mostra como criar um alerta que compara a receita de ontem com a média de sete dias e notifica as pessoas certas quando a queda ultrapassa 5%.
Etapa 1: escreva a consulta no editor SQL
Esta consulta calcula a receita de ontem e compara-a com a média de sete dias.
Saída: Uma única coluna, `revenue_pct_change`, que o alerta avalia. Este alerta seria acionado porque a queda na receita ultrapassava 5%.
Etapa 2: configurar a condição e as notificações
No editor, defina a condição como Revenue_pct_change < -5 e adicione destinatários de notificação. Você também pode personalizar o modelo de notificação usando o editor de markdown avançado para adicionar mais contexto ou próximas etapas em sua notificação.
Etapa 3: agende
Escolha uma cadência para avaliação. Por exemplo, para um KPI crítico para os negócios, a avaliação diária garante que as alterações sejam detectadas em 24 horas.
Quando o alerta é acionado, os destinatários recebem uma notificação com o standing da avaliação do alerta, o resultado, o hyperlink para o alerta e o histórico de execução recente. Você pode começar a investigar imediatamente.
Os Alertas SQL também incluem uma página abrangente de detalhes do alerta com histórico completo de execução, mostrando quando cada avaliação foi executada, se o alerta foi acionado e os destinos notificados. Isso ajuda as equipes a confirmar que o monitoramento está funcionando conforme o esperado e a fazer a triagem com mais rapidez, mostrando quando o alerta começou a ser acionado.
Crie alertas com Genie Code (em breve)
Com Código do Gênioo passo a passo acima se torna uma experiência única. Descreva o alerta que você deseja em linguagem pure (“alerte-me quando a receita diária cair mais de 5% semana após semana”) e o Genie Code cria um alerta para você de ponta a ponta. Você sempre pode pedir ao Genie para fazer edições ou abrir a interface de alertas para editar diretamente.
Execute alertas dentro de trabalhos do Lakeflow
Alertas SQL autônomos são executados de acordo com sua própria programação, independentemente de qualquer pipeline. Isso se aplica a muitos casos de uso de monitoramento: qualquer coisa que não se importe quando os dados upstream chegam.
Mas algumas verificações pertencem ao pipeline que produz os dados: Esta carga pousou dados completos? Esta métrica é sensata antes de publicá-la? A próxima etapa deveria ser executada? Executá-los como alertas agendados autônomos significa que o alerta é executado em sua própria programação, separado do pipeline que produz os dados, e seu resultado não pode influenciar o que acontece a seguir no pipeline.
Com o novo Tarefa de alerta SQL em trabalhos Lakeflow (na visualização pública), você pode fazer exatamente isso. O mesmo objeto de alerta agora pode ser executado dentro dos seus pipelines como uma tarefa. Ele também expõe o estado de avaliação (OK, TRIGGERED ou ERROR) como um valor de saída de tarefa que você pode referenciar no recebimento de dados.
Exemplo: detecte picos de fraude no momento em que os dados da transação chegam
Um pipeline carrega transações de cartão de crédito a cada hora. Se a taxa de fraude aumentar após uma carga, a equipe de operações antifraude precisará saber imediatamente para investigar o aumento.
Adicione uma tarefa de Alerta SQL brand após a etapa de carregamento para verificar se a taxa de sinalização de fraude excede seu limite. Em seguida, adicione uma tarefa If/Else com a condição {{duties.Alert-FraudRateCheck.output.alert_state}} == “TRIGGERED”. Se o alerta retornar OK, o pipeline continuará com os relatórios regulares de BI. Se DISPARADO, ele é direcionado para um pocket book de diagnóstico que gera um detalhamento por categoria de comerciante e região e envia um e-mail para a equipe de operações antifraude. O mesmo objeto de alerta pode conduzir o fluxo do seu pipeline!
Opere alertas de maneira confiável na produção
À medida que os alertas se expandem entre equipes e ambientes, o desafio passa da criação de alertas para o gerenciamento confiável deles ao longo do tempo. SQL Alerts foi criado para lidar com fluxos de trabalho de produção por meio de:
- Integração Git: As definições de alerta ficam no Git, versionadas e revisadas junto com o restante do seu código de produção.
- Pacotes de automação declarativa: Fornece uma maneira estruturada de definir e implantar alertas junto com outros recursos do espaço de trabalho, apoiando a promoção repetível desde o desenvolvimento até a produção.
- APIs, Terraformae SDKs: Crie e gerencie alertas programaticamente por meio de APIs e do SDK do Databricks.
Junte-se aos mais de 4.000 clientes que já usam Alertas SQL. Seu primeiro alerta leva apenas cinco minutos para ser configurado. Leia o Documentação de Alertas SQL e comece com uma consulta de monitoramento que você já verifica periodicamente manualmente!