7 maneiras práticas de cortar o custo de computação do floco de neve



7 maneiras práticas de cortar o custo de computação do floco de neve

O clima mudou e todos perceberam rapidamente o quão caro é do floco de neve.

Como o floco de neve falha – Benn Stancil

Por que o Snowflake é tão caro – Stas Sajin

Desafios de desempenho do floco de neve – Slim Baltagi

Okay, então o Snowflake é caro. Mas o que eu faço sobre isso?

  1. Evite atualizações frequentes
  2. Otimize para custo por quadro com aplicativos em execução 24×7
  3. Sintonize consultas lentas
  4. Reduza a suspensão automática para 1 ou 2 minutos
  5. Construir painéis de estorno de floco de neve
  6. Tente analisadores de custos de terceiros
  7. Definir monitores de recursos e gastar limiares

Deixe -me gostar de cada um deles um pouco mais.


1 Evite atualizações

Bancos de dados modernos como DynamoDB e MongoDB oferecem fluxos CDC.

Suas partes interessadas pedem dados mais frescos.

Você determine atualizar seu armazém com mais frequência e fica sem créditos de floco de neve em uma semana.

Snowflake é construído para o lote. Ele faz operações caras de mesclagem durante a ingestão, e os fluxos do CDC provavelmente queimarão seus créditos de computação em uma semana. Se você vê eventos de Kafka ou tubo de neve entrando em seu armazém, apenas murmure o filho do lote e vá embora.

Armazéns como floco de neve, desvio para o vermelho e bigqery são otimizados para verificações intensivas de varredura de longa duração em relação a dados históricos (por exemplo, “Qual foi o nosso preço médio de venda na França este ano em comparação com o ano passado?”). Por design, eles oferecem baixo custo por GB armazenados, mas fazem operações de varredura caras para todas as consultas. Ter que os desenvolvedores criem aplicativos de dados QPS altos neles é altamente ineficiente (e lento e frustrante).

Plataformas de análise em tempo actual, como Rockset, Druid e Pinot, são otimizadas para a ingestão de streaming e os tipos de padrões seletivos de consulta que os aplicativos de dados precisam, tornando essa raça de bancos de dados a melhor escolha para alimentar as análises de uso do usuário. As consultas são mais rápidas e mais eficientes porque usam índices em vez de varreduras de força bruta. A latência da consulta e o custo por mar são mais baixas.

Para determinadas cargas de trabalho, você deve otimizar para custos por mar, não custos por GB. Use um armazém como o Snowflake para cargas de trabalho de BI com consultas pouco frequentes e um banco de dados de análise em tempo actual como Rockset Para aplicativos de dados executados 24×7. Usar a ferramenta certa para o trabalho normalmente significa consultas mais rápidas a um custo de computação mais baixo.

“O que eu faço quando minha consulta de floco de neve é ​​lenta? Eu mato a consulta e coloquei a computação ”


3 música

Além dos truques de ajuste de desempenho mais conhecidos, como agrupamento de dados e vistas materializadas, o Snowflake tem um número razoável de otimizações de consulta lentas, como reduzir as filas, usar o cache de resultados, combater o derramamento de disco, corrigindo explosões de linha, fixando a poda inadequada.

Aqui estão algumas dicas úteis: Como otimizar consultas lentas

Execute esta consulta SQL de floco de neve para encontrar as consultas mais caras da história da consulta nos últimos 30 dias e ajuste as mais frequentes.


4 Reduza

5 minutos é muito tempo quando você está parado. E é muito longo quando você está queimando computação.

Girar um novo armazém digital é rápido. Por padrão, os flocos de neve definem automaticamente a 5 minutos, mas é fácil alterá-lo para 1 ou 2 minutos.

“Eu uso um floco de neve grande. Quanto me custa? Não tenho idéia “(do usuário actual do Flake)

“Meu CFO está me pedindo faturas. Encontrei os créditos, mas ainda não tenho certeza de quanto estou gastando ”(dos fóruns de Snowflake)

Aqui estão algumas dicas úteis: Como construir esses painéis de estorno

Por padrão, apenas a função de conta de dinina pode visualizar o faturamento. Primeiro, conceda a todos os seus usuários monitorar os privilégios de uso. Em seguida, construa um painel geral de consumo de crédito com mapeamento actual de créditos em dólares. E construa o consumo de crédito e os painéis de execução de consultas pelo armazém. Compartilhe relatórios mensais com todos os usuários.

É o melhor que posso fazer? Esta é uma pergunta que assombra o melhor de nós.

Aqui está um utilitário útil de otimização de carga de trabalho de floco de neve distribuído por Bluesky


6 Tente terceiro

Use analisadores de custos de terceiros com monitoramento inteligente, fornecem bons benchmarks do setor e ofereça recomendações passo a passo.


7 Conjunto

Não há maneiras seguras de ficar rico. Mas algumas coisas são uma ladeira escorregadia. Não seja aquele cara (ou gal).

Defina limites duros para notificações e alertas de gastos e configuração. Quando seu armazém atingir 50% do limiar de gasto, inspecione seus padrões de ingestão e consulta e faça a coisa certa.



Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *