Nos atuais casos de uso de observabilidade e segurança em rápida evolução, o conceito de “mudança para a esquerda” foi além do simples desenvolvimento de software program. Com o aumento consistente e rápido dos volumes de dados em logs, métricas, rastreamentos e eventos, as organizações precisam ser muito mais cuidadosas nos esforços para transformar o caos em controle quando se trata de compreender e gerenciar seus conjuntos de dados de streaming. As equipes estão se esforçando para serem mais proativas no gerenciamento de seus sistemas de produção de missão crítica e precisam conseguir uma detecção muito mais precoce de possíveis problemas. Esta abordagem enfatiza a movimentação de atividades tradicionalmente de estágio closing — como ver, compreender, transformar, filtrar, analisar, testar e monitorar — mais perto do início do ciclo de criação de dados. Com o crescimento das arquiteturas de próxima geração, tecnologias nativas da nuvem, microsserviços e Kubernetes, as empresas estão adotando cada vez mais Pipelines de Telemetria para permitir essa mudança. Um elemento-chave nesse movimento é o conceito de hierarquização de dados, uma estratégia de otimização de dados que desempenha um papel crítico no alinhamento da relação custo-valor para equipes de observabilidade e segurança.
O movimento de mudança para a esquerda: caos para controlar
“Mudança para a esquerda” originou-se no domínio do DevOps e dos testes de software program. A ideia period simples: encontrar e corrigir problemas no início do processo para reduzir riscos, melhorar a qualidade e acelerar o desenvolvimento. À medida que as organizações adotaram o DevOps e os pipelines de integração/entrega contínua (CI/CD), os benefícios de mudar para a esquerda tornaram-se cada vez mais claros: menos retrabalho, implantações mais rápidas e sistemas mais robustos.
No contexto de observabilidade e segurança, mudar para a esquerda significa realizar a análise, a transformação e o roteamento de logs, métricas, rastreamentos e eventos muito acima, extremamente no início de seu ciclo de vida de uso — uma abordagem muito diferente em comparação com a tradicional “centralização”. então analisar”. Ao integrar esses processos antecipadamente, as equipes podem não apenas reduzir drasticamente os custos de volumes de dados que de outra forma seriam proibitivos, mas também detectar anomalias, problemas de desempenho e possíveis ameaças à segurança com muito mais rapidez, antes que se tornem grandes problemas na produção. A ascensão dos microsserviços e das arquiteturas Kubernetes acelerou especificamente essa necessidade, à medida que a complexidade e a natureza distribuída dos aplicativos nativos da nuvem exigem insights mais granulares e em tempo actual, e cada conjunto de dados localizado é distribuído quando comparado aos monólitos do passado.
Isso leva à crescente adoção de Pipelines de Telemetria.
O que são pipelines de telemetria?
Os pipelines de telemetria são desenvolvidos especificamente para permitir arquiteturas de próxima geração. Eles são projetados para dar visibilidade e pré-processar, analisar, transformar e rotear dados de observabilidade e segurança de qualquer origem para qualquer destino. Esses pipelines oferecem às organizações uma caixa de ferramentas abrangente e um conjunto de recursos para controlar e otimizar o fluxo de dados de telemetria, garantindo que os dados corretos cheguem ao destino downstream correto, no formato correto, para permitir todos os casos de uso corretos. Eles oferecem uma maneira flexível e escalável de integrar múltiplas plataformas, ferramentas e serviços de observabilidade e segurança.
Por exemplo, em um ambiente Kubernetes, onde a natureza efêmera dos contêineres pode aumentar ou diminuir dinamicamente, os logs, métricas e rastreamentos dessas cargas de trabalho dinâmicas precisam ser processados e armazenados em tempo actual. Telemetry Pipelines fornecem a capacidade de agregar dados de vários serviços, ser granular sobre o que você deseja fazer com esses dados e, em última análise, enviá-los downstream para o destino closing apropriado – seja uma plataforma de segurança tradicional como o Splunk, que tem um alto custo unitário para dados ou um native de armazenamento mais escalável e econômico, otimizado para grandes conjuntos de dados de longo prazo, como AWS S3.
O papel da hierarquização de dados
À medida que os dados de telemetria continuam a crescer a uma taxa exponencial, as empresas enfrentam o desafio de gerir custos sem comprometer os insights de que necessitam em tempo actual ou a exigência de retenção de dados para auditoria, conformidade ou investigações de segurança forense. É aqui que camadas de dados A classificação em camadas de dados é uma estratégia que segmenta os dados em diferentes níveis (camadas) com base em seu valor e caso de uso, permitindo que as organizações otimizem custos e desempenho.
Em observabilidade e segurança, isso significa identificar dados de alto valor que requerem análise imediata e aplicar muito mais pré-processamento e análise a esses dados, em comparação com dados de menor valor que podem simplesmente ser armazenados de forma mais econômica e acessados posteriormente, se necessário . Essa abordagem em camadas normalmente inclui:
- Nível superior (dados de alto valor): Dados críticos de telemetria, vitais para análise e solução de problemas em tempo actual, são ingeridos e armazenados em plataformas de alto desempenho, como Splunk ou Datadog. Esses dados podem incluir logs, métricas e rastreamentos de alta prioridade que são essenciais para ações imediatas. Embora isso possa incluir muitos dados em formatos brutos, o alto custo dessas plataformas normalmente faz com que as equipes encaminhem apenas os dados que são realmente necessários.
- Camada intermediária (dados de valor moderado): dados que são importantes, mas que não atendem aos padrões de envio para um sistema centralizado convencional e premium e, em vez disso, são roteados para plataformas de observabilidade mais econômicas com arquiteturas mais recentes, como Edge Delta. Isso pode incluir um conjunto muito mais abrangente de logs, métricas e rastreamentos que fornecem uma compreensão mais ampla e útil de todas as diversas coisas que acontecem em seus sistemas de missão crítica.
- Camada inferior (todos os dados): Devido à natureza extremamente barata do S3 em relação às plataformas de observabilidade e segurança, todos os dados de telemetria em sua totalidade podem ser armazenados de forma viável para análise de tendências de longo prazo, auditoria ou conformidade, ou para fins de investigação em soluções de baixo custo como o AWS S3. Normalmente, trata-se de um armazenamento frio que pode ser acessado sob demanda, mas não precisa ser processado ativamente.
Essa arquitetura multicamadas permite que grandes empresas obtenham os insights necessários de seus dados, ao mesmo tempo que gerenciam custos e garantem a conformidade com políticas de retenção de dados. É importante ter em mente que a camada intermediária normalmente inclui todos os dados da camada superior e muito mais, e o mesmo vale para a camada inferior (que inclui todos os dados das camadas superiores e mais). Como o custo por camada para os destinos downstream subjacentes pode, em muitos casos, ser de ordens de magnitude diferentes, não há muitos benefícios em não duplicar todos os dados que você está colocando no Datadog também em seus buckets S3, por exemplo . É muito mais fácil e útil ter um conjunto de dados completo no S3 para qualquer necessidade posterior.
Como os pipelines de telemetria permitem a hierarquização de dados
Os pipelines de telemetria servem como a espinha dorsal dessa abordagem de dados em camadas, proporcionando complete controle e flexibilidade no roteamento de dados com base em regras predefinidas e prontas para uso e/ou lógica de negócios específica para as necessidades de suas equipes. Veja como eles facilitam a hierarquização de dados:
- Processamento em tempo actual: para dados de alto valor que exigem ação imediata, os Telemetry Pipelines fornecem processamento e roteamento em tempo actual, garantindo que logs, métricas ou alertas de segurança críticos sejam entregues instantaneamente à ferramenta certa. Como os Telemetry Pipelines têm um componente de agente, grande parte desse processamento pode acontecer localmente de maneira extremamente eficiente em termos de computação, memória e disco.
- Filtragem e Transformação: nem todos os dados de telemetria são criados iguais e as equipes têm necessidades muito diferentes sobre como podem usar esses dados. Os pipelines de telemetria permitem filtragem e transformação abrangentes de qualquer log, métrica, rastreamento ou evento, garantindo que apenas as informações mais críticas sejam enviadas para plataformas de alto custo, enquanto o conjunto de dados completo (incluindo dados menos críticos) pode então ser roteado para plataformas de maior custo. -armazenamento eficiente.
- Enriquecimento e roteamento de dados: Os pipelines de telemetria podem ingerir dados de uma ampla variedade de fontes — clusters Kubernetes, infraestrutura de nuvem, pipelines de CI/CD, APIs de terceiros and so forth. — e, em seguida, aplicar vários enriquecimentos a esses dados antes de serem roteados para a plataforma downstream apropriada.
- Dimensionamento Dinâmico: À medida que as empresas escalam seus clusters Kubernetes e aumentam o uso de serviços em nuvem, o quantity de dados de telemetria cresce significativamente. Devido à sua arquitetura alinhada, os Telemetry Pipelines também são dimensionados dinamicamente para lidar com essa carga crescente sem afetar o desempenho ou a integridade dos dados.
Os benefícios para equipes de observabilidade e segurança
Ao adotar Pipelines de Telemetria e camadas de dados, as equipes de observabilidade e segurança podem se beneficiar de várias maneiras:
- Eficiência de custos: as empresas podem reduzir significativamente os custos encaminhando os dados para o nível mais apropriado com base no seu valor, evitando despesas desnecessárias de armazenamento de dados de baixo valor em plataformas de alto desempenho.
- Solução de problemas mais rápida: Não só pode haver algum monitoramento e detecção de anomalias dentro dos próprios pipelines de telemetria, mas os dados críticos de telemetria também são processados com extrema rapidez e roteados para plataformas de alto desempenho para análise em tempo actual, permitindo que as equipes detectem e resolvam problemas com muito mais velocidade. .
- Segurança aprimorada: Enriquecimentos de dados de tabelas de pesquisa, pacotes pré-construídos que se aplicam a diversas tecnologias conhecidas de terceiros e retenção mais escalonável de longo prazo de conjuntos de dados maiores permitem que as equipes de segurança tenham melhor capacidade de encontrar e identificar IOCs em todos os logs e dados de telemetria , melhorando sua capacidade de detectar ameaças antecipadamente e responder a incidentes com mais rapidez.
- Escalabilidade: À medida que as empresas crescem e suas necessidades de telemetria se expandem, os Telemetry Pipelines podem escalar naturalmente com elas, garantindo que possam lidar com volumes crescentes de dados sem sacrificar o desempenho.
Tudo começa com Pipelines!
Os pipelines de telemetria são a base central para o gerenciamento sustentável do caos da telemetria — e são cruciais em qualquer tentativa de lidar com volumes crescentes de logs, métricas, rastreamentos e eventos. À medida que as grandes empresas continuam a mudar para a esquerda e a adotar abordagens mais proativas à observabilidade e à segurança, vemos que os pipelines de telemetria e a hierarquização de dados estão a tornar-se essenciais nesta transformação. Ao utilizar uma estratégia de gestão de dados em níveis, as organizações podem otimizar custos, melhorar a eficiência operacional e melhorar a sua capacidade de detetar e resolver problemas mais cedo no ciclo de vida. Uma vantagem importante adicional que não focamos neste artigo, mas que é importante destacar em qualquer discussão sobre pipelines de telemetria modernos, é seu suporte completo de ponta a ponta para Telemetria Aberta (OTel), que está se tornando cada vez mais o padrão da indústria para coleta e instrumentação de dados de telemetria. Com suporte OTel integrado, esses pipelines integram-se perfeitamente a diversos ambientes, permitindo que as equipes de observabilidade e segurança coletem, processem e encaminhem dados de telemetria de qualquer fonte com facilidade. Essa compatibilidade abrangente, combinada com a flexibilidade da classificação de dados em camadas, permite que as empresas obtenham observabilidade e segurança unificadas, escaláveis e econômicas, projetadas para serem dimensionadas para o futuro e além.
Para saber mais sobre o Kubernetes e o ecossistema nativo da nuvem, junte-se a nós em KubeCon + CloudNativeCon América do Norteem Salt Lake Metropolis, Utah, de 12 a 15 de novembro de 2024.