 |
Hoje estamos expandindo Amazon CloudWatch recursos para unificar e gerenciar dados de log em casos de uso operacionais, de segurança e de conformidade com análises flexíveis e poderosas em um só lugar e com custos e duplicação de dados reduzidos.
Essa melhoria significa que o CloudWatch pode normalizar e processar dados automaticamente para oferecer consistência entre fontes com suporte integrado para Estrutura de esquema de segurança cibernética aberta (OCSF) e Telemetria aberta (OTel) formatos, para que você possa se concentrar em análises e insights. O CloudWatch também apresenta acesso compatível com Apache Iceberg aos seus dados por meio de Tabelas do Amazon Easy Storage Service (Amazon S3)para que você possa executar análises, não apenas localmente, mas também usando Amazon Atenas, Estúdio unificado Amazon SageMakerou qualquer outra ferramenta compatível com Iceberg.
Você também pode correlacionar seus dados operacionais no CloudWatch com outros dados de negócios de suas ferramentas preferidas para correlacionar com outros dados. Essa abordagem unificada simplifica o gerenciamento e fornece correlação abrangente entre casos de uso de segurança, operacionais e de negócios.
Aqui estão as melhorias detalhadas:
- Simplifique a ingestão e normalização de dados – O CloudWatch coleta automaticamente logs vendidos pela AWS em contas e regiões da AWS, integrando-se com Organizações AWS dos serviços da AWS, incluindo AWS CloudTrail, Nuvem privada digital da Amazon (Amazon VPC) Registros de fluxo, AWS WAF registros de acesso, Rota Amazônica 53 logs de resolução e conectores pré-construídos para fontes de terceiros, como endpoint (CrowdStrike, SentinelOne), identidade (Okta, Entra ID), segurança em nuvem (Wiz), segurança de rede (Zscaler, Palo Alto Networks), produtividade e colaboração (Microsoft Workplace 365, Home windows Occasion Logs e GitHub), juntamente com gerente de serviços de TI com ServiceNow CMDB. Para normalizar e processar seus dados à medida que são ingeridos, o CloudWatch oferece conversão OCSF gerenciada para várias fontes de dados da AWS e de terceiros e outros processadores, como Grok, para análise personalizada, operações em nível de campo e manipulações de strings.
- Reduza o gerenciamento dispendioso de dados de log – O CloudWatch consolida o gerenciamento de logs em um único serviço com recursos de governança integrados, sem armazenar e manter diversas cópias dos mesmos dados em diferentes ferramentas e armazenamentos de dados. O armazenamento de dados unificado do CloudWatch elimina a necessidade de pipelines ETL complexos e reduz os custos operacionais e a sobrecarga de gerenciamento necessária para manter vários armazenamentos de dados e ferramentas separados.
- Descubra insights de negócios a partir de dados de registro – Você pode executar consultas no CloudWatch usando consultas em linguagem pure e linguagens de consulta populares, como LogsQL, PPL e SQL, por meio de uma única interface, ou consultar seus dados usando suas ferramentas de análise preferidas por meio de tabelas compatíveis com Apache Iceberg. A nova interface Sides oferece filtragem intuitiva por origem, aplicativo, conta, região e tipo de log, que você pode usar para executar consultas em grupos de log de várias contas e regiões da AWS com inferência inteligente de parâmetros.
Nas próximas seções, exploraremos os novos recursos de gerenciamento e análise de logs do CloudWatch Logs!
1. Descoberta e gerenciamento de dados por fontes e tipos de dados
Você pode ter uma visão geral de alto nível dos logs e de todas as fontes de dados com uma nova visualização de gerenciamento de logs no console do CloudWatch. Para começar, vá para o Console do CloudWatch e escolha Gerenciamento de registros sob o Registros menu no painel de navegação esquerdo. No Resumo Na guia, você pode observar as fontes e os tipos de dados de logs, insights sobre o desempenho dos grupos de logs durante a ingestão e anomalias.
Escolha o Fontes de dados para localizar e gerenciar seus dados de log por fontes de dados, tipos e campos. O CloudWatch ingere e categoriza automaticamente fontes de dados por serviços da AWS, terceiros ou fontes personalizadas, como logs de aplicativos.
Escolha o Ações de fonte de dados para integrar tabelas S3 para fazer logs futuros para fontes de dados selecionadas. Você tem a flexibilidade de analisar os logs por meio do Athena e do Amazon Redshift e de outros mecanismos de consulta, como o Spark, usando padrões de acesso compatíveis com o Iceberg. Com essa integração, os logs do CloudWatch ficam disponíveis em formato somente leitura aws-cloudwatch Balde de tabelas S3.
Ao escolher uma fonte de dados específica, como dados do CloudTrail, você pode visualizar os detalhes da fonte de dados que incluem informações sobre formato de dados, pipeline, índices de facetas/campos, associação de tabelas S3 e o número de logs com essa fonte de dados. Você pode observar todos os grupos de logs incluídos nesta fonte de dados e digitar e editar uma política de índice de campo de origem/tipo usando o novo suporte de esquema.
Para saber mais sobre como gerenciar suas fontes de dados e política de índice, visite Fontes de dados no Guia do usuário do Amazon CloudWatch Logs.
2. Ingestão e transformação usando pipelines CloudWatch
Você pode criar pipelines para agilizar a coleta, transformação e roteamento de dados de telemetria e segurança, ao mesmo tempo em que padroniza formatos de dados para otimizar a observabilidade e o gerenciamento de dados de segurança. O novo recurso de pipeline do CloudWatch conecta dados de um catálogo de fontes de dados, para que você possa adicionar e configurar processadores de pipeline de uma biblioteca para analisar, enriquecer e padronizar dados.
No Gasoduto guia, escolha Adicionar pipeline. Ele mostra o assistente de configuração do pipeline. Este assistente orienta você em cinco etapas nas quais você pode escolher a fonte de dados e outros detalhes da fonte, como tipos de origem de log, configurar o destino, configurar até 19 processadores para executar uma ação em seus dados (como filtrar, transformar ou enriquecer) e, por fim, revisar e implantar o pipeline.
Você também tem a opção de criar pipelines por meio do novo Ingestão experiência em CloudWatch. Para saber mais sobre como configurar e gerenciar os pipelines, visite Gasodutos no Guia do usuário do Amazon CloudWatch Logs.
3. Análise e consulta aprimoradas com base em fontes de dados
Você pode aprimorar análises com suporte para facetas e consultas baseadas em fontes de dados. As facetas permitem a exploração interativa e o detalhamento dos logs e seus valores são extraídos automaticamente com base no período de tempo selecionado.
Escolha o Facetas guia no Informações de registro sob o Registros menu no painel de navegação esquerdo. Você pode visualizar as facetas e os valores disponíveis que aparecem no painel. Escolha uma ou mais facetas e valores para explorar seus dados de forma interativa. Eu escolho Facetas em relação a um grupo e ação de VPC Circulate Logs, faço uma consulta para listar os cinco padrões mais frequentes em meus VPC Circulate Logs por meio do gerador de consulta de IA e obtenho os padrões de resultados.
Você pode salvar sua consulta com as facetas selecionadas e os valores que você especificou. Na próxima vez que você escolher sua consulta salva, os logs a serem consultados terão as facetas e os valores pré-especificados. Para saber mais sobre o gerenciamento de facetas, visite Facetas no Guia do usuário do CloudWatch Logs.
Como observei anteriormente, você pode integrar fontes de dados em tabelas S3 e consultar juntas. Por exemplo, usando um editor de consultas no Athena, você pode consultar o tráfego de rede correlacionado com a atividade da API da AWS de um intervalo de IP específico (174.163.137.*) juntando logs de fluxo de VPC com logs do CloudTrail com base em endereços IP de origem correspondentes.
Este tipo de pesquisa integrada é particularmente valiosa para monitoramento de segurança, investigação de incidentes e detecção de comportamento suspeito. Você pode ver se um IP que está fazendo conexões de rede também está executando operações confidenciais da AWS, como criação de usuários, modificação de grupos de segurança ou acesso a dados.
Para saber mais, visite Integração de tabelas S3 com CloudWatch no Guia do usuário do CloudWatch Logs.
Agora disponível
Novos recursos de gerenciamento de logs do Amazon CloudWatch estão disponíveis hoje em todas as regiões da AWS, exceto nas regiões AWS GovCloud (EUA) e na China. Para disponibilidade regional e roteiro futuro, visite o Capacidades da AWS por região. Não há compromissos iniciais ou taxas mínimas, e você paga pelo uso dos CloudWatch Logs existentes para ingestão, armazenamento e consultas de dados. Para saber mais, visite o Página de preços do CloudWatch.
Experimente no Console do CloudWatch. Para saber mais, visite o Página do produto CloudWatch e envie comentários para AWS re:Publish para CloudWatch Logs ou por meio de seus contatos habituais do AWS Assist.
– Channy