Crie um painel OpenSearch com o Amazon OpenEarch Service

A análise efetiva do log é essencial para manter a saúde e o desempenho de aplicações modernas. Amazon OpenSearch Service se destaca como uma solução poderosa e totalmente gerenciada para análise de logs e observabilidade. Com sua indexação avançada, pesquisa de texto completo e recursos de análise em tempo actual, o Serviço de Opensearch possibilita que as organizações ingeram, processem e pesquisassem dados em diversas fontes-incluindo serviços da AWS como como Amazon CloudWatchToras de fluxo VPC e muito mais.

Com os painéis OpenEarch, você pode transformar dados de log indexados em visualizações acionáveis que revelam insights e ajudam a detectar anomalias. Ao consultar dados armazenados no serviço OpenEarch, você pode extrair informações relevantes e exibi -las usando uma variedade de tipos de visualização – como gráficos de linha, gráficos de barras, gráficos de pizza, mapas de calor e muito mais. Essas ferramentas tornam fácil monitorar o comportamento do sistema, identificar tendências e identificar rapidamente problemas em seu ambiente.

Esta postagem demonstra como aproveitar os painéis OpenSearch para analisar logs visible e interativamente. Com esta solução, administradores de TI, desenvolvedores e engenheiros de DevOps podem criar painéis personalizados para monitorar o comportamento do sistema, detectar anomalias antecipadamente e solucionar problemas mais rapidamente por meio de gráficos e gráficos interativos.

Visão geral da solução

Nesta postagem, mostramos como criar um padrão de índice nos painéis do OpenEarch, criar dois tipos de visualizações e exibir essas visualizações em um painel personalizado. Também demonstramos como exportar e importar visualizações.

Pré -requisitos

Antes de mergulhar na análise de log com os painéis OpenEarch, você deve ter o seguinte:

• Um domínio do serviço de opensearch devidamente configurado
• Uma coleção de logs de trabalho e oleoduto de ingestão

Amazon OpenEarch Service 101: Crie seu primeiro aplicativo de pesquisa Com o OpenSearch, o guia através da configuração do domínio do serviço OpenEarch e configurando o pipeline de ingestão de log.

Para esta postagem, trabalhamos com as seguintes fontes de log, que já foram ingeridas em um cluster de serviço OpenEarch como parte das etapas de pré -requisito:

Entry OpenSearch Painéis

Conclua as etapas a seguir para acessar os painéis OpenSearch:

1. No console de serviço do OpenEarch, escolha Domínios no painel de navegação.
2. Verifique se o seu standing de domínio mostra como Ativo.
3. Escolha seu domínio para abrir a página de detalhes do domínio.
4. Escolha o URL dos painéis OpenSearch para abri -lo em uma nova janela do navegador.

5. Autentique -se em painéis de opensearch usando um dos Métodos suportados.

Crie um padrão de índice

Depois de fazer login nos painéis do OpenSearch, você deve criar um padrão de índice. Um padrão de índice permite que os painéis do OpenEarch localizem índices para pesquisar. Full as seguintes etapas

1. Nos painéis do OpenEarch, expanda o painel de navegação e escolha Gerenciamento do painel sob Gerenciamento.
2. Escolher Padrões de índice no painel de navegação.

3. Escolher Criar padrão de índice.
4. Para Nome do padrão do índiceinsira um nome (por exemplo, log-aws-cloudtrail-*).
5. Escolher Próximo passo.

6. Para Campo de tempoescolher @timestamp.
7. Escolher Criar padrão de índice.

Criar visualizações

Agora que o padrão de índice é criado, vamos criar algumas visualizações. Para esta postagem, criamos um gráfico de pizza e um gráfico de área.

Crie um gráfico de pizza

Full as etapas a seguir para criar um gráfico de pizza:

1. Nos painéis OpenEarch, escolha Visualizar no painel de navegação.

2. Escolher Criar visualização.

3. Escolher Torta como o tipo de visualização.
4. Para Fonteescolher log-aws-cloudtrail-*.

5. Sob Baldesescolher Adicionar e Fatias divididas.

6. Para Agregaçãoescolher Termos.

7. Para Campoescolher eventName.
8. Para Tamanhodigitar 10.

9. Deixe todos os outros parâmetros como padrão e escolha Atualizar.
10. Escolher Salvar Para salvar a visualização.

Exemplo de arquivo ndjson para o gráfico de pizza – eventnamepie.ndjson

Por favor, consulte Exportar e importar visualizações para como importar as amostras.

A captura de tela a seguir mostra nosso gráfico de pizza, que exibe diferentes tipos de eventos e sua porcentagem de ocorrência nos últimos 30 minutos.

Crie um gráfico de área

Full as etapas a seguir para criar um gráfico de área:

1. Nos painéis OpenEarch, escolha Visualizar no painel de navegação.
2. Escolher Criar visualização.
3. Escolher Área como o tipo de visualização.

4. Para Fonteescolher log-aws-cloudtrail-*.

5. Sob Baldesescolher Adicionar e Eixo x.

6. Para Agregaçãoescolher Histograma de knowledge.
7. Para Campoescolher @timestamp.
8. Deixe todos os outros parâmetros como padrão e escolha Atualizar

9. Sob Avançadoescolher Adicionar e Série dividida.

10. Para Agregaçãoescolher Termos.
11. Para Campoescolher eventName.
12. Para Tamanhodigitar 10.
13. Deixe todos os outros parâmetros como padrão e escolha Atualizar.

14. Escolher Salvar.
15. Atualizar o intervalo de tempo para Últimos 60 minutos.
16. Escolher Atualizar e Salvar.

A captura de tela a seguir mostra um gráfico de área com diferentes tipos de eventos e sua contagem de ocorrências nos últimos 60 minutos.

Amostra Ndjson Arquivo para o gráfico de área – Eventnameea.ndjson

Por favor, consulte Exportar e importar visualizações para como importar as amostras.

Crie um painel

Agora vamos combinar as visualizações que acabamos de criar em um painel. Um painel serve como uma interface personalizável que consolida várias visualizações, pesquisas salvas e vários conteúdos em uma visão abrangente dos dados. Os usuários podem combinar diversos elementos visuais – incluindo gráficos, gráficos, métricas e tabelas – em uma única tela coesa que pode ser organizada e redimensionada em um structure flexível de grade. Você pode aplicar simultaneamente filtros e intervalos de tempo em várias visualizações, criando uma experiência analítica coordenada. Full as seguintes etapas para criar um painel:

1. Nos painéis OpenEarch, escolha Painéis no painel de navegação.
2. Escolher Crie um novo painel.

3. Escolher Adicionar Na barra de menus.

4. Procure e escolha as visualizações que você criou.

Você pode redimensionar os painéis arrastando seus cantos para ajustar as dimensões. Para modificar o arranjo de structure, você pode arrastar a parte superior dos painéis, o que permite organizá -los horizontalmente em formação de linha. Ao trabalhar com visualizações tabulares, o sistema oferece uma opção conveniente para exportar seus resultados no formato CSV para fins adicionais de análise ou relatório.

5. Escolher Salvar.
6. Alterar o intervalo de tempo para Últimos 60 minutos.
7. Escolher Atualizar e Salvar.

Amostra de arquivo ndjson para o painel – Cloudtrailsummary.ndjson

Por favor, consulte Exportar e importar visualizações para como importar as amostras.

A captura de tela a seguir mostra o painel Cloudtrail exibindo as duas visualizações.

Exportar e importar visualizações

No OpenEarch, um arquivo ndjson é usado para importar e exportar objetos salvos, como painéis, visualizações, mapas e modelo de índice. O arquivo ndjson fornece uma abordagem simplificada para lidar com grandes conjuntos de dados, representando cada objeto JSON em uma linha separada. Esse formato permite operações eficientes de importação/exportação, migração de dados simplificada entre ambientes e compartilhamento contínuo de configurações complexas de painel. As organizações podem fazer backup e restaurar visualizações críticas, pesquisas salvas e configurações de painel, mantendo sua integridade. A estrutura do formato reduz a sobrecarga da memória durante grandes transferências e melhora a velocidade de processamento para operações em massa. A natureza legível por humanos da NDJSON também facilita a solução de problemas e a edição guide quando necessário, tornando-a uma ferramenta inestimável para manter as implantações de painéis do OpenSearch nos ambientes de desenvolvimento, teste e produção.

Exportar uma visualização

Full as seguintes etapas para exportar uma visualização:

1. Nos painéis OpenEarch, escolha Objetos salvos no painel de navegação.
2. Procure e selecione seu objeto (neste caso, uma visualização) e escolha Exportar.

O arquivo ndjson é baixado em seu host native.

Importar uma visualização

Conclua as seguintes etapas para importar uma visualização:

1. Nos painéis OpenEarch, escolha Objetos salvos no painel de navegação.
2. Escolher Importar.
3. Escolha o primeiro arquivo ndjson a ser importado do seu host native.
4. Selecione Crie novos objetos com IDs aleatórios.
5. Escolher Importar.

6. Escolher Feito.

7. Escolher Importar.

Agora você pode abrir o objeto importado.

A captura de tela a seguir mostra nosso painel atualizado.

Limpar

Para limpar seus recursos, exclua o domínio do serviço OpenEarch e informações relevantes armazenadas ou visualizações criadas no domínio. Você não poderá recuperar os dados depois de excluí -los.

1. No console de serviço do OpenEarch, escolha Domínios no painel de navegação.
2. Selecione o domínio que você criou e escolha Excluir.

Conclusão

Os painéis do OpenEarch são uma ferramenta poderosa para transformar dados de log bruto em visualizações acionáveis que impulsionam insights e tomada de decisão. Nesta postagem, mostramos como criar visualizações como gráficos de pizza e gráficos de área, construir painéis abrangentes e exportar e importar com eficiência seu trabalho usando arquivos NDJSON. Usando os recursos do Serviço Opensearch totalmente gerenciados, as organizações podem se concentrar em extrair informações valiosas, em vez de gerenciar a infraestrutura, aumentando sua postura de observabilidade e eficiência operacional.

Para aprimorar ainda mais sua proficiência no Opensearch, considere explorar opções avançadas de visualização, como mapas de calor, gráficos de bitola e mapas geográficos que podem representar seus dados de maneiras mais especializadas. A implementação de alerta automatizada com base em limites predefinidos ajudará você a identificar proativamente as anomalias antes que elas se tornem questões críticas. Você também pode usar os poderosos recursos de aprendizado de máquina da Opensearch para sofisticar detecção de anomalias e análises preditivas para obter informações mais profundas com os dados de log. À medida que sua implementação cresce, a personalização das configurações de segurança com controles de acesso de granulação fina fornecerá a visibilidade apropriada dos dados em diferentes equipes da sua organização.

Para recursos de aprendizado abrangentes, consulte o Guia do Desenvolvedor de Serviços Amazon OpenEarchassistir Crie seu primeiro painel OpenSearch No YouTube, discover as melhores práticas em Amazon OpenSearch Weblog postse ganhar experiência prática através de workshops disponíveis em Workshops da AWS.

Sobre os autores

Smita Singh é um arquiteto sênior de soluções da AWS. Ela se concentra na definição da visão estratégica técnica e trabalha em arquitetura, design e implementação de plataformas modernas e escaláveis para empresas globais em larga escala e fornecedores de SaaS. Ela é um entusiasta de dados, análise e IA generativa e é apaixonada por construir soluções e aceleradores de plataforma e aceleradores de plataforma e aceleradores com vários inquilinos e tolerantes a falhas.

DIPAYAN SARKAR é um arquiteto de soluções especializadas para análises da AWS, onde ajuda os clientes modernizar sua plataforma de dados usando serviços de análise da AWS. Ele trabalha com os clientes para projetar e criar soluções de análise, permitindo que as empresas tomem decisões orientadas a dados.