No cenário atual orientado por dados, gerenciar e analisar grandes quantidades de dados, especialmente logs, é essential para que as organizações obtenham insights e tomem decisões informadas. No entanto, lidar com grandes volumes de dados e, ao mesmo tempo, extrair insights é um desafio significativo, levando as organizações a buscar soluções escaláveis sem a complexidade do gerenciamento de infraestrutura.
Amazon OpenSearch sem servidor reduz a carga de provisionamento e dimensionamento manuais de infraestrutura, ao mesmo tempo que permite ingerir, analisar e visualizar seus dados de série temporal, simplificando o gerenciamento de dados e permitindo que você obtenha insights acionáveis a partir dos dados.
Anunciamos recentemente um novo nível de capacidade de 30 TB para dados de série temporal por conta e por região da AWS. A capacidade de computação do OpenSearch Serverless para ingestão de dados e pesquisa/consulta é medida em OpenSearch Compute Items (OCUs), que são compartilhadas entre várias coleções com o mesmo Serviço de gerenciamento de chaves da AWS (AWS KMS) chave. Para acomodar conjuntos de dados maiores, o OpenSearch Serverless agora oferece suporte a até 500 OCUs por conta e por região, cada uma para indexação e pesquisa, respectivamente, mais que o dobro do limite anterior de 200. Você pode configurar os limites máximos de OCU para pesquisa e indexação de forma independente, proporcionando a garantia de uma gestão eficaz dos custos. Você também pode monitorar o uso da OCU em tempo actual com Amazon CloudWatch métricas para obter uma melhor perspectiva sobre o consumo de recursos da sua carga de trabalho. Com o suporte para conjuntos de dados de 30 TB, você pode analisar dados no nível de 30 TB para desbloquear insights operacionais valiosos e tomar decisões baseadas em dados para solucionar problemas de tempo de inatividade de aplicativos, melhorar o desempenho do sistema ou identificar atividades fraudulentas.
Esta postagem discute como você pode analisar conjuntos de dados de série temporal de 30 TB com OpenSearch Serverless.
Inovações e otimizações para suportar dados maiores e respostas mais rápidas
Recursos suficientes de disco, memória e CPU são cruciais para lidar com dados extensos de maneira eficaz e conduzir análises completas. Esses recursos não são apenas benéficos, mas cruciais para nossas operações. Em coleções de séries temporais, o disco OCU normalmente contém fragmentos mais antigos que não são acessados com frequência, chamados de fragmentos quentes. Introduzimos um novo recurso chamado pré-busca de recuperação de fragmentos quentes. Este recurso monitora ativamente os blocos de dados consultados recentemente em busca de um fragmento. Ele os prioriza durante movimentos de fragmentos, como balanceamento de fragmentos, escala vertical e atividades de implantação. Mais importante ainda, ele acelera o escalonamento automático e fornece prontidão mais rápida para diversas cargas de trabalho de pesquisa, melhorando significativamente o desempenho do nosso sistema. Os resultados fornecidos posteriormente nesta postagem fornecem detalhes sobre as melhorias.
Alguns clientes selecionados trabalharam conosco na adoção antecipada antes da disponibilidade geral. Nesses testes, observamos uma melhoria de até 66% no desempenho de consultas quentes para algumas cargas de trabalho de clientes. Esta melhoria significativa mostra a eficácia dos nossos novos recursos. Além disso, aprimoramos a simultaneidade entre os nós coordenadores e de trabalho, permitindo que mais solicitações sejam processadas à medida que as OCUs aumentam por meio do escalonamento automático. Esse aprimoramento resultou em uma melhoria de até 10% no desempenho de consultas para consultas quentes e mornas.
Melhoramos a estabilidade do nosso sistema para lidar com coleções de séries temporais de até 30 TB de forma eficaz. Nossa equipe está comprometida em melhorar o desempenho do sistema, conforme demonstrado pelas melhorias contínuas no sistema de escalonamento automático. Essas melhorias incluíram distribuição aprimorada de fragmentos para posicionamento ideally suited após a sobreposição, políticas de escalonamento automático com base no comprimento da fila e uma estratégia de fragmentação dinâmica que ajusta a contagem de fragmentos com base na taxa de ingestão.
Na seção a seguir, compartilhamos um exemplo de configuração de teste de uma carga de trabalho de 30 TB que usamos internamente, detalhando os dados que estão sendo usados e gerados, juntamente com nossas observações e resultados. O desempenho pode variar dependendo da carga de trabalho específica.
Ingerir os dados
Você pode usar os scripts de geração de carga compartilhados a seguir oficinaou você pode usar seu próprio aplicativo ou gerador de dados para criar uma carga. Você pode executar diversas instâncias desses scripts para gerar uma explosão nas solicitações de indexação. Conforme mostrado na captura de tela a seguir, testamos com um índice, enviando aproximadamente 30 TB de dados em um período de 15 dias. Usamos nosso script gerador de carga para enviar o tráfego para um único índice, retendo os dados por 15 dias usando um política de ciclo de vida de dados.
Metodologia de teste
Definimos o tipo de implantação como ‘Ativar redundância’ para permitir a replicação de dados entre zonas de disponibilidade. Essa configuração de implantação levará de 12 a 24 horas de dados em armazenamento quente (memória de disco OCU) e o restante em Serviço de armazenamento simples da Amazon (Amazon S3). Com um conjunto definido de desempenho de pesquisa e a expectativa de ingestão anterior, definimos o máximo de OCUs como 500 para indexação e pesquisa.
Como parte do teste, observamos o comportamento de escalonamento automático e o representamos graficamente. A indexação demorou cerca de 8 horas para se estabilizar em 80 OCU.
Do lado da Pesquisa, demorou cerca de 2 dias para estabilizar em 80 OCU.
Observações:
Ingestão
O desempenho de ingestão alcançado foi consistentemente superior a 2 TB por dia
Procurar
As consultas eram de dois tipos, com tempo variando de 15 minutos a 15 dias.
Por exemplo
O gráfico a seguir fornece os vários percentis de desempenho na consulta de agregação
A segunda consulta foi
Por exemplo
O gráfico a seguir fornece os vários percentis de desempenho na consulta de pesquisa
O gráfico a seguir resume o intervalo de tempo para diferentes consultas
Conclusão
O OpenSearch Serverless não apenas oferece suporte a um tamanho de dados maior do que as versões anteriores, mas também introduz melhorias de desempenho, como pré-busca de fragmentos quentes e otimização de simultaneidade para melhor resposta à consulta. Esses recursos reduzem a latência de consultas quentes e melhoram o escalonamento automático para lidar com cargas de trabalho variadas. Incentivamos você a aproveitar as vantagens do suporte ao índice de 30 TB e testá-lo! Migre seus dados, discover o rendimento aprimorado e aproveite os recursos aprimorados de escalabilidade.
Para começar, consulte Análise de registros de maneira fácil com o Amazon OpenSearch Serverless. Para obter experiência prática com OpenSearch Serverless, siga o Conceitos básicos do Amazon OpenSearch Serverless workshop, que contém um guia passo a passo para configurar e configurar uma coleção OpenSearch Serverless.
Se você tiver comentários sobre esta postagem, compartilhe-os na seção de comentários. Se você tiver dúvidas sobre esta postagem, inicie um novo tópico no Fórum do Amazon OpenSearch Service ou entre em contato com o suporte da AWS.
Sobre os autores
Satish Nandi é gerente de produto sênior do Amazon OpenSearch Service. Ele está focado em OpenSearch Serverless e tem anos de experiência em redes, segurança e IA/ML. Ele possui bacharelado em Ciência da Computação e MBA em Empreendedorismo. Nas horas vagas, gosta de pilotar aviões, asa-delta e andar de moto.
Milav Xá é líder de engenharia do Amazon OpenSearch Service. Ele se concentra na experiência de pesquisa para clientes do OpenSearch. Ele tem vasta experiência na construção de soluções altamente escaláveis em bancos de dados, streaming em tempo actual e computação distribuída. Ele também possui experiência de domínio funcional em setores como Web das Coisas, proteção contra fraudes, jogos e IA/ML. Nas horas vagas, gosta de andar de bicicleta, fazer caminhadas e jogar xadrez.
Qiaoxuan Xue é engenheiro de software program sênior na AWS, liderando as áreas de pesquisa e benchmarking do projeto Amazon OpenSearch Serverless. Sua paixão reside em encontrar soluções para desafios complexos em sistemas distribuídos de grande escala. Fora do trabalho, ele gosta de trabalhar madeira, andar de bicicleta, jogar basquete e passar tempo com a família e o cachorro.
Prashant Agrawal é arquiteto de soluções especialista em pesquisa sênior do Amazon OpenSearch Service. Ele trabalha em estreita colaboração com os clientes para ajudá-los a migrar suas cargas de trabalho para a nuvem e ajuda os clientes existentes a ajustar seus clusters para obter melhor desempenho e economizar custos. Antes de ingressar na AWS, ele ajudou vários clientes a usar o OpenSearch e o Elasticsearch em seus casos de uso de pesquisa e análise de log. Quando não estiver trabalhando, você poderá encontrá-lo viajando e explorando novos lugares. Resumindo, ele gosta de Comer → Viajar → Repetir.