Estamos felizes em anunciar o novo custo de entrada mais baixo para Amazon OpenSearch sem servidor. Com suporte para metade (0,5) OpenSearch Compute Models (OCUs) para indexação e cargas de trabalho de pesquisa, o custo de entrada é cortado pela metade. O Amazon OpenSearch Serverless é uma opção de implantação sem servidor para o Amazon OpenSearch Service que você pode usar para executar cargas de trabalho de pesquisa e análise sem as complexidades de gerenciamento de infraestrutura, ajuste de shard ou gerenciamento de ciclo de vida de dados. O OpenSearch Serverless provisiona e dimensiona recursos automaticamente para fornecer taxas de ingestão de dados consistentemente rápidas e tempos de resposta de consulta em milissegundos durante padrões de uso e demanda de aplicativos em mudança.
O OpenSearch Serverless oferece três tipos de coleções para ajudar a atender às suas necessidades: séries temporais, pesquisa e vetor. O novo custo de entrada mais baixo beneficia todos os tipos de coleção. As coleções de vetores surgiram como uma carga de trabalho predominante ao usar o OpenSearch Serverless como um Base rochosa da Amazônia base de conhecimento. Com a introdução de half OCUs, o custo para cargas de trabalho de vetores pequenos é reduzido pela metade. Coleções de séries temporais e de pesquisa também se beneficiam, especialmente para cargas de trabalho pequenas, como implantações de prova de conceito e ambientes de desenvolvimento e teste.
Uma OCU completa inclui uma vCPU, 6 GB de RAM e 120 GB de armazenamento. Uma meia OCU oferece meia vCPU, 3 GB de RAM e 60 GB de armazenamento. O OpenSearch Serverless dimensiona uma meia OCU primeiro para uma OCU completa e depois em incrementos de uma OCU. Cada OCU também usa o Amazon Easy Storage Service (Amazon S3) como um armazenamento de apoio; você paga pelos dados armazenados no Amazon S3, independentemente do tamanho da OCU. O número de OCUs necessárias para a implantação depende do tipo de coleta, juntamente com os padrões de ingestão e pesquisa. Abordaremos os detalhes mais adiante no publish e contrastaremos como a nova base de meia OCU traz benefícios.
O OpenSearch Serverless separa a indexação e a pesquisa de computação, implantando conjuntos de OCUs para cada necessidade de computação. Você pode implantar o OpenSearch Serverless de duas formas: 1) Implantação com redundância para produção e 2) Implantação sem redundância para desenvolvimento ou teste.
Observação: o OpenSearch Serverless implanta o dobro de computação para indexação e pesquisa em implantações redundantes.
Tipo de implantação sem servidor OpenSearch
A figura a seguir mostra a arquitetura do OpenSearch Serverless no modo de redundância.
No modo de redundância, o OpenSearch Serverless implanta duas OCUs base para cada conjunto de computação (indexação e pesquisa) em duas Zonas de Disponibilidade. Para pequenas cargas de trabalho com menos de 60 GB, o OpenSearch Serverless usa metade das OCUs como tamanho base. A implantação mínima é de quatro unidades base, duas para indexação e duas para pesquisa. O custo mínimo é de aproximadamente US$ 350 por mês (quatro meias OCUs). Todos os preços são cotados com base na região Leste dos EUA e 30 dias por mês. Durante a operação regular, todas as OCUs estão em operação para atender ao tráfego. O OpenSearch Serverless aumenta a partir dessa linha de base conforme necessário.
Para implantações não redundantes, o OpenSearch Serverless implanta uma OCU base para cada conjunto de computação, custando US$ 174 por mês (duas meias OCUs).
Configurações redundantes são recomendadas para implantações de produção para manter a disponibilidade; se uma Zona de Disponibilidade cair, a outra pode continuar atendendo ao tráfego. Implantações não redundantes são adequadas para desenvolvimento e teste para reduzir custos. Em ambas as configurações, você pode definir um limite máximo de OCU para gerenciar custos. O sistema aumentará até esse limite durante picos de carga, se necessário, mas não o excederá.
Coleções e alocações de recursos do OpenSearch Serverless
O OpenSearch Serverless usa unidades de computação de forma diferente dependendo do tipo de coleta e mantém seus dados no Amazon S3. Quando você ingere dados, o OpenSearch Serverless os grava no disco OCU e no Amazon S3 antes de reconhecer a solicitação, garantindo a durabilidade dos dados e o desempenho do sistema. Dependendo do tipo de coleta, ele também mantém os dados no armazenamento native das OCUs, dimensionando para acomodar as necessidades de armazenamento e computador.
O tipo de coleta de séries temporais foi projetado para ser econômico, limitando a quantidade de dados mantidos no armazenamento native e mantendo o restante no Amazon S3. O número de OCUs necessárias depende da quantidade de dados e do período de retenção da coleta. O número de OCUs que o OpenSearch Serverless usa para sua carga de trabalho é o maior dos OCUs mínimos padrão ou o número mínimo de OCUs necessárias para armazenar a parte mais recente dos seus dados, conforme definido pelo seu Política de ciclo de vida de dados sem servidor OpenSearch. Por exemplo, se você ingerir 1 TiB por dia e tiver um período de retenção de 30 dias, o tamanho dos dados mais recentes será de 1 TiB. Você precisará de 20 OCUs (10 OCUs x 2) para indexação e outros 20 OCUS (10 OCUs x 2) para pesquisa (com base nos 120 GiB de armazenamento por OCU). O acesso a dados mais antigos no Amazon S3 aumenta a latência das respostas de consulta. Essa compensação na latência de consulta para dados mais antigos é feita para economizar no custo de OCUs.
O tipo de coleção de vetores usa RAM para armazenar gráficos de vetores, bem como disco para armazenar índices. As coleções de vetores mantêm dados de índice no armazenamento native da OCU. Ao dimensionar para cargas de trabalho de vetores, ambas as necessidades são levadas em consideração. Os limites de RAM da OCU são atingidos mais rapidamente do que os limites de disco da OCU, fazendo com que as coleções de vetores sejam limitadas pelo espaço de RAM.
O OpenSearch Serverless aloca recursos de OCU para coleções de vetores da seguinte forma. Considerando OCUs completas, ele usa 2 GB para o sistema operacional, 2 GB para o heap Java e os 2 GB restantes para gráficos vetoriais. Ele usa 120 GB de armazenamento native para índices do OpenSearch. A RAM necessária para um gráfico vetorial depende das dimensões do vetor, do número de vetores armazenados e do algoritmo escolhido. Veja Escolha o algoritmo k-NN para seu caso de uso em escala de bilhões com OpenSearch para uma revisão e fórmulas para ajudar você a pré-calcular as necessidades de RAM vetorial para sua implantação do OpenSearch Serverless.
Observação: muitos dos comportamentos do sistema são explicados a partir de junho de 2024. Verifique novamente nos próximos meses, pois novas inovações continuam reduzindo os custos.
Regiões AWS com suporte
O suporte para os novos mínimos de OCU para OpenSearch Serverless agora está disponível em todas as regiões que oferecem suporte ao OpenSearch Serverless. Veja Lista de serviços regionais da AWS para mais informações sobre a disponibilidade do OpenSearch Service. Veja a documentação para saiba mais sobre o OpenSearch Serverless.
Conclusão
A introdução de half OCUs oferece uma redução significativa nos custos básicos do Amazon OpenSearch Serverless. Se você tem um conjunto de dados menor e uso limitado, agora pode aproveitar esse custo menor. A natureza econômica dessa solução e o gerenciamento simplificado de cargas de trabalho de pesquisa e análise garantem uma operação perfeita, mesmo quando as demandas de tráfego variam.
Sobre os autores
Satish Nandi é um gerente sênior de produtos no Amazon OpenSearch Service. Ele é focado em OpenSearch Serverless e Geospatial e tem anos de experiência em redes, segurança, ML e IA. Ele é bacharel em Ciência da Computação e tem MBA em Empreendedorismo. Em seu tempo livre, ele gosta de pilotar aviões, voar de asa delta e andar de motocicleta.
Jon Handler é um Arquiteto Sênior de Soluções Principais na Amazon Internet Companies com sede em Palo Alto, CA. Jon trabalha em estreita colaboração com o OpenSearch e o Amazon OpenSearch Service, fornecendo ajuda e orientação a uma ampla gama de clientes que têm cargas de trabalho de análise de pesquisa e log que desejam mover para a Nuvem AWS. Antes de ingressar na AWS, a carreira de Jon como desenvolvedor de software program incluiu quatro anos de codificação de um mecanismo de busca de comércio eletrônico em larga escala. Jon é Bacharel em Artes pela Universidade da Pensilvânia e Mestre em Ciências e Ph. D. em Ciência da Computação e Inteligência Synthetic pela Universidade Northwestern.