Amazon Kinesis Knowledge Streams lança vantagem sob demanda para aumentos instantâneos de taxa de transferência e streaming em escala

Hoje, a AWS anunciou o novo Fluxos de dados do Amazon Kinesis Modo Benefit sob demanda, que inclui capacidade de rendimento intenso e uma estrutura de preços atualizada. Com esse recurso, você pode ativar o dimensionamento instantâneo para picos de tráfego e, ao mesmo tempo, otimizar custos para cargas de trabalho de streaming consistentes. Vantagem sob demanda O modo é uma maneira econômica de fazer streaming com o Kinesis Knowledge Streams para casos de uso que consomem pelo menos 10 MiB/s no complete ou que têm centenas de streams de dados em uma região da AWS.

Nesta postagem, exploramos esse novo recurso, incluindo os principais casos de uso, opções de configuração, considerações sobre preços e práticas recomendadas para desempenho excellent.

Casos de uso do mundo actual

À medida que os volumes de dados de streaming crescem e os casos de uso evoluem, você pode enfrentar dois desafios comuns com suas cargas de trabalho de streaming:

Desafio 1: Preparação para picos de tráfego

Muitas empresas enfrentam picos de tráfego previsíveis, mas significativos, durante eventos como lançamentos de produtos, lançamentos de conteúdo ou vendas de fim de ano. Usando um modo de capacidade sob demanda, você precisa concluir várias etapas ao se preparar para picos de tráfego:

• Transição para o modo provisionado
• Estime e aumente manualmente os fragmentos com base no pico de demanda previsto
• Aguarde a conclusão das operações de escalonamento
• Posteriormente, retorne ao modo sob demanda

Esse processo de mudança de modo period demorado, exigia um planejamento cuidadoso e introduzia complexidade operacional, forçando os clientes a aceitar essa carga operacional, provisionar capacidade em excesso com bastante antecedência ou arriscar a limitação durante períodos críticos de negócios, quando a confiabilidade da ingestão de dados é mais importante.

Desafio 2: Otimização de custos para cargas de trabalho consistentes

As organizações com cargas de trabalho de streaming grandes e consistentes desejam otimizar custos sem sacrificar a simplicidade e a escalabilidade disponíveis com fluxos sob demanda. O modo de capacidade sob demanda é adequado para tráfego de dados flutuante, mas os clientes desejavam uma abordagem mais econômica para lidar com cargas de trabalho de streaming de alto quantity.

O On-demand Benefit aborda diretamente ambos os desafios, fornecendo a capacidade de aquecer fluxos sob demanda e uma nova estrutura de preços. Com o novo modo On-demand Benefit, não há mais uma cobrança fixa por stream, e o uso da taxa de transferência tem um preço mais baixo. O único requisito é que a conta se comprometa com o streaming com pelo menos 25 MiB/s de ingestão de dados e 25 MiB/s de recuperação de dados uso.

Este lançamento melhora o streaming de dados em vários setores:

• As empresas de jogos on-line agora podem preparar suas transmissões para o lançamento de jogos sem o complicado processo de alternar entre modos e calcular manualmente os requisitos de fragmentos
• Provedores de mídia e entretenimento podem oferecer suporte à ingestão de dados durante grandes lançamentos de conteúdo e eventos ao vivo
• Os serviços de comércio eletrônico podem lidar com o tráfego de vendas de fim de ano e, ao mesmo tempo, otimizar os custos de suas cargas de trabalho básicas.

Ao combinar o escalonamento instantâneo com a eficiência de custos, você pode gerenciar com confiança tanto os picos de tráfego previsíveis quanto os volumes de streaming consistentes, sem comprometer o desempenho ou o orçamento.

Como funciona

Os principais recursos do modo On-demand Benefit são o rendimento intenso e o preço por uso comprometido.

Taxa de transferência quente

Com o recurso de throughput quente, disponível depois de ativar o modo On-demand Benefit, você pode configurar seus streams sob demanda do Kinesis Knowledge Streams para ter capacidade de throughput disponível instantaneamente de até 10 GiB/s. Isso significa que você pode preparar proativamente fluxos sob demanda para eventos de pico de tráfego esperados, sem o processo complicado de alternar entre modos provisionados e calcular manualmente os requisitos de fragmentos. Os principais benefícios incluem:

• A capacidade de se preparar para eventos de pico para que você possa lidar com picos de tráfego sem problemas
• Alívio da necessidade de construir soluções de escalonamento personalizadas
• A capacidade de continuar a escalar automaticamente além da taxa de transferência moderada, se necessário, até 10 GiB/s ou 10 milhões de eventos por segundo
• Nenhuma taxa adicional para manter a capacidade quente

Preços por uso comprometido

Quando você ativa o modo Vantagem sob demanda, o faturamento das transmissões sob demanda muda para uma nova estrutura que take away a cobrança por hora de transmissão e oferece um desconto de pelo menos 60% para o uso da taxa de transferência. Com base nos preços do Leste dos EUA (Norte da Virgínia), os dados ingeridos têm um preço 60% menor, a recuperação de dados tem um preço 60% menor, a recuperação de dados de distribuição aprimorada é 68% menor e a retenção estendida tem um preço 77% menor. Em troca, você se compromete a transmitir 25 MiB/s por pelo menos 24 horas. Mesmo quando o uso actual for menor, se você habilitar essa configuração, será cobrado pela taxa de transferência mínima de 25 MiB/s com desconto. No geral, os descontos significativos oferecidos significam que o On-demand Benefit é mais econômico para casos de uso que consomem pelo menos 10 MiB/s no complete, se espalham para mais de dois aplicativos de consumo ou têm centenas de fluxos de dados em uma região da AWS.

Começando

Siga estas etapas para começar a usar o modo On-demand Benefit.

Ativando o modo Vantagem sob demanda

Para começar a usar o modo On-demand Benefit:

No Console de gerenciamento da AWS

1. Navegue até o console do Kinesis Knowledge Streams
2. Navegue até o Configurações de Conta guia
3. Escolher Editar modo de faturamento
4. Selecione o Vantagem sob demanda opção
5. Marque a caixa de seleção, Reconheço que esta alteração não pode ser revertida em 24 horas
6. Escolher Salvar alterações

Usando a CLI da AWS

É possível executar o seguinte comando da CLI para ativar o compromisso de faturamento de rendimento mínimo:

aws kinesis update-account-settings 
--minimum-throughput-billing-commitment Standing=ENABLED

Usando o SDK da AWS

Você pode usar o SDK para ativar o compromisso de faturamento de taxa de transferência mínima. O exemplo Python a seguir mostra como fazer isso:

import boto3

consumer = boto3.consumer('kinesis')
response = consumer.update_account_settings(
    MinimumThroughputBillingCommitment={"Standing": "ENABLED"}
)

Depois de ativado, você compromete seu stream com esse modo de preço por um período mínimo de 24 horas, após o qual você pode cancelar conforme necessário.

Configurando o rendimento quente

Para começar a usar a taxa de transferência quente para o Kinesis Knowledge Streams On-demand:

Usando o Console de gerenciamento da AWS

1. Navegue até o console do Kinesis Knowledge Streams
2. Selecione seu stream e vá para a guia Configuração
3. Escolher Editar ao lado de Taxa de transferência quente
4. Defina a taxa de transferência quente desejada (até 10 GiB/s)
5. Salve suas alterações

Usando a CLI da AWS

Você pode executar o seguinte comando da CLI para ativar o rendimento quente:

aws kinesis update-stream-warm-throughput 
  --stream-name MyStream 
  --warm-throughput-mi-bps 1000

Usando o SDK da AWS:

Você pode usar o SDK para ativar a taxa de transferência quente. O exemplo Python a seguir mostra como fazer isso:

import boto3

consumer = boto3.consumer('kinesis')
response = consumer.update_stream_warm_throughput(
    StreamName="MyStream",
    WarmThroughputMiBps=1000
)

Você também pode criar um novo fluxo sob demanda com taxa de transferência quente usando o existente CriarStream API ou defina a taxa de transferência quente ao converter um fluxo de dados do modo provisionado para o modo On-demand Benefit.

Limitação e práticas recomendadas para desempenho excellent

Ao trabalhar com rendimento quente, é importante compreender como a capacidade é gerenciada. Cada fluxo pode lidar instantaneamente com o tráfego até o nível de transferência quente configurado e será dimensionado automaticamente além disso, conforme necessário.

Para desempenho excellent com rendimento quente:

1. Use uma estratégia de chave de partição distribuída uniformemente para distribuir uniformemente registros entre fragmentos e evitar pontos de acesso e considere cuidadosamente sua estratégia de chave de partição, pois você pode ingerir no máximo 1 MiB/s de dados por chave de partição, independentemente da taxa de transferência quente configurada.
2. Monitore métricas de rendimento para ajustar as configurações de rendimento quente com base nos padrões de uso reais.
3. Implementar lógica de espera e nova tentativa em aplicações de produtores para lidar com possíveis limitações.

Para otimização de custos com preços de uso comprometido:

1. Analise seu rendimento diário para verificar se é pelo menos 10 MiB/s.
2. Considere consolidar fluxos em toda a sua organização para maximizar o benefício do desconto para fluxos sob demanda.
3. Use recuperações de dados econômicas com – Use Enhanced Fan-Out – Use consumidores de distribuição aprimorada para aplicações que precisam de rendimento dedicado com Custo de recuperação de dados 68% menor em modo de vantagem.

Taxa de transferência quente em ação

Para demonstrar como o throughput quente se comporta, habilitamos a definição de preço comprometida em uma conta da AWS e criamos dois fluxos sob demanda: “KDS-OD-STANDARD” e “KDS-OD-WARM-TP”. O fluxo “KDS-OD-WARM-TP” foi configurado com taxa de transferência quente de 100 MiB/segundo, enquanto “KDS-OD-STANDARD” permaneceu como um fluxo sob demanda common sem taxa de transferência quente, conforme demonstrado na captura de tela a seguir.

Em nosso experimento, inicialmente simulamos uma ingestão de tráfego de aproximadamente 2 MiB/segundo para os fluxos “KDS-OD-STANDARD” e “KDS-OD-WARM-TP”. Usamos um UUID como chave de partição para que o tráfego fosse distribuído uniformemente entre os fragmentos dos fluxos de dados do Kinesis, ajudando a evitar possíveis pontos de acesso que poderiam distorcer nossos resultados. Depois de estabelecer essa linha de base, aumentamos o tráfego de ingestão para cerca de 28 MiB/segundo em 10 minutos. Em seguida, aumentamos ainda mais o tráfego para exceder 60 MiB/segundo dentro de 15 minutos após o aumento inicial, conforme ilustrado na captura de tela a seguir.

O gráfico a seguir mostra o ThrottledRecords Métrica do CloudWatch para “KDS-OD-STANDARD” e “KDS-OD-WARM-TP” de que o fluxo habilitado para taxa de transferência quente (“KDS-OD-WARM-TP”) não encontrou aceleradores durante ambos os picos de tráfego, pois tinha uma taxa de transferência quente de 100 MiB/segundo configurada. Por outro lado, o fluxo sob demanda padrão (“KDS-OD-STANDARD”) sofreu limitação quando aumentamos o tráfego em 14x inicialmente e em 2x depois, antes de eventualmente escalar para trazer as restrições de volta a zero. Este experimento demonstra que você pode usar a taxa de transferência quente para se preparar instantaneamente para horários de pico de uso e evitar a limitação durante aumentos repentinos de tráfego.

Conclusão

Conforme descrevemos nesta postagem, o novo modo On-demand Benefit do Amazon Kinesis Knowledge Streams oferece benefícios significativos para organizações de diferentes tamanhos:

• Dimensionamento instantâneo para picos de tráfego previsíveis sem provisionamento excessivo.
• Otimização de custos para cargas de trabalho de streaming consistentes com pelo menos 60% de desconto.
• Operações simplificadas sem necessidade de alternar entre diferentes modos de capacidade.
• Flexibilidade aprimorada para lidar com padrões de tráfego esperados e inesperados.

Com essas melhorias, você pode criar e operar aplicativos de streaming em tempo actual em diversas escalas. O Kinesis Knowledge Streams agora oferece a combinação excellent de escalabilidade, desempenho e economia.

Para saber mais sobre esses novos recursos, visite o Documentação do Amazon Kinesis Knowledge Streams.

Sobre os autores