Gerenciar e dimensionar fluxos de dados com eficiência é uma pedra angular de sucesso para muitas organizações. O Apache Kafka emergiu como uma plataforma líder para o streaming de dados em tempo actual, oferecendo escalabilidade e confiabilidade incomparáveis. No entanto, a configuração e a escala de clusters de Kafka pode ser um desafio, exigindo tempo, experiência e recursos significativos. É aqui que Amazon gerenciou streaming para Apache Kafka (Amazon MSK) Os corretores expressos entram em jogo.
Corretores expressos são um novo tipo de corretor na Amazon MSK, projetada para simplificar a implantação e a escala de Kafka.
Nesta postagem, orientamos você pela implementação dos corretores da MSK Categorical, destacando seus principais recursos, benefícios e práticas recomendadas para o rápido escala Kafka.
Principais características dos corretores MSK Categorical
Os corretores da MSK Categorical revolucionam o gerenciamento de cluster da Kafka, oferecendo desempenho excepcional e simplicidade operacional. Com até três vezes mais taxa de transferência por corretor, os corretores expressos podem lidar de forma sustentável de uma entrada impressionante de 500 Mbps e uma saída de 1000 Mbps nas instâncias M7G.16XL, estabelecendo novos padrões para o desempenho de streaming de dados.
Seu recurso de destaque é sua capacidade de dimensionamento rápida – até 20 vezes mais rápido que os corretores Kafka padrão – permitindo uma rápida expansão de cluster em minutos. Isso é complementado por 90% de recuperação mais rápida de falhas e replicação interna de três vias, fornecendo confiabilidade robusta para aplicações missionárias-críticas.
Os corretores expressos eliminam a responsabilidade tradicional de gerenciamento de armazenamento, oferecendo armazenamento ilimitado sem pré-provisionamento, simplificando as operações por meio de melhores práticas pré-configuradas e gerenciamento automatizado de cluster. Com a compatibilidade complete com as APIs Kafka existentes e o monitoramento abrangente por meio Amazon CloudWatch e PrometeuOs corretores da MSK Categorical fornecem uma solução excellent para organizações que buscam uma infraestrutura de transmissão de dados de alta manutenção e baixa manutenção.
Comparação com a implantação tradicional de Kafka
Embora a Kafka forneça mecanismos robustos de tolerância a falhas, sua arquitetura tradicional, onde os corretores armazenam dados localmente nos volumes de armazenamento anexados, podem levar a vários problemas que afetam a disponibilidade e a resiliência do cluster. O diagrama a seguir compara a arquitetura de implantação.
A arquitetura tradicional vem com as seguintes limitações:
- Tempos de recuperação estendidos – Quando um corretor falha, a recuperação requer cópia de dados de réplicas sobreviventes para o corretor recém -designado. Esse processo de replicação pode ser demorado, principalmente para cargas de trabalho de alto rendimento ou nos casos em que a recuperação requer um novo quantity, resultando em períodos prolongados de recuperação e redução da disponibilidade do sistema.
- Distribuição de carga abaixo do excellent – Kafka alcança o balanceamento de carga redistribuindo partições entre os corretores. No entanto, essa operação de reequilíbrio pode coar os recursos do sistema e levar um tempo considerável devido ao quantity de dados que devem ser transferidos entre nós.
- Operações complexas de escala – Expandir um cluster Kafka requer adicionar corretores e redistribuir partições existentes nos novos nós. Para aglomerados grandes com volumes de dados substanciais, essa operação de escala pode afetar o desempenho e exigir tempo significativo para ser concluído.
A MSK Categorical Brokers oferece o armazenamento regional de Kafka totalmente gerenciado e altamente disponível. Isso decapita significativamente os recursos de computação e armazenamento, abordando os desafios acima mencionados e melhorando a disponibilidade e a resiliência dos clusters de Kafka. Os benefícios incluem:
- Recuperação de corretor mais rápida e confiável – Quando os corretores expressos se recuperam, o fazem em até 90% menos tempo que os corretores padrão e colocam tensão insignificante nos recursos dos clusters, o que torna a recuperação mais rápida e confiável.
- Balanceamento de carga eficiente -O balanceamento de carga nos corretores da MSK Categorical é mais rápido e menos intensivo em recursos, permitindo operações de balanceamento de carga mais frequentes e sem costura.
- Escala mais rápida – Os corretores da MSK Categorical permitem dimensionamento eficiente de cluster por meio de adição de corretores rápidos, minimizando a sobrecarga de transferência de dados e o tempo de reequilíbrio de partição. Os novos corretores tornam-se operacionais rapidamente devido a processos acelerados de recuperação, resultando em melhorias mais rápidas na taxa de transferência e na interrupção mínima durante as operações de escala.
Exemplo de caso de uso de escala
Considere um caso de uso que exige ingestão de dados de 300 Mbps em um tópico Kafka. Implementamos isso usando um cluster MSK com três corretores M7G.4XLarge Categorical. A configuração incluiu um tópico com 3.000 partições e retenção de dados de 24 horas, com cada corretor gerenciando inicialmente 1.000 partições.
Para se preparar para o tráfego de pico do meio -dia antecipado, precisávamos dobrar a capacidade do cluster. Esse cenário destaca uma das principais vantagens dos corretores expressos: escala rápida e segura sem interromper o tráfego de aplicativos ou exigir um extenso planejamento antecipado. Durante esse cenário, o cluster estava lidando ativamente com aproximadamente 300 Mbps de ingestão. O gráfico a seguir mostra a entrada complete neste cluster e o número de partições que ele está mantendo em três corretores.
O processo de escala envolveu duas etapas principais:
- Adicionando três corretores adicionais ao cluster, que concluíram em aproximadamente 18 minutos
- Usando o controle de cruzeiro para redistribuir as 3.000 partições uniformemente em todos os seis corretores, que levaram cerca de 10 minutos
Conforme mostrado no gráfico a seguir, a operação de dimensionamento foi concluída sem problemas, com o reequilíbrio da partição ocorrendo rapidamente nos seis corretores, mantendo o tráfego ininterrupto do produtor.
Notavelmente, durante todo o processo, não observamos interrupção no tráfego do produtor. Toda a operação para dobrar a capacidade do cluster foi concluída em apenas 28 minutos, demonstrando a capacidade dos corretores da MSK Categorical de escalar com eficiência com um impacto mínimo nas operações em andamento.
Práticas recomendadas
Considere as seguintes diretrizes para adotar os corretores da MSK Categorical:
- Ao implementar novas cargas de trabalho de streaming no Kafka, selecione MSK Categorical Brokers como sua opção padrão. Se incerto sobre seus requisitos de carga de trabalho, comece com instâncias exprest.m7g.giant.
- Use o Amazon MSK ferramenta de dimensionamento Para calcular a contagem excellent de corretoras e o tipo para sua carga de trabalho. Embora isso forneça uma boa linha de base, sempre valida através do teste de carga que simula seus padrões de uso do mundo actual.
- Revise e implemente MELHORES MELHORES MSK Categorical Dealer Practices.
- Escolha tipos de instância maiores para alto rendimento Cargas de trabalho. Um número menor de grandes instâncias é preferível a muitas instâncias menores, porque menos corretores totais podem simplificar as operações de gerenciamento de cluster e reduzir a sobrecarga operacional.
Conclusão
Os corretores da MSK Categorical representam um avanço significativo na implantação e gerenciamento da Kafka, oferecendo uma solução atraente para organizações que buscam modernizar sua infraestrutura de transmissão de dados. Através de sua arquitetura inovadora que decompa e armazenamento, os corretores da MSK Categorical oferecem operações simplificadas, desempenho superior e recursos de escala rápida.
As principais vantagens demonstradas ao longo deste submit – incluindo 3 vezes maior taxa de transferência, 20 vezes mais rápida e 90% de tempos de recuperação mais rápidos – fazem com que os corretores da MSK expressem uma opção atraente para novas implementações e migrações de kafka das implantações tradicionais.
À medida que as organizações continuam enfrentando demandas crescentes por processamento de dados em tempo actual, os corretores da MSK Categorical fornecem uma solução à prova de futuro que combina a confiabilidade do KAFKA com a simplicidade operacional de um serviço totalmente gerenciado.
Para começar, consulte Amazon MSK Categorical Brokers.
Sobre o autor
Masudur Rahaman Sayem é um arquiteto de dados de streaming da AWS com mais de 25 anos de experiência no setor de TI. Ele colabora com os clientes da AWS em todo o mundo para arquitetar e implementar soluções sofisticadas de streaming de dados que abordam desafios de negócios complexos. Como especialista em computação distribuída, a Sayem é especializada no design da arquitetura de sistemas distribuídos em larga escala para máxima desempenho e escalabilidade. Ele tem um grande interesse e paixão pela arquitetura distribuída, que ele aplica ao design de soluções de nível corporativo em escala da Web.