O Apache Spark Structured Streaming há muito tempo alimenta pipelines de dados de missão crítica em escala, desde streaming ETL até análises e aprendizado de máquina. Mas à medida que os casos de uso operacional evoluíram, as equipes começaram a exigir algo mais: latências inferiores a um segundo para aplicações como detecção de fraude, personalização, detecção de anomalias, alertas e relatórios em tempo actual.
Historicamente, atender a esses requisitos de latência ultrabaixa significava introduzir sistemas especializados junto com o Spark. Com a introdução do modo em tempo actual no Spark Structured Streaming, essa compensação não é mais necessária. Neste weblog, exploramos como o Spark simplifica a arquitetura de streaming em tempo actual para casos de uso comuns, como engenharia de recursos, elimina a complexidade operacional de longa information e oferece desempenho líder do setor.
O streaming em tempo actual não requer mais a execução de vários sistemas diferentes
A capacidade de processar e agir com base nos dados em tempo actual é agora um requisito basic. As aplicações modernas, especialmente os agentes de IA, dependem de um fluxo contínuo de contexto novo para funcionar. Se os dados subjacentes estiverem incompletos ou atrasados, a experiência do usuário será prejudicada. O desempenho em tempo actual não é necessário apenas para casos de uso tradicionais, como detecção de fraudes, mas para todas as interações comuns em que um usuário espera respostas precisas e atualizadas. Nesse ambiente, a latência impacta diretamente a receita, a confiança do cliente e a vantagem competitiva.
Historicamente, as equipes de dados que criam aplicativos de streaming em tempo actual tiveram que gerenciar duas pilhas distintas de processamento de dados: Apache Spark™ para análises em grande escala e sistemas especializados como Apache Flink® ou Kafka Streams para aplicativos sensíveis à latência em menos de um segundo. Essa fragmentação exige que as equipes mantenham bases de código duplicadas, gerenciem modelos de governança separados e contratem talentos especializados para ajustar e manter a infraestrutura específica do mecanismo.
Lançado em versão prévia pública em agosto de 2025, Modo em tempo actual (RTM) para streaming estruturado do Apache Spark foi projetado para eliminar esse atrito. Ao evoluir fundamentalmente o mecanismo de execução do Spark, eliminamos a necessidade de um segundo sistema. Essa mudança permite que os engenheiros abordem todo o espectro de casos de uso – desde ETL de alto rendimento até aplicativos em tempo actual de baixa latência – usando a mesma API Spark que eles já conhecem. Isso significa menos tempo gerenciando a infraestrutura e mais tempo para focar no caso de uso de negócios.
O Spark agora pode processar eventos em milissegundos; até 92% mais rápido que o Flink
O modo em tempo actual (RTM) introduziu um novo mecanismo de execução otimizado que permite ao Spark fornecer latências consistentes de menos de um segundo. Para avaliar o desempenho, conduzimos uma comparação lado a lado entre Spark RTM e Apache Flink. Os testes foram baseados em cargas de trabalho de computação de recursos em tempo actual que normalmente vemos em produção. Esses padrões de computação de recursos são representativos da maioria dos casos de uso de ETL de baixa latência, como detecção de fraude, personalização e análise operacional.
Avaliamos três padrões de recursos comuns:
- Codificação de recursos (transformação sem estado): truncamento de linhas de entrada e codificação
- Enriquecimento de recursos (by way of be part of): juntando-se a um stream com uma tabela estática
- Cálculo de recursos (by way of agregação): agregação GroupBy + Rely
Os resultados demonstram que a arquitetura evoluída do Spark fornece um perfil de latência comparável a estruturas especializadas de streaming.
Este desempenho é possibilitado por três inovações técnicas importantes no RTM:
- Fluxo de dados contínuo: Os dados são processados à medida que chegam, em vez de blocos periódicos discretizados.
- Programação de pipeline: Os estágios são executados simultaneamente sem bloqueio, permitindo que tarefas downstream processem dados imediatamente, sem esperar a conclusão dos estágios upstream.
- Transmissão aleatória: Os dados são transmitidos entre tarefas imediatamente, contornando os gargalos de latência dos embaralhamentos tradicionais baseados em disco.
Juntos, eles transformam o Spark em um mecanismo de alto desempenho e baixa latência, capaz de lidar com os casos de uso operacional mais exigentes.
As equipes operam com menos infraestrutura e se movem mais rapidamente com o Spark
Embora a velocidade bruta seja essencial, o verdadeiro valor do modo em tempo actual está em sua capacidade de eliminar a complexidade operacional que normalmente paralisa a construção de pipelines de latência ultrabaixa. O Spark RTM torna sua arquitetura significativamente mais simples por meio de três vantagens principais. Para tornar isso concreto, descrevemos isso no contexto de aplicativos de aprendizado de máquina em tempo actual.
Decrease o “desvio lógico” entre treinamento e inferência: O ML em tempo actual, assim como a detecção de fraudes, requer uma transferência perfeita entre lotes de alto rendimento (para treinamento de modelo) e streaming de baixa latência (para inferência ao vivo). Spark é a escolha preferida dos cientistas de dados para treinamento de modelos, e forçar uma mudança do Spark para o Flink para inferência criaria uma lacuna na lógica de negócios. Você acaba com uma versão da lógica no Spark para treinamento e uma base de código completamente diferente no Flink para produção. Essa replicação da lógica de negócios pode ser propensa a erros e levar a desvios lógicos, onde seu modelo é treinado em uma realidade, mas pontua em outra. Com o Spark RTM, seu código de transformação permanece idêntico, permitindo que você produza recursos com mais rapidez e grande precisão.
Atualização sob demanda com alteração de código de linha única: Os requisitos de negócios raramente são estáticos. Um pipeline de recursos que começa hoje com um SLA de 1 minuto pode exigir latência inferior a um segundo amanhã, à medida que as necessidades de atualização do modelo evoluem. Por outro lado, para muitos casos de uso, “ir mais devagar” (por exemplo, lotes diários ou de hora em hora) é significativamente mais econômico quando a atualização imediata não é necessária. O Spark oferece espaço para crescer e escalar junto com seu produto. Ele permite que você dinamize facilmente sua estratégia de engenharia de recursos com uma alteração de código de linha única. Por exemplo, você pode definir seu gatilho para Disponível agora para executar um pipeline em uma programação diária ou de hora em hora. Quando as necessidades dos negócios mudam, você pode fazer a transição para streaming contínuo e de latência ultrabaixa simplesmente mudando para o modo em tempo actual: .set off(RealTimeTrigger.apply()). Por outro lado, conseguir isso no Flink é um processo handbook. Muitas vezes exige que você ajuste o paralelismo e orquestre o desligamento e a reinicialização dos recursos de computação apenas para corresponder a uma nova frequência de processamento.
Acelere o desenvolvimento: O RTM é baseado na mesma API Spark que sua equipe já conhece. Isso elimina o atrito de manter vários sistemas, permitindo que você avance com mais rapidez criando e dimensionando aplicativos em tempo actual em um ambiente único e consistente.
Os clientes estão executando vários aplicativos em tempo actual no Spark
Os primeiros usuários estão usando o RTM para potencializar uma variedade de aplicativos de baixa latência, em todos os setores.
Detecção de fraude: Uma plataforma líder de ativos digitais calcula recursos de risco dinâmico, como verificações de velocidade e padrões de gastos agregados de fluxos Kafka, atualizando seu armazenamento de recursos on-line em menos de 200 milissegundos para bloquear transações fraudulentas no ponto de venda.
Experiências personalizadas: Uma plataforma de comércio eletrônico calcula recursos de intenção em tempo actual com base na sessão atual do usuário, permitindo que os modelos atualizem as recomendações no momento em que o usuário interage com um produto.
Monitoramento de IoT: Uma empresa de transporte e logística utiliza telemetria em tempo actual para conduzir a detecção de anomalias, passando da tomada de decisão reativa para a proativa em milissegundos.
DraftKingsum dos maiores serviços de apostas esportivas e esportes de fantasia da América do Norte, usa RTM para potencializar a computação de recursos para seus modelos de detecção de fraude.
“Em apostas esportivas ao vivo, a detecção de fraudes exige velocidade extrema. A introdução do modo em tempo actual junto com a API transformWithState no Spark Structured Streaming foi uma virada de jogo para nós. Conseguimos melhorias substanciais na latência e no design do pipeline e, pela primeira vez, construímos pipelines de recursos unificados para treinamento de ML e inferência on-line, alcançando latências ultrabaixas que simplesmente não eram possíveis antes.” —Maria Marinova, engenheira sênior de software program líder, DraftKings
Comece a construir com o modo Spark Actual-Time
A period de escolher entre “fácil” e “rápido” acabou. Por que gerenciar dois mecanismos, dois modelos de segurança e dois conjuntos de habilidades especializadas quando um mecanismo agora faz tudo? O RTM oferece a velocidade inferior a um segundo que suas aplicações em tempo actual exigem, com a simplicidade arquitetônica que sua equipe merece. Ao eliminar o “imposto operacional”, você pode finalmente concentrar-se na criação de valor em vez de na gestão de infra-estruturas.
Pronto para eliminar a complexidade da sua pilha em tempo actual?
- Mergulhe nos detalhes: Explorar o Documentação RTM para entender as especificações técnicas completas, fontes e coletores suportados e exemplos de consultas. Você encontrará tudo o que precisa para ativar o novo gatilho e configurar suas cargas de trabalho de streaming.
- Veja-o em ação: Para se aprofundar na engenharia por trás do RTM, assista a isto sessão de aprofundamento técnicoque percorre o design e a implementação.