Ingestão Zerobusparte de Conexão Lakeflowfornece uma maneira simplificada de enviar dados de eventos diretamente para o lakehouse, eliminando totalmente a camada de barramento de mensagens de coletor único. Ao reduzir a infraestrutura, simplificar as operações e fornecer ingestão quase em tempo actual em escala, o Zerobus Ingest torna mais fácil do que nunca desbloquear o valor dos dados do seu evento.
Tradicionalmente, as organizações usam barramentos de mensagens como o Kafka como camada de transporte. Embora o Kafka forneça durabilidade e baixa latência, ele introduz uma arquitetura de dois saltos: os dados são primeiro gravados no Kafka e depois puxados para o lakehouse com Spark Declarative Pipelines (SDP). Isso adiciona infraestrutura, duplica dados e exige ferramentas e conhecimentos especializados, o que pode dificultar a depuração. O resultado são custos mais elevados, entregas mais lentas e mais despesas operacionais – especialmente quando o único destino é a casa do lago.
Com apenas algumas linhas de código, o Zerobus Ingest permite que você crie um stream e comece a enviar seus dados diretamente para seu lakehouse.
Desempenho em escala, arquitetura simplificada
Os dados de eventos potencializam análises críticas em tempo actual e aplicações de IA. Desde clickstreams e telemetria até dados de sensores IoT, as organizações dependem de pipelines rápidos e confiáveis para tomar decisões em segundos, não em horas. O Zerobus Ingest foi projetado para desempenho em escala, oferecendo latência de até cinco segundos, taxa de transferência de até 100 MB/s por conexão e suporte para milhares de clientes simultâneos gravando na mesma tabela.
Ao eliminar saltos de dados, cópias redundantes e barramentos de mensagens externos, o Zerobus simplifica a infraestrutura e reduz a sobrecarga operacional para ingestão de dados de eventos. Totalmente unificado com a plataforma Databricks Information Intelligence, o Zerobus escreve nativamente em tabelas Delta, integra-se ao Unity Catalog para segurança e governança e conecta-se perfeitamente com ferramentas analíticas e de IA.
Interfaces e SDKs de ingestão Zerobus:
O Databricks oferece suporte a um conjunto expandido de interfaces para agilizar a ingestão e fornece um SDK que permite criar aplicativos personalizados de alto rendimento usando Zerobus Ingest. Também há suporte para interfaces padronizadas, como Open Telemetry, para permitir que seus aplicativos existentes encaminhem dados com apenas uma alteração de configuração.
Os SDKs e APIs do Zerobus Ingest suportam integrações de dispositivos personalizados, permitindo comunicação direta com tabelas Delta gerenciadas com infraestrutura mínima.
Estamos lançando as seguintes interfaces:
- SDKs
- APIs
- APIs gRPC (PuPr) *
- API REST (PrPr)*
- APIs OpenTelemetry (PrPr) *
* Entre em contato com seu representante do Databricks para obter mais informações.
Essas novas interfaces permitem suporte para suas necessidades de rendimento cada vez maiores, da origem ao coletor, sem necessidade de infraestrutura especializada. Veja o documentação técnica para mais detalhes.
O Zerobus Ingest permite que os produtores de dados ignorem o barramento de mensagens e enviem eventos diretamente para tabelas Delta gerenciadas em seu Lakehouse.
Casos de uso de dados de eventos em todos os setores
O Zerobus Ingest foi projetado para lidar com dados de eventos diversos e de alto quantity em escala – em casos de uso de telemetria, fluxo de cliques e IoT, apoiando setores como manufatura, telecomunicações, comércio eletrônico e varejo, além de TI e segurança cibernética quase em tempo actual. Ao conectar sistemas físicos e ambientes digitais diretamente ao lakehouse, o Zerobus Ingest permite análises governadas e de alto desempenho quase em tempo actual.
Fabricação e IoT
As fábricas produzem fluxos contínuos de dados de máquinas e sensores para análise de desempenho histórico e em tempo actual para ajudar a melhorar a eficiência e reduzir o tempo de inatividade não planejado. Eles fazem isso muitas vezes sob estritas restrições de rede e integração. Com o Zerobus Ingest e seu SDK de gravação direta, as equipes podem criar agentes de encaminhamento personalizados para transmitir dados diretamente para o lakehouse. Combinado com o Unity Catalog, isso fornece ingestão segura e de baixa latência com governança ponta a ponta, da borda à análise.
A Joby Aviation está reimaginando as viagens aéreas com aeronaves elétricas construídas desde o início – fabricando componentes de precisão e analisando a telemetria de voo. Joby usa Zerobus Ingest para transmitir gigabytes de dados de telemetria por minuto diretamente em sua casa no lago. alimentando insights quase em tempo actual que apoiam o desenvolvimento de aeronaves, otimização operacional pós-voo e otimizações de fabricação até o nível da máquina. Leia o estudo de caso da Joby Aviation.
“Com o Zerobus Ingest, estamos enviando gigabytes de telemetria por minuto para o lago a partir de nossas unidades de fabricação… Não é apenas porque o Zerobus é rápido, ele se adapta conosco. Não tivemos que redesenhar nada para suportar mais locais, mais dispositivos ou mais dados.” —Dominik Müller, líder de sistemas de fábrica, Joby Aviation
Solução de ingestão simplificada usando agentes de encaminhamento Joby personalizados com Zerobus Ingest.
Telecomunicações e IoT
Para organizações de telecomunicações com dispositivos distribuídos globalmente, o processamento em tempo actual de milhões de sinais de dispositivos por segundo é essential para análise, monitoramento do desempenho da rede e otimização da experiência do cliente
Databricks está em parceria com Soracomum fornecedor international de conectividade IoT, para estender o Zerobus Ingest a serviços celulares, satélite e LPWAN em todo o mundo. Juntos, eles podem ajudar os clientes a transferir dados de forma segura e confiável de qualquer dispositivo para o lakehouse.
“Nossos clientes agora podem enviar dados de alta fidelidade de dispositivos em todo o mundo para a plataforma de inteligência de dados Databricks usando nossos serviços de celular, satélite e LPWAN e acelerar o tempo de obtenção de insights para resultados revolucionários.” — Kenta Yasukawa, CTO e cofundador, Soracom, Inc.
Comércio, Varejo e Clickstream
No varejo e no comércio eletrônico, a análise de dados comportamentais e de fluxo de cliques de websites, aplicativos e dispositivos conectados à medida que são gerados é elementary para gerar personalização quase em tempo actual, testes A/B e otimização de conversão. O Zerobus Ingest ajuda a habilitar esse caso de uso gravando dados diretamente em tabelas Delta, removendo dependências de barramento de mensagens e infraestrutura aérea e fornecendo uma fonte de verdade única e pronta para análise.
TI e segurança cibernética
Para as equipes de segurança, o acesso rápido à telemetria e aos dados de eventos quase em tempo actual é elementary para reduzir a latência entre detecção, suggestions do modelo, análise e resposta. O Zerobus Ingest permite a ingestão contínua e de baixa latência de logs e métricas para acelerar a identificação de ameaças e o retreinamento de modelos adaptativos. Ele também pode permitir a detecção de fraudes ou anomalias quase em tempo actual, transmitindo eventos comportamentais diretamente para o seu lakehouse, sem os atrasos do ETL tradicional ou da ingestão em lote.
Introdução ao Zerobus Ingest
Como parte da visualização pública, estamos entusiasmados em ver como os clientes de todos os setores usarão o Zerobus para desbloquear novas possibilidades com a plataforma Databricks Information Intelligence. Para ajudá-lo a começar, também lançamos várias demonstrações, um acelerador de soluções e tutoriais passo a passo com dados de amostra para ajudá-lo a experimentar os recursos do Zerobus Ingest em primeira mão.
Para ativar o Zerobus Ingest em seu espaço de trabalho hoje, entre em contato com seu representante de conta do Databricks.