Barlavento (LSE:WNWD), é a empresa líder em Maritime AI™, fornecendo uma plataforma completa para gestão de riscos e necessidades de conscientização do domínio marítimo para acelerar o comércio world. Windward monitora e analisa o que mais de 500 mil navios em todo o mundo estão fazendo todos os dias, incluindo para onde vão, que carga é armazenada, como lidam com as intempéries e quais portos freqüentam. Com 90% do comércio é transportado por by way of marítimaestes dados são cruciais para manter a cadeia de abastecimento world no caminho certo, mas podem ser difíceis de separar e tomar medidas. Windward preenche esse nicho fornecendo inteligência acionável com rastreamento de ETA em tempo actual, insights de desempenho da transportadora, monitoramento e mitigação de riscos e muito mais.
Em 2022, Windward embarcou em várias alterações na sua aplicação, o que levou a uma reconsideração da sua pilha de dados subjacente. Por um lado, a empresa decidiu investir numa Laboratório de insights de API onde clientes e parceiros de fornecedores, transportadoras, governos e companhias de seguros poderiam usar dados marítimos como parte de seus sistemas e fluxos de trabalho internos. Isto permitiu que cada um dos intervenientes utilizasse os dados marítimos de formas distintas, com as companhias de seguros a determinar preços e a avaliar os riscos e os governos a monitorizar as atividades ilegais. Como resultado, Windward queria uma pilha de dados subjacente que adotasse uma abordagem API first.
Windward expandiu seus insights de IA para incluir riscos relacionados a pesca ilegal, não regulamentada e não declarada (INN) bem como para identificar frotas sombrias que obscurecem o transporte de carga petrolífera/molhada russa sancionada. Para apoiar isto, a plataforma de dados da Windward precisava de permitir uma iteração rápida para que pudessem inovar rapidamente e construir mais capacidades de IA.
Por último, Windward queria migrar toda a sua plataforma da infraestrutura de dados baseada em lote para streaming. Esta transição pode suportar novos casos de uso que exigem uma forma mais rápida de analisar eventos que não period necessária até agora.
Neste weblog, descreveremos a nova plataforma de dados para Windward e como ela prioriza a API, permite a iteração rápida do produto e é arquitetada para streaming de dados em tempo actual.
Desafios de dados
Windward rastreia as posições dos navios geradas pelas transmissões AIS no oceano. Mais de 100 milhões de transmissões AIS são adicionadas todos os dias para rastrear a localização de uma embarcação em qualquer momento. Se uma embarcação fizer uma curva, Windward poderá usar um número mínimo de transmissões AIS para traçar seu caminho. Esses dados também podem ser usados para descobrir a velocidade, os portos visitados e outras variáveis que fazem parte da viagem. Agora, esses dados de transmissão AIS são um pouco instáveis, tornando difícil associar uma transmissão à embarcação certa. Como resultado, cerca de 30% de todos os dados acabam desencadeando alterações e exclusões de dados.
Além dos dados de transmissão AIS, existem outras fontes de dados para enriquecimento, incluindo clima, cartas náuticas, propriedade e muito mais. Esses dados enriquecidos têm esquemas variáveis e novos provedores de dados são constantemente adicionados para aprimorar os insights, tornando um desafio para o Windward oferecer suporte ao uso de bancos de dados relacionais com esquemas rígidos.
Usando dados históricos e em tempo actual, Windward executa análises comportamentais para examinar atividades marítimas, desempenho econômico e práticas de navegação enganosas. Eles também criam modelos de IA que são usados para determinar o risco ambiental, o risco de conformidade com sanções, o risco operacional e muito mais. Todas essas avaliações remontam à iniciativa de insights de IA que levou a Windward a reexaminar sua pilha de dados.
Como o Windward operava em uma pilha de dados baseada em lote, eles armazenavam dados brutos no S3. Eles usaram o MongoDB como armazenamento de metadados para capturar dados de embarcações e empresas. Os dados de posição da embarcação, que por natureza são um conjunto de dados geoespaciais de série temporal, foram armazenados no PostgreSQL e no Cassandra para poder suportar diferentes casos de uso. Windward também usou bancos de dados especializados como Elasticsearch para funcionalidades específicas como pesquisa de texto. Quando a Windward fez um inventário de sua arquitetura de dados, eles tinham cinco bancos de dados diferentes, tornando um desafio o suporte a novos casos de uso, a obtenção de consultas contextuais de alto desempenho e a escalabilidade dos sistemas de banco de dados.
Além disso, à medida que Windward introduziu novos casos de uso, eles começaram a atingir limitações em sua pilha de dados. Nas palavras de Benny Keinan, vice-presidente de P&D da Windward: “Estávamos presos no desenvolvimento de recursos e trabalhando muito em recursos que deveriam ser fáceis de construir. A pilha de dados e o modelo com os quais iniciamos o Windward há doze anos não eram ideais para a pesquisa e os recursos analíticos necessários para transformar de forma digital e inteligente a indústria marítima.”
Benny e sua equipe decidiram embarcar em uma nova pilha de dados que pudesse suportar melhor o rastreamento logístico necessidades dos seus clientes e da indústria marítima. Eles começaram considerando solicitações de novos produtos de clientes potenciais e potenciais que seriam difíceis de suportar na pilha atual, limitando a oportunidade de gerar novas receitas significativas. Estes incluíam:
- Consultas geográficas: os clientes queriam gerar polígonos personalizados para monitorar áreas marítimas específicas de interesse. Seu objetivo period ter a capacidade de realizar pesquisas em dados anteriores para polígonos recentemente definidos e obter resultados em segundos.
- Pesquisa de embarcações: os clientes queriam pesquisar uma embarcação específica e ver todas as informações contextuais, incluindo transmissões AIS, propriedade e atividades e relações entre atividades (por exemplo, sequência de atividades). As consultas de pesquisa e junção eram difíceis de suportar em tempo hábil na experiência do aplicativo.
- Pesquisa parcial e difusa por palavras: O cliente pode ter apenas o nome parcial do navio e, portanto, o banco de dados precisa suportar pesquisas parciais por palavras.
Windward percebeu que o banco de dados deveria suportar pesquisa e análise de dados de streaming para atender às necessidades atuais e futuras de desenvolvimento de produtos.
Requisitos para banco de dados de próxima geração
O número de bases de dados sob gestão e os desafios que suportam novos requisitos de casos de utilização levaram a Windward a consolidar a sua pilha de dados. Adotando uma abordagem centrada em casos de uso, Windward conseguiu identificar os seguintes requisitos:
Depois de definir os requisitos, Windward avaliou mais de 10 bancos de dados diferentes, dos quais apenas Rockset e Snowflake foram capazes de suportar os principais casos de uso de pesquisa e análise em suas aplicações.
O Rockset foi selecionado para a avaliação porque foi projetado para pesquisa e análise rápidas de dados de streaming e adota uma abordagem API first. Além disso, o Rockset suporta atualizações no native, tornando eficiente o processamento de alterações nas transmissões AIS e nas embarcações associadas. Com suporte para SQL em dados semiestruturados profundamente aninhados, Windward viu o potencial para consolidar dados geográficos e dados de série temporal em um sistema e consultar usando SQL. Como uma das limitações dos sistemas existentes period a incapacidade de realizar pesquisas rápidas, Windward gostou do Rockset’s Índice Convergente que indexa os dados em um índice de pesquisa, armazenamento colunar e armazenamento de linha para oferecer suporte a uma ampla variedade de padrões de consulta prontos para uso.
Floco de neve foi avaliado por seu armazenamento colunar e capacidade de suportar agregações e junções em grande escala em dados históricos. Tanto o Snowflake quanto o Rockset são nativos da nuvem e totalmente gerenciados, minimizando as operações de infraestrutura da equipe de engenharia de Windward para que possam se concentrar na construção de novos insights e capacidades de IA em suas aplicações marítimas.
Avaliação de desempenho de Rockset e Snowflake
Windward avaliou o desempenho de consulta dos sistemas em um conjunto de 6 consultas típicas, incluindo pesquisa, pesquisa geográfica, correspondência difusa e agregações em grande escala em um conjunto de dados de aproximadamente 2 bilhões de registros.
O desempenho do Rockset foi avaliado em uma instância digital XL, uma alocação de 32 vCPU e 256 GB de RAM, que custa US$ 7,3496/hora na região oeste dos EUA da AWS. O desempenho do Snowflake foi avaliado em um grande knowledge warehouse digital que custa US$ 16/hora na AWS US-West.
Os testes de desempenho mostram que o Rockset é capaz de atingir resultados mais rápidos desempenho de consulta por menos da metade do preço do Snowflake. Serra Rockset vantagem de preço-desempenho de até 30,91x sobre Snowflake para o caso de uso de Windward. Os ganhos de velocidade de consulta em relação ao Snowflake se devem à tecnologia Converged Indexing da Rockset, onde vários índices são aproveitados em paralelo para obter desempenho rápido em dados de grande escala.
Esses testes de desempenho deixaram Windward confiante de que o Rockset poderia atender à latência de consulta de segundos desejada para o aplicativo, mantendo-se dentro do orçamento hoje e no futuro.
Iterando em um oceano de dados
Com o Rockset, a Windward é capaz de apoiar as necessidades em rápida mudança do ecossistema marítimo, dando aos seus clientes a visibilidade e os insights de IA para responder e permanecer em conformidade.
Recursos analíticos que costumavam derrubar o banco de dados PostgreSQL do Windward ou, no mínimo, levar 40 minutos para carregar, agora são fornecidos aos clientes em segundos. Além disso, Windward está consolidando três bancos de dados no Rockset para simplificar as operações e facilitar o suporte a novos requisitos de produtos. Isso dá à equipe de engenharia da Windward tempo para desenvolver novos insights de IA.
Benny Keinan descreve como o desenvolvimento de produtos mudou com o Rockset: “Somos capazes de oferecer novos recursos aos nossos clientes que não eram possíveis antes do Rockset. Como resultado, os líderes marítimos aproveitam os conhecimentos da IA para navegar nas suas cadeias de abastecimento através da pandemia do Coronavírus, da Guerra na Ucrânia, de iniciativas de descarbonização e muito mais. A Rockset nos ajudou a atender às novas necessidades da indústria marítima, tudo em tempo actual.”
Você pode aprender mais sobre as peças e princípios fundamentais da IA de Windward em seu blog- Uma olhada na “sala de máquinas” da IA de Windward.