Impulsionando a acessibilidade com produtos de dados governados, gerenciados perfeitamente no Atlan
De relance
- Kiwi.com, uma empresa international de tecnologia de viagens que realiza mais de 100 milhões de pesquisas por dia pela rota de viagem perfeita, teve como objetivo melhorar o acesso aos dados
- Escolhendo Atlan como seu catálogo de dados moderno, a Kiwi.com simplificou a agregação, curadoria e monitoramento de milhares de ativos de dados, consolidando-os em 58 produtos de dados detectáveis para um consumo mais simples e eficiente
- Essa abordagem de produto de dados reduziu a carga de trabalho da equipe central de engenharia em 53% e aumentou a satisfação dos usuários de dados em 20%, desde a integração de mais de 20 equipes para compartilhar e usar dados de maneira responsável em toda a organização.
Alimentando mais de 100 milhões de pesquisas diárias por rotas de viagem ideais e apoiando 22,9 bilhões de quilômetros de viagens em 2023, os dados são cruciais para o sucesso da empresa de tecnologia de viagens Kiwi.com. Seu algoritmo inovador permite que os clientes descubram e reservem voos acessíveis, muitas vezes perdidos por outros mecanismos de pesquisa, com bilhões de verificações de preços realizadas diariamente em 95% do conteúdo international de voos.
Para os funcionários da Kiwi.com que trabalham todos os dias para melhorar seus produtos, experiências e operações, o acesso fácil a dados confiáveis é essential. E liderando o esforço para melhorar a maneira como seus colegas usam esses dados está Martina Ivanicova, gerente de engenharia de dados.
No Gartner Knowledge & Analytics Summit 2024 em Londres, Martina se juntou à Atlan para compartilhar sua experiência e lições aprendidas ao preencher a lacuna entre produtores e consumidores de dados, introduzir produtos de dados e aproveitar metadados ativos para fornecer dados confiáveis e compreensíveis que impulsionam o próximo ótima decisão de negócios. Refletindo sobre sua jornada, ela fez uma pergunta essential:
Vamos assumir o papel de um novo analista de dados em nossa empresa. Onde posso encontrar dados em primeiro lugar?”
Viagem ao centro da pilha de dados
Kiwi.com opera em uma arquitetura de microsserviços, com serviços organizados por domínio de negócio. Aproveitando o Google Cloud Platform, eles extraem dados em lote para o BigQuery, seu knowledge warehouse, enquanto o Dataflow gerencia o processamento de dados em tempo actual, armazenando os resultados no Google Cloud Storage ou diretamente no BigQuery. Transformações adicionais garantem que os dados estejam disponíveis no Looker, sua ferramenta de enterprise intelligence. Os metadados de todos os componentes são gerenciados no Dataplex, um serviço do GCP que abriga grandes quantidades de seus ativos de dados.
Embora esta configuração possa parecer simples, ela opera em grande escala, orquestrando e gerenciando um enorme quantity de dados em todo o ecossistema.
“Temos 100 bancos de dados Postgres, dezenas de milhares de tabelas, milhares de conjuntos de dados do BigQuery, dezenas de milhares de tabelas do BigQuery, centenas de DAGs do Airflow e milhares de objetos Looker”, compartilhou Martina.
Encontrando foco com produtos de dados
Para os analistas de dados da Kiwi.com, acessar informações precisas e confiáveis é essential para uma tomada de decisão informada. No entanto, mesmo com os dados consolidados num só native, encontrar o ativo de dados certo continuou a ser um desafio. Isso levou Martina e sua equipe a olhar além da simples acessibilidade, simplificando a navegação em seu complexo ecossistema de dados.
Se você fosse um analista de dados e fosse ao Dataplex para pesquisar a palavra-chave ‘Destino’, encontraria mais de 200.000 entradas. Como você encontraria dados para seu caso de uso? A resposta é que você não está procurando dados, mas sim um produto de dados.”
Martina e sua equipe adotaram o conceito de tratar os dados como um produto, garantindo que sejam confiáveis, fáceis de usar, detectáveis e valiosos, tornando-os um ativo operacional essencial. Esta abordagem levou ao desenvolvimento de uma estrutura de governação para produtos de dados, estabelecendo padrões fundamentais para dimensionar e gerir a qualidade dos dados, documentação, segurança e processos relacionados.
Um modelo de produto de dados governado
A abordagem de produto de dados de Martina e sua equipe foi projetada para focar em seus ativos de dados mais importantes. Eles dividiram esses ativos em níveis, sendo o nível superior o mais crítico para decisões estratégicas e relatórios financeiros. A maioria dos casos de uso de seus consumidores de dados dependia desses dados de primeira linha, gerando requisitos rigorosos de confiabilidade e acessibilidade e inspirando uma estrutura de seis partes para criar, gerenciar e melhorar esses produtos de dados.
Propriedade: Estabelecer propriedade e responsabilidade claras para cada produto de dados, tanto em nível técnico quanto de produto.
Documentação: Tornar cada produto de dados fácil de encontrar e entender, com contexto adequado e informações que sejam detectáveis e compreensíveis.
Qualidade: Monitorando a atualização, a precisão e a confiabilidade de cada produto de dados usando uma plataforma interna de observabilidade.
Arquitetura: Otimizando a criação, modificação, armazenamento e acesso de produtos de dados com uma configuração tecnológica sólida.
Segurança: Aderir aos padrões de segurança e privacidade, garantindo a proteção de dados e mantendo a conformidade regulatória.
Processos: Implementar procedimentos para manter a confiabilidade dos dados, incluindo contratos de dadosgarantindo que todos os consumidores e produtores concordem com SLAs e SLOs específicos, instituindo protocolos de gestão de incidentes e mudanças.
Embora a equipe de Martina pudesse apoiar essa estrutura combinando um poderoso conjunto de ferramentas existentes, incluindo Terraform, BigQuery, Dataplex, Monte Carlo e Looker, gerenciar produtos de dados significaria saltar de uma ferramenta para outra à medida que os dados fluíam do produtor para o consumidor. Avaliando o mercado de gerenciamento ativo de metadados em busca de uma solução que unificasse essas ferramentas díspares em uma única visão, a Kiwi.com escolheu a Atlan.
Integrando-se perfeitamente com sua pilha de dados, Martina e sua equipe usam o Atlan para garantir que seus produtos de dados sejam acessíveis e compreensíveis, tenham desempenho e sejam confiáveis, e se alinhem perfeitamente com seus altos padrões de qualidade e segurança.
Atlan foi flexível o suficiente para fornecer uma visão geral de todos os metadados que estávamos tentando rastrear. Também nos ajudou a avaliar o desempenho dos nossos produtos de dados em relação a critérios específicos, garantindo que atendam aos padrões exigidos.”
Um cenário de dados simplificado
Ao passar de pesquisas que retornaram milhares de resultados em um conjunto de dados complexo para a criação de produtos de dados governados e facilmente detectáveis, Martina e sua equipe melhoraram significativamente a capacidade da função de Engenharia de Dados e estão elevando a satisfação do usuário a níveis sem precedentes.
Atualmente, sua equipe gerencia 58 desses produtos de dados de primeira linha — um conjunto cuidadosamente selecionado que concentrou e simplificou sua carga de trabalho. Desde então, esse cenário foi organizado por domínio, selecionando ativos de dados e garantindo propriedade e documentação claras.
Esta abordagem capacitou as equipas de dados para assumirem complete responsabilidade pelos seus dados, promovendo uma cultura de responsabilização. “Conseguimos organizar o cenário de dados para que corresponda aos nossos domínios. Os dados são propriedade das equipes que atuam nesses domínios”, explicou Martina.
Por meio dessa transformação, a Kiwi.com integrou com sucesso mais de 20 equipes para compartilhar e usar dados de forma responsável em toda a organização. Pesquisas internas de rotina reveladas um aumento de 20% na satisfação do usuário de dadosdemonstrando o significativo impacto positivo desta iniciativa.
A lição “menos é mais”
Em vez de vasculhar 272.000 resultados difíceis de analisar, um analista da Kiwi.com agora pode encontrar exatamente o que precisa com o Atlan. Em uma interface simples e fácil de usar, eles têm uma visão completa, desde a propriedade até os ativos relacionados, contratos de dados, SLAs e quaisquer problemas de qualidade de dados.
Compartilhando as lições mais importantes aprendidas com sua experiência, Martina expressa que o acesso a grandes quantidades de dados é apenas o primeiro passo para a democratização dos dados, e não o destino. Com curiosidade e foco nas necessidades de seus consumidores de dados, obter o maior valor dos dados significa oferecer uma experiência que forneça dados detectáveis, compreensíveis e confiáveis, instantaneamente ao seu alcance.
As pessoas dizem que querem ter acesso a todos os dados, o tempo todo. Considere isso com cautela. Não basta quebrar silos e conectar todas as fontes de dados em toda a empresa. Não basta oferecer ferramentas analíticas de autoatendimento para a empresa. É importante oferecermos dados confiáveis e detectáveis, e que menos é mais.”
Foto de Kychan sobre Remover respingo