Nesta postagem, discutimos como a Taxbit fez parceria com Amazon Internet Providers (AWS) para agilizar sua solução de análise de criptografia tributária usando Tabelas Amazon S3alcançando economia de custos de 82% e tempos de processamento cinco vezes mais rápidos.
Imposto é um pacote líder de conformidade tributária que atende exchanges de criptomoedas, plataformas digitais e agências governamentais, gerando mais de 100 milhões de formulários para usuários e reconciliando mais de 500 bilhões de transações de ativos digitais. A suíte alimenta um ambiente complexo que lida com dados de preços em tempo actual de 29 exchanges de criptomoedas, cobrindo mais de 10.000 ativos digitais.
Recentemente, a Taxbit enfrentou desafios com sua infraestrutura de dados de preços. À medida que os volumes de dados continuaram a expandir-se, os custos das infra-estruturas aumentaram acentuadamente, exercendo pressão sobre os orçamentos operacionais. Ao mesmo tempo, o sistema teve dificuldades para absorver de forma eficiente o número crescente de pontos de dados de preços, criando gargalos persistentes no seu pipeline de dados. Essas limitações técnicas levaram os clientes a perder dados e a enfrentar tempos de processamento lentos, levando à insatisfação. Além desses desafios operacionais, a Taxbit possui requisitos rígidos de conformidade regulatória a serem considerados ao projetar soluções. Esta combinação de questões levou a Taxbit a modernizar a sua infraestrutura de dados de preços com foco em ajudar a cumprir os padrões regulatórios.
“Durante picos de carga de trabalho, nossas soluções processam centenas de milhões de transações de ativos digitais em exchanges de blockchain e criptomoedas”,
– diz Clark Roberts, CTO da Taxbit.
“Nossa arquitetura de banco de dados legada estava se tornando um gargalo, levando a custos maiores e tempos de resposta mais lentos para nossos clientes corporativos e governamentais.”
Visão geral da solução
A arquitetura modernizada da Taxbit usa Amazon S3 Tables com Apache Iceberg como base, combinada com serviços AWS desenvolvidos especificamente para ingestão, processamento e análise de dados. A solução processa dados de preços em tempo actual de 29 exchanges de criptomoedas, incluindo mais de 10.000 ativos digitais. Essa arquitetura é mostrada no diagrama a seguir.
A arquitetura do pipeline de dados usa serviços da AWS para fornecer uma solução abrangente. Basicamente, o Amazon S3 Tables fornece a infraestrutura de armazenamento escalável necessária para gerenciar grandes volumes de dados de preços. Para processamento e transformação de dados, a solução combina Amazon EMR e Cola AWSlidando com operações de extração, transformação e carregamento (ETL) e requisitos de API assíncronos com eficiência.
O tratamento de dados em tempo actual é gerenciado por meio de Amazon Kinesispermitindo o streaming de atualizações de preços. AWS Lambda As funções executam diversas tarefas, incluindo pesquisas periódicas de APIs de fornecedores, transformação de dados de streaming e enriquecimento de dados. A orquestração desses componentes é gerenciada por Funções de etapas da AWSajudando a garantir a coordenação dos fluxos de trabalho de dados. Completando a arquitetura, Amazon Atenas fornece recursos de consulta, suportando APIs síncronas e consultas analíticas únicas. Essa abordagem cria um sistema escalável desenvolvido para lidar com fluxos de trabalho de processamento em lote e em tempo actual, mantendo alto desempenho e confiabilidade.
Camada de ingestão de dados
A camada de ingestão opera por meio de dois componentes principais: integração de API e processamento de fluxo. A integração da API usa lambda funções para pesquisar sistematicamente várias APIs externas. Estas operações de votação são orquestradas por Amazon Occasion Bridgeque gerencia as tarefas agendadas de coleta de dados. Além disso, os ouvintes do WebSocket mantêm conexões contínuas para capturar atualizações de preços em tempo actual à medida que ocorrem.
No lado do processamento de fluxo, Fluxos de dados do Amazon Kinesis serve como espinha dorsal para lidar com a ingestão de dados em tempo actual em escala. À medida que os dados fluem, as funções Lambda realizam transformações e operações de enriquecimento para preparar os dados para uso downstream. Ao longo deste processo, são aplicadas verificações de validação personalizadas para ajudar a garantir a qualidade e integridade dos dados, ajudando a manter a integridade do pipeline de informações de preços.
Camada de armazenamento de dados
Na camada de armazenamento, Taxbit usa Amazon S3 Tables devido à sua formato de armazenamento otimizado projetado para consultas analíticas. O Amazon S3 Tables foi projetado para lidar automaticamente com a otimização e compactação de tabelas, ajudando a simplificar os processos de gerenciamento de dados. O sistema também incorpora recursos de viagem no tempo, permitindo que a Taxbit atenda aos requisitos de auditoria e à necessidade de análise de dados históricos.
A estratégia de organização de dados é projetada para maximizar a eficiência e a acessibilidade. Os dados são sistematicamente particionados por information e troca, permitindo a recuperação de dados direcionada e melhor desempenho de consulta. A implementação do armazenamento colunar aumenta ainda mais a eficiência das consultas, minimizando verificações de dados desnecessárias. Além disso, existem mecanismos de controle de versão para manter uma linhagem de dados clara, permitindo o rastreamento preciso de alterações e transformações de dados ao longo do tempo.
Camada analítica
Na camada analítica, o mecanismo de consulta forma a base, usando Amazon Atenas para facilitar a análise advert hoc flexível dos dados de preços. Isto é complementado por Prestoconsultas baseadas em que lidam com agregações complexas de forma eficiente. O sistema inclui planos de execução cuidadosamente elaborados e otimizados para padrões de consulta comuns, projetados para fornecer desempenho consistente e confiável.
Para maximizar a eficiência, a camada analítica incorpora várias otimizações importantes de desempenho. O sistema usa um Athena reutilizar resultado da consulta para minimizar o processamento redundante e recursos de execução de consulta paralela para lidar com múltiplas solicitações simultâneas de forma eficaz.
Segurança e conformidade
A estratégia de proteção de dados implementa múltiplas camadas de segurança, começando com Serviço de gerenciamento de chaves da AWS (AWS KMS) criptografia para todos os dados em repouso. Isto é complementado pela criptografia TLS para dados em trânsito, ajudando a proteger a movimentação de dados em todo o sistema. O acesso a dados e recursos é controlado por meio de AWS Identification and Entry Administration (IAM)fornecendo permissões refinadas que impõem o princípio do menor privilégio.
O componente de trilha de auditoria fornece recursos abrangentes de monitoramento e conformidade. AWS CloudTrail o registro captura registros detalhados das atividades do sistema, permitindo análises de segurança completas e investigação de incidentes. O rastreamento da linhagem de dados mantém registros claros da movimentação e das transformações de dados em todo o pipeline. Esses recursos são ampliados por recursos robustos de relatórios de conformidade, ajudando o sistema a demonstrar adesão aos requisitos regulatórios e às políticas de governança interna. Juntos, esses controles de segurança criam um ambiente que protege dados confidenciais, mantém a transparência e fornece responsabilidade.
Impacto nos negócios
Mais notavelmente, a Taxbit alcançou uma redução de 82% nos custos de infraestrutura de armazenamento, ao mesmo tempo que proporcionou velocidades de processamento cinco vezes mais rápidas do que a sua arquitetura anterior. A integridade dos dados para cálculos alcançou aproximadamente 99,99% de precisão e a carga de trabalho agora pode suportar com êxito mais de 10.000 ativos digitais. Os benefícios vão além dessas melhorias quantitativas. A experiência do cliente melhorou, com os tempos de preços das transações diminuindo de horas para minutos. Capacidades de rendimento mais altas aumentaram a eficiência operacional, permitindo carregamento de dados mais rápido e reduzindo custos de computação. A nova arquitetura também estabeleceu uma base escalável que fornece acesso mais rápido aos dados e flexibilidade para expandir para novos mercados. A infraestrutura moderna também permitiu que a Taxbit buscasse novas ofertas de produtos, apoiando análises avançadas e insights em tempo actual que antes eram inatingíveis. Esses recursos criaram novas oportunidades de negócios e fluxos de receitas que não eram possíveis sob as restrições do sistema legado.
Conclusão
A implementação do Amazon S3 Tables pela Taxbit transformou suas soluções de conformidade fiscal de criptomoedas, proporcionando economia de custos de 82% e velocidades de processamento cinco vezes mais rápidas. A arquitetura modernizada, que combina Amazon EMR, AWS Glue, Amazon Kinesis e Lambda, agora processa transações em minutos, em vez de horas. Além disso, a arquitetura ajudou a Taxbit a manter aproximadamente 99,99% de precisão dos dados em mais de 10.000 ativos digitais. Além das melhorias operacionais, esta transformação permitiu novas ofertas de produtos e capacidades analíticas em tempo actual. Ao fazer parceria com a AWS, a Taxbit superou seus desafios de escalabilidade e construiu uma base para inovação contínua no espaço de ativos digitais.
Para obter mais informações, consulte Tabelas Amazon S3.