Amazon Athena Simplificando analisar dados sem precisar configurar e gerenciar a infraestrutura de processamento de dados. No entanto, tradicionalmente, você precisava configurar um Amazon Easy Storage Service (Amazon S3) Bucket para armazenar resultados de consultas antes que eles pudessem executar consultas com Athena. Surgiu a necessidade de tornar ainda mais simples começar a usar Athena, com menos etapas de configuração.
É por isso que estamos emocionados em apresentar Resultados da consulta gerenciadaum novo recurso Athena que armazena, protege e gerencia automaticamente o ciclo de vida dos dados de resultados de consulta para você, sem nenhum custo adicional. Os resultados da consulta gerenciada simplifica sua experiência do usuário, removendo a necessidade de criar ou escolher um balde S3 em sua conta para manter os resultados antes de executar consultas. Ajuda a reduzir seu custo mensal, mudando o armazenamento temporário dos resultados da consulta do seu balde S3 para Athena e elimina a necessidade de processos separados para excluir dados de resultados da consulta do seu balde S3 depois que não for mais necessário. Agora, a Athena oferece opções de armazenamento de resultado temporário gerenciado por serviços e opções de armazenamento do Amazon S3 gerenciadas pelo cliente para atender às diferentes necessidades.
Além disso, o uso de resultados de consultas gerenciadas não requer alterações complexas nos aplicativos que leem os resultados da consulta das interfaces de Athena existentes e aumentam a segurança dos dados. O acesso a dados de resultados de consulta gerenciados agora está associado a AWS Id and Entry Administration (IAM) Permissões escopo para grupos de trabalho de Athena individuais, em vez de baldes S3. Além disso, você pode criptografar automaticamente dados de resultados com Serviço de gerenciamento de chaves da AWS (AWS KMS) Usando chaves de propriedade ou gerenciado pelo cliente.
Nesta postagem, demonstramos como começar com os resultados da consulta gerenciada e, removendo o esforço indiferenciado gasto no gerenciamento de resultados da consulta, como a Athena ajuda você a obter informações de seus dados em menos etapas do que antes.
Visão geral da solução
Quando você usa os resultados da consulta gerenciada, você não precisa mais criar e escolher baldes S3 para armazenar resultados de consultas ou gerenciar regras do ciclo de vida para garantir que os dados do resultado sejam limpos. A seguir, estão alguns cenários em que isso é benéfico:
- Analistas financeiros que trabalham em equipes que analisam dados de mercado, cada um cobrindo diferentes áreas de investimento ou instrumentos financeiros, podem usar diferentes grupos de trabalho para diferentes tipos de análises ou projetos. Agora, os analistas não precisam gastar tempo configurando baldes S3 ou se preocupar com a limpeza dos resultados da consulta quando seu trabalho for feito.
- As equipes de conformidade podem executar consultas de auditoria sobre dados de transação para relatórios regulatórios, garantindo que apenas os membros autorizados da equipe possam acessar resultados sensíveis à consulta por meio de permissões do IAM. Como os resultados da consulta são limpos automaticamente, a equipe de conformidade não requer mais processos separados para excluir dados de resultados da consulta.
- As equipes de dados e análises e automação de plataformas responsáveis pela integração simplificada de novos usuários e equipes não precisam mais configurar baldes e permissões S3 individuais para diferentes usuários e equipes, simplificando seu código de automação.
A seguir, algumas das principais características dos resultados da consulta gerenciada em Athena:
- Ele take away a necessidade de escolher um native de balde S3 antes de executar consultas.
- Não há custo adicional para armazenar seus resultados de consulta e a consulta é excluída automaticamente após um período de tempo, reduzindo a sobrecarga de gerenciamento de processos separados de limpeza de baldes.
- É simples começar: grupos de trabalho novos e preexistentes podem ser configurados sem problemas para usar os resultados da consulta gerenciada. Você pode ter uma mistura de Athena gerenciada e os resultados da consulta gerenciada pelo cliente em sua conta da AWS.
- Você pode usar permissões de IAM simplificadas com acesso para ler resultados usando
GetQueryResultseGetQueryResultsStreamvinculado a grupos de trabalho individuais. - Os resultados da consulta são criptografados automaticamente com a sua escolha de chaves KMS de propriedade da AWS ou gerenciadas pelo cliente.
Vamos percorrer como começar com os resultados da consulta gerenciada.
Configure seu grupo de trabalho
Conclua as etapas a seguir para configurar seu grupo de trabalho:
- No console Athena, escolha Grupos de trabalho no painel de navegação.
- Escolher Crie um grupo de trabalho.
Como alternativa, você pode selecionar um grupo de trabalho existente e escolher Editar.
- Para Configuração do resultado da consultaselecione Athena conseguiu.
- Navegue até o Console Athena. Para criar um novo grupo de trabalho, na página Grupos de trabalho, selecione o Crie um grupo de trabalho botão. Para editar um grupo de trabalho existente, selecione um grupo de trabalho na lista e na página de detalhes do grupo de trabalho, selecione o Editar botão. Em seção de configuração de resultados de consulta, você verá a opção para Athena conseguiu:
- Para Resultados da consulta criptografadaEscolha o seu método de criptografia preferido
Figura 1: Configuração do resultado da consulta
Etapa 2: Configurar criptografia
Escolha o seu método de criptografia preferido para obter resultados de consulta:
- Criptografar usando uma chave de propriedade da AWS – Esta é a opção padrão. Indica que você deseja que os resultados da consulta sejam criptografados e descriptografados por uma chave de propriedade da AWS.
- Criptografar usando uma chave gerenciada pelo cliente – Escolha esta opção se desejar criptografar e descriptografar os resultados da consulta com sua própria chave. Para que Athena use sua chave gerenciada pelo cliente, especifique o serviço Athena no
Principalelementos da política -chave. Para mais informações, consulte Configure uma política -chave da AWS KMS para armazenamento gerenciado. Para executar consultas, os dados de consulta do usuário precisam de permissão para acessar sua chave.
Consulte seus dados
Depois de configurar seu grupo de trabalho para obter resultados de consultas gerenciadas, você pode começar imediatamente a executar consultas. Vamos executar uma amostra de consulta contra o relatório de custo e custo da AWS.
O banner de console Athena indica que nosso grupo de trabalho, demo-workgroupfoi atualizado para usar os resultados da consulta gerenciada. Nossa consulta foi executada com sucesso e não precisamos montar um balde S3. Para baixar esses resultados, escolha Faça o obtain dos resultados CSV.
Figura 2: Executando uma consulta contra o relatório de custo e uso no console Athena
Você pode acessar esses resultados através do Athena Console e usar as APIs Athena.
Figura 3: Acessando os resultados da consulta by way of Athena API
Conclusão
Nesta postagem, introduzimos resultados de consultas gerenciadas, um novo recurso Athena que otimiza a experiência de consulta através do armazenamento automatizado de resultados de consultas, fornece limpeza automática e limita o acesso ao resultado da consulta com as permissões do IAM. Os resultados da consulta gerenciada reduzem a sobrecarga operacional, capacitando os analistas de dados executando consultas interativas e equipes que constroem pipelines de análise complexos para se concentrarem em derivar insights, em vez de gerenciar a infraestrutura. Demonstramos como configurar grupos de trabalho para armazenamento gerenciado e usamos efetivamente esse recurso em cenários de consulta.
Para começar a usar os resultados da consulta gerenciada com a Athena, basta configurar seus grupos de trabalho através do console ou APIs Athena. Para mais informações, consulte Resultados da consulta gerenciada.
Sobre os autores
Man Bachar é um arquiteto da Sr. Options na AWS. Ele é especialista em ajudar o mercado de capitais e os clientes da FinTech em suas jornadas de transformação em nuvem. Sua experiência abrange o gerenciamento de identidade, a segurança e a comunicação unificada.
Sayan Chakraborty é um arquiteto da Sr. Options na AWS. Ele ajuda as grandes empresas a criar soluções seguras, escaláveis e de desempenho na AWS. Com experiência em arquitetura corporativa e tecnológica, ele tem experiência em oferecer programas de transformação digital em larga escala em uma ampla gama de verticais do setor.
Darshit Thakkar é gerente de produto técnico da AWS e trabalha em Boston, Massachusetts. Ele trabalha em estreita colaboração com os clientes para entender como eles usam dados e impulsiona as inovações de produtos que tornam os dados mais acionáveis em escala.