 |
Hoje, estamos anunciando três novos recursos para Lente de armazenamento Amazon S3 que fornecem insights mais profundos sobre o desempenho do armazenamento e os padrões de uso. Com a adição de métricas de desempenho, suporte para análise de bilhões de prefixos e exportação direta para Tabelas Amazon S3, você tem as ferramentas necessárias para otimizar o desempenho dos aplicativos, reduzir custos e tomar decisões baseadas em dados sobre sua estratégia de armazenamento do Amazon S3.
Novas categorias de métricas de desempenho
O S3 Storage Lens agora inclui oito novas categorias de métricas de desempenho que ajudam a identificar e resolver restrições de desempenho em sua organização. Eles estão disponíveis nos níveis de organização, conta, bucket e prefixo. Por exemplo, o serviço ajuda a identificar pequenos objetos em um bucket ou prefixo que podem diminuir o desempenho do aplicativo. Isso pode ser mitigado agrupando pequenos objetos ou usando o Amazon S3 Specific Uma Zona classe de armazenamento para cargas de trabalho de objetos pequenos de maior desempenho.
Para acessar as novas métricas de desempenho, você precisa habilitar métricas de desempenho no nível avançado do S3 Storage Lens ao criar um novo painel do Storage Lens ou editar uma configuração existente.
| Categoria de métrica | Detalhes | Caso de uso | Mitigação |
| Ler o tamanho da solicitação | Distribuição de tamanhos de solicitação de leitura (GET) por dia | Identifique conjuntos de dados com pequenos padrões de solicitação de leitura que retardam o desempenho | Solicitação pequena: agrupe objetos pequenos em lote ou use o Amazon S3 Specific One Zone para cargas de trabalho de objetos pequenos de alta efficiency |
| Tamanho da solicitação de gravação | Distribuição de tamanhos de solicitação de gravação (PUT, POST, COPY e UploadPart) por dia | Identifique o conjunto de dados com pequenos padrões de solicitação de gravação que retardam o desempenho | Solicitação grande: paralelize solicitações, use MPU ou AWS CRT |
| Tamanho de armazenamento | Distribuição de tamanhos de objetos | Identifique o conjunto de dados com pequenos objetos que diminuem o desempenho | Tamanhos de objetos pequenos: considere agrupar objetos pequenos |
| Erros PUT 503 simultâneos | Número de 503s devido à operação PUT simultânea no mesmo objeto | Identifique prefixos com otimização PUT simultânea que retarda o desempenho | Para gravador único, modifique o comportamento de repetição ou use o Amazon S3 Specific One Zone. Para vários gravadores, use o mecanismo de consenso ou use o Amazon S3 Specific One Zone |
| Transferência de dados entre regiões | Bytes transferidos e solicitações enviadas na região, na região | Identifique o desempenho potencial e a degradação de custos devido ao acesso a dados entre regiões | Coloque a computação com dados na mesma região da AWS |
| Objetos exclusivos acessados | Número ou porcentagem de objetos exclusivos acessados por dia | Identifique conjuntos de dados onde pequenos subconjuntos de objetos são acessados com frequência. Eles podem ser movidos para um nível de armazenamento de desempenho mais alto para melhor desempenho | Considere mover dados ativos para o Amazon S3 Specific One Zone ou outras soluções de cache |
| FirstByteLatency (existente Amazon CloudWatch métrica) | Média diária da métrica de latência do primeiro byte | O tempo médio diário por solicitação, desde o recebimento completo da solicitação até o momento em que a resposta começa a ser retornada | |
| TotalRequestLatency (métrica existente do Amazon CloudWatch) | Média diária da latência whole da solicitação | A média diária decorrida por solicitação, desde o primeiro byte recebido até o último byte enviado |
Como funciona
No Console Amazon S3 eu escolho Criar painel do Storage Lens para criar um novo painel. Você também pode editar uma configuração de painel existente. Em seguida, defino configurações gerais, como fornecer um Nome do painel, Standinge o opcional Etiquetas. Então, eu escolho Próximo.
A seguir, defino o escopo do painel selecionando Incluir todas as regiões e incluir todos os buckets e especificando as regiões e os buckets a serem incluídos.
Eu optei pelo Nível avançado na configuração do painel do Storage Lens, selecione Métricas de desempenhoe escolha Próximo.
A seguir, seleciono Agregação de prefixo como uma agregação de métricas adicional, então deixo o restante das informações como padrão antes de escolher Próximo.
Eu seleciono o Relatório de métricas padrãoentão Balde de uso geral como o tipo de bucket e, em seguida, selecione o bucket do Amazon S3 em minha conta da AWS como o Bucket de destino. Deixo o restante das informações como padrão e seleciono Próximo.
Eu reviso todas as informações antes de escolher Enviar para finalizar o processo.
Depois de ativado, receberei métricas de desempenho diárias diretamente no Console de lentes de armazenamento painel. Você também pode optar por exportar relatórios em formato CSV ou Parquet para qualquer bucket da sua conta ou publicar no Amazon CloudWatch. As métricas de desempenho são agregadas e publicadas diariamente e estarão disponíveis em vários níveis: organização, conta, bucket e prefixo. Neste menu suspenso, escolho a% de erro PUT 503 simultâneo para o MétricaÚltimos 30 dias para o Períodoe 10 para o N principais intervalos.
A métrica de contagem de erros PUT 503 simultâneos rastreia o número de erros 503 gerados por operações PUT simultâneas para o mesmo objeto. Erros de limitação podem degradar o desempenho do aplicativo. Para um único gravador, modifique o comportamento de repetição ou use um nível de armazenamento de desempenho mais alto, como o Amazon S3 Specific One Zone, para mitigar erros PUT 503 simultâneos. Para cenários de vários gravadores, use um mecanismo de consenso para evitar erros PUT 503 simultâneos ou use um nível de armazenamento de desempenho mais alto, como o Amazon S3 Specific One Zone.
Análise completa para todos os prefixos em seus buckets S3
O S3 Storage Lens agora oferece suporte a análises para todos os prefixos em seus buckets S3 por meio de um novo Relatório de métricas de prefixos expandidos. Esse recurso elimina as limitações anteriores que restringiam a análise a prefixos que atendiam a um limite de tamanho de 1% e uma profundidade máxima de 10 níveis. Agora você pode rastrear até bilhões de prefixos por bucket para análise no nível de prefixo mais granular, independentemente do tamanho ou da profundidade.
O relatório de métricas de prefixos expandidos inclui todas as categorias de métricas existentes do S3 Storage Lens: uso de armazenamento, métricas de atividade (solicitações e bytes transferidos), métricas de proteção de dados e métricas detalhadas de código de standing.
Como começar
Sigo os mesmos passos descritos no Como funciona seção para criar ou atualizar o painel do Storage Lens. Na Etapa 4 do console, onde você seleciona as opções de exportação, você pode selecionar o novo Relatório de métricas de prefixos expandidos. Depois disso, posso exportar o relatório de métricas de prefixos expandidos em formato CSV ou Parquet para qualquer bucket de uso geral em minha conta para uma consulta eficiente dos meus dados do Storage Lens.
Bom saber
Essa melhoria aborda cenários em que as organizações precisam de visibilidade granular em toda a sua estrutura de prefixos. Por exemplo, você pode identificar prefixos com multipart uploads incompletos para reduzir custos, rastrear a conformidade em toda a sua estrutura de prefixos para requisitos de criptografia e replicação e detectar problemas de desempenho no nível mais granular.
Exportar métricas do S3 Storage Lens para tabelas do S3
As métricas do S3 Storage Lens agora podem ser exportadas automaticamente para S3 Tables, um recurso totalmente gerenciado na AWS com suporte integrado ao Apache Iceberg. Essa integração fornece entrega automática diária de métricas para tabelas S3 gerenciadas pela AWS para consulta imediata sem exigir infraestrutura de processamento adicional.
Como começar
Começo seguindo o processo descrito na Etapa 5 no console, onde escolho o destino da exportação. Dessa vez eu escolho Relatório de métricas de prefixos expandidos. Além do balde de uso geral, eu escolho Balde de mesa.
As novas métricas do Storage Lens são exportadas para novas tabelas em um Bucket gerenciado pela AWS aws-s3.
Eu seleciono o expandidos_prefixos_atividade_métricas tabela para visualizar métricas de uso de API para relatórios de prefixo expandidos.
Posso visualizar a tabela no console do Amazon S3 ou usar Amazon Atenas para consultar a tabela.
Bom saber
A integração do S3 Tables com o S3 Storage Lens simplifica a análise de métricas usando ferramentas SQL familiares e serviços de análise da AWS, como Amazon Athena, AmazonQuickSight, Amazon EMRe Redshift da Amazonsem exigir um pipeline de dados. As métricas são organizadas automaticamente para consultas ideais, com opções personalizadas de retenção e criptografia para atender às suas necessidades.
Essa integração permite análise entre contas e regiões, criação de painéis personalizados e correlação de dados com outros serviços da AWS. Por exemplo, você pode combinar métricas do Storage Lens com metadados do S3 para analisar padrões de atividade em nível de prefixo e identificar objetos em prefixos com dados frios que são elegíveis para transição para níveis de armazenamento de custo mais baixo.
Para seus fluxos de trabalho de IA de agência, você pode usar linguagem pure para consultar métricas do S3 Storage Lens em tabelas do S3 com o Servidor MCP de tabelas S3. Os agentes podem fazer perguntas como ‘quais segmentos cresceram mais no mês passado?’ ou ‘mostre-me os custos de armazenamento por classe de armazenamento’ e obtenha insights instantâneos de seus dados de observabilidade.
Agora disponível
Todos os três aprimoramentos estão disponíveis em todos Regiões da AWS onde o S3 Storage Lens é oferecido atualmente (exceto as regiões da China e AWS GovCloud (EUA)).
Esses recursos estão incluídos no nível Amazon S3 Storage Lens Superior sem custo adicional além do preço do nível avançado padrão. Para a exportação do S3 Tables, você paga apenas pelo armazenamento, manutenção e consultas do S3 Tables. Não há custo adicional pela funcionalidade de exportação em si.
Para saber mais sobre as métricas de desempenho do Amazon S3 Storage Lens, suporte para bilhões de prefixos e exportação para tabelas do S3, consulte o Guia do usuário do Amazon S3. Para detalhes de preços, visite o Página de preços do Amazon S3.