 |
Estou animado para anunciar Arquivos Amazon S3um novo sistema de arquivos que conecta perfeitamente qualquer recurso de computação da AWS com Serviço de armazenamento simples da Amazon (Amazon S3).
Há mais de uma década, como instrutor da AWS, passei inúmeras horas explicando as diferenças fundamentais entre armazenamento de objetos e sistemas de arquivos. Minha analogia favorita foi comparar objetos S3 com livros em uma biblioteca (você não pode editar uma página, você precisa substituir o livro inteiro) com arquivos em seu computador que você pode modificar página por página. Desenhei diagramas, criei metáforas e ajudei os clientes a entender por que precisavam de diferentes tipos de armazenamento para diferentes cargas de trabalho. Bem, hoje essa distinção se torna um pouco mais flexível.
Com o S3 Recordsdata, o Amazon S3 é o primeiro e único armazenamento de objetos na nuvem que oferece acesso completo e de alto desempenho ao sistema de arquivos aos seus dados. Isso torna seus buckets acessíveis como sistemas de arquivos. Isso significa que as alterações nos dados no sistema de arquivos são refletidas automaticamente no bucket S3 e você tem controle refinado sobre a sincronização. Os arquivos S3 podem ser anexados a vários recursos de computação, permitindo o compartilhamento de dados entre clusters sem duplicação.
Até agora, você tinha que escolher entre o custo do Amazon S3, a durabilidade e os serviços que podem consumir dados nativamente dele ou os recursos interativos de um sistema de arquivos. O S3 Recordsdata elimina essa compensação. O S3 se torna o hub central para todos os dados da sua organização. Ele pode ser acessado diretamente de qualquer instância de computação, contêiner ou função da AWS, esteja você executando aplicativos de produção, treinando modelos de ML ou criando sistemas de IA de agente.
Você pode acessar qualquer bucket de uso geral como um sistema de arquivos nativo no seu Amazon Elastic Compute Cloud (Amazon EC2) instâncias, contêineres em execução Amazon Elastic Container Service (Amazon ECS) ou Serviço Amazon Elastic Kubernetes (Amazon EKS)ou AWS Lambda funções. O sistema de arquivos apresenta objetos S3 como arquivos e diretórios, suportando todos Sistema de arquivos de rede (NFS) v4.1+ operações como criação, leitura, atualização e exclusão de arquivos.
À medida que você trabalha com arquivos e diretórios específicos por meio do sistema de arquivos, os metadados e conteúdos dos arquivos associados são colocados no armazenamento de alto desempenho do sistema de arquivos. Por padrão, os arquivos que se beneficiam do acesso de baixa latência são armazenados e servidos no armazenamento de alto desempenho. Para arquivos não armazenados em armazenamento de alto desempenho, como aqueles que precisam de grandes leituras sequenciais, o S3 Recordsdata atende automaticamente esses arquivos diretamente do Amazon S3 para maximizar a taxa de transferência. Para leituras de intervalo de bytes, apenas os bytes solicitados são transferidos, minimizando a movimentação de dados e os custos.
O sistema também suporta pré-busca inteligente para antecipar suas necessidades de acesso a dados. Você tem controle refinado sobre o que é armazenado no armazenamento de alto desempenho do sistema de arquivos. Você pode decidir se deseja carregar dados completos do arquivo ou apenas metadados, o que significa que você pode otimizar seus padrões de acesso específicos.
Nos bastidores, o S3 Recordsdata usa Sistema de arquivos elástico da Amazon (Amazon EFS) e oferece latências de aproximadamente 1 ms para dados ativos. O sistema de arquivos oferece suporte ao acesso simultâneo de vários recursos de computação com consistência NFS quase aberta, tornando-o supreme para cargas de trabalho interativas e compartilhadas que alteram dados, desde agentes de IA colaborativos por meio de ferramentas baseadas em arquivos até pipelines de treinamento de ML processando conjuntos de dados.
Deixe-me mostrar como começar.
Criar meu primeiro sistema de arquivos Amazon S3, montá-lo e usá-lo a partir de uma instância EC2 é simples.
Eu tenho uma instância EC2 e um bucket de uso geral. Nesta demonstração, configuro um sistema de arquivos S3 e acesso o bucket a partir de uma instância do EC2, usando comandos regulares do sistema de arquivos.
Para esta demonstração, eu uso o Console de gerenciamento da AWS. Você também pode usar o Interface de linha de comando da AWS (AWS CLI) ou infraestrutura como código (IAC).
Aqui está o diagrama de arquitetura para esta demonstração.
Etapa 1: Crie um sistema de arquivos S3.
Na seção Amazon S3 do console, eu escolho Sistemas de arquivos e então Criar sistema de arquivos.
Eu insiro o nome do bucket que desejo expor como sistema de arquivos e escolho Criar sistema de arquivos.
Etapa 2: Descubra o destino de montagem.
Um ponto de acesso NFS é um endpoint de rede que residirá em minha nuvem privada digital (VPC). Ele permite que minha instância EC2 acesse o sistema de arquivos S3.
O console cria os pontos de acesso NFS automaticamente. Eu tomo notas do ID do destino de montagemestá no Destinos montados guia.
Ao usar o CLIdois comandos separados são necessários para criar o sistema de arquivos e seus destinos de montagem. Primeiro, crio o sistema de arquivos S3 com create-file-system. Então, eu crio o destino de montagem com create-mount-target.
Etapa 3: Monte o sistema de arquivos na minha instância EC2.
Depois de conectado a uma instância EC2, digito:
sudo mkdir /house/ec2-user/s3files sudo mount -t s3files fs-0aa860d05df9afdfe:/ /house/ec2-user/s3files
Agora posso trabalhar com meus dados S3 diretamente por meio do sistema de arquivos montado em ~/s3filesusando operações de arquivo padrão.
Quando faço atualizações em meus arquivos no sistema de arquivos, o S3 gerencia e exporta automaticamente todas as atualizações como um novo objeto ou uma nova versão em um objeto existente de volta ao meu bucket do S3 em minutos.
As alterações feitas em objetos no bucket S3 ficam visíveis no sistema de arquivos em alguns segundos, mas às vezes podem levar um minuto ou mais.
# Create a file on the EC2 file system
echo "Hi there S3 Recordsdata" > s3files/good day.txt
# and confirm it is right here
ls -al s3files/good day.txt
-rw-r--r--. 1 ec2-user ec2-user 15 Oct 22 13:03 s3files/good day.txt
# See? the file can be on S3
aws s3 ls s3://s3files-aws-news-blog/good day.txt
2025-10-22 13:04:04 15 good day.txt
# And the content material is similar!
aws s3 cp s3://s3files-aws-news-blog/good day.txt . && cat good day.txt
Hi there S3 RecordsdataCoisas para saber
Deixe-me compartilhar alguns detalhes técnicos importantes que acho que serão úteis para você.
Outra pergunta que ouço frequentemente nas conversas com clientes é sobre como escolher o serviço de arquivos certo para suas cargas de trabalho. Sim, eu sei o que você está pensando: AWS e seus serviços aparentemente sobrepostos, mantendo os arquitetos de nuvem entretidos durante suas reuniões de revisão de arquitetura. Deixe-me ajudar a desmistificar isso.
O S3 Recordsdata funciona melhor quando você precisa de acesso interativo e compartilhado aos dados que residem no Amazon S3 por meio de uma interface de sistema de arquivos de alto desempenho. É supreme para cargas de trabalho em que vários recursos de computação (sejam aplicativos de produção, agentes de IA de agente que usam bibliotecas Python e ferramentas CLI ou pipelines de treinamento de aprendizado de máquina (ML)) precisam ler, gravar e alterar dados de forma colaborativa. Você obtém acesso compartilhado em clusters de computação sem duplicação de dados, latência inferior a um milissegundo e sincronização automática com seu bucket S3.
Para cargas de trabalho migrando de ambientes NAS locais, Amazon FSx fornece os recursos familiares e a compatibilidade que você precisa. O Amazon FSx também é supreme para computação de alto desempenho (HPC) e armazenamento em cluster de GPU com Amazon FSx para Lustre. É particularmente valioso quando seus aplicativos exigem recursos específicos do sistema de arquivos Amazon FSx para NetApp ONTAP, Amazon FSx para OpenZFSou Servidor de arquivos Amazon FSx para Home windows.
Preço e disponibilidade
S3 Recordsdata está disponível hoje em todos os formatos comerciais Regiões da AWS.
Você paga pela parte dos dados armazenados no sistema de arquivos S3, pela leitura de arquivos pequenos e por todas as operações de gravação no sistema de arquivos e pelas solicitações do S3 durante a sincronização de dados entre o sistema de arquivos e o bucket do S3. A página de preços do Amazon S3 contém todos os detalhes.
A partir de discussões com clientes, acredito que o S3 Recordsdata ajuda a simplificar as arquiteturas de nuvem, eliminando silos de dados, complexidade de sincronização e movimentação guide de dados entre objetos e arquivos. Esteja você executando ferramentas de produção que já funcionam com sistemas de arquivos, criando sistemas de IA de agente que dependem de bibliotecas Python e scripts de shell baseados em arquivos ou preparando conjuntos de dados para treinamento de ML, o S3 Recordsdata permite que essas cargas de trabalho interativas, compartilhadas e hierárquicas acessem dados do S3 diretamente, sem escolher entre a durabilidade do Amazon S3 e os benefícios de custo e os recursos interativos de um sistema de arquivos. Agora você pode usar o Amazon S3 como native para todos os dados de sua organização, sabendo que os dados podem ser acessados diretamente de qualquer instância de computação, contêiner e função da AWS.
Para saber mais e começar, visite o Documentação de arquivos S3.
Eu adoraria saber como você usa esse novo recurso. Sinta-se à vontade para compartilhar seus comentários nos comentários abaixo.