 |
A partir de hoje, você pode anexar Amazon S3 pontos de acesso para o seu Amazon FSX para OpenZFs sistemas de arquivos para acessar seus dados de arquivo como se estivessem em Amazon Easy Storage Service (Amazon S3). Com esse novo recurso, seus dados no FSX para OpenZFs são acessíveis para uso com uma ampla gama de Amazon Internet Companies (AWS) Serviços e aplicativos para inteligência syntheticAssim, aprendizado de máquina (Ml) e análise Esse trabalho com S3. Os dados do seu arquivo continuam a residir no sistema de arquivos FSX for OpenZFS.
As organizações armazenam centenas de exabytes de dados de arquivo em instalações e desejam mover esses dados para a AWS para maior agilidade, confiabilidade, segurança, escalabilidade e custos reduzidos. Uma vez que seus dados de arquivo estiverem na AWS, as organizações geralmente querem fazer ainda mais com eles. Por exemplo, eles querem usar seus dados corporativos para aumentar AI generativa Aplicações e construir e treinar modelos de aprendizado de máquina com o amplo espectro de AWS Gerative AI e Machine Studying Companies. Eles também desejam a flexibilidade de usar seus dados de arquivo com novos aplicativos da AWS. No entanto, muitos serviços e aplicativos de análise de dados da AWS são criados para trabalhar com dados armazenados na Amazon S3 como lagos de dados. Após a migração, eles podem usar ferramentas que funcionam com o Amazon S3 como sua fonte de dados. Anteriormente, isso exigia que os pipelines de dados copiassem dados entre os sistemas de arquivos Amazon FSX para o OpenZFS e os baldes da Amazon S3.
Pontos de acesso Amazon S3 anexados ao FSX para sistemas de arquivos OpenZFS Remover o movimento dos dados e os requisitos de cópia, mantendo o acesso unificado por meio de protocolos de arquivos e API da Amazon S3 operações. Você pode ler e escrever dados de arquivos usando operações de objeto S3, incluindo GetObjectAssim, Putobjecte ListObjectSv2. Você pode anexar centenas de pontos de acesso a um sistema de arquivos, com cada ponto de acesso S3 configurado com permissões específicas do aplicativo. Esses pontos de acesso suportam os mesmos controles de permissões granulares que os pontos de acesso S3 que se conectam aos baldes S3, incluindo AWS Id and Entry Administration (IAM) Políticas de ponto de acessoAssim, Bloqueie o acesso públicoe controles de origem de rede, como restringir o acesso ao seu Cloud privado digital (VPC). Como seus dados continuar Sistema de arquivos de rede (NFS) e se beneficia dos recursos existentes de gerenciamento de dados.
Você pode usar seus dados de arquivo no Amazon FSX para sistemas de arquivos OpenZFS para alimentar aplicativos de IA generativos com Amazon Bedrock para Geração Aumentada Recuperação (RAG) Fluxos de trabalho, treinar modelos de ML com Amazon Sagemakere executar análises ou Enterprise Intelligence (BI) com Amazon Athena e Aws cola Como se os dados estivessem no S3, usando a API S3. Você também pode gerar informações usando ferramentas de código aberto, como Apache Spark e Apache Hivesem mover ou refatorar seus dados.
Para começar
Você pode criar e anexar um ponto de acesso S3 ao seu sistema de arquivos Amazon FSX para OpenZFS usando o Amazon FSX Consoleo Interface da linha de comando da AWS (AWS CLI)ou o AWS SDK.
Para começar, você pode seguir as etapas no Página de documentação do sistema de arquivos Amazon FSX for OpenZFS Para criar o sistema de arquivos, então, usando o console fsx da Amazon, vá para Ações e selecione Crie ponto de acesso S3. Deixe a configuração padrão e crie.
Para monitorar o progresso da criação, você pode ir ao console do Amazon FSX.
Uma vez disponível, escolha o nome do novo ponto de acesso S3 e revise o resumo do ponto de acesso. Este resumo inclui um alias geradas automaticamente que funciona em qualquer lugar que você normalmente usaria nomes de baldes S3.
Usando o alias no estilo bucket, você pode acessar os dados do FSX diretamente através das operações da API S3.
- Listar objetos usando a API listObjectsv2
- Obtenha arquivos usando a API GetObject
- Escreva dados usando a API Putobject
Os dados continuam acessíveis through NFS.
Além de acessar seus dados FSX através da API S3, você pode trabalhar com seus dados usando a ampla gama de serviços de IA, ML e Analytics que trabalham com dados no S3. Por exemplo, eu construí um Amazon Bedrock Information Base usando PDFs contendo informações de atendimento ao cliente da companhia aérea Do meu aplicativo de suporte de viagem Repositório, WhatsApp agente de suporte a viagens a travas: Elevando a experiência do cliente com a recuperação do conhecimento do PostgreSQLcomo fonte de dados.
Para criar a base de conhecimento da Amazon Bedrock, segui as etapas de conexão em Conecte -se à Amazon S3 para o seu guia do usuário da Base de Conhecimento. Eu escolhi o Amazon S3 como fonte de dados, inseri meu alias de ponto de acesso S3 como fonte S3, depois configurei e criei a base de conhecimento.
Uma vez que a base de conhecimento seja sincronizada, posso ver todos os documentos e o Fonte de documento como s3.
Por fim, executei consultas contra a base de conhecimento e verifiquei que ela usava com sucesso os dados do arquivo do meu sistema de arquivos Amazon FSX for OpenZFS para fornecer respostas contextuais, demonstrando integração perfeita sem movimento de dados.
Coisas para saber
Integração e controle de acesso – Amazon S3 Pontos de acesso para sistemas de arquivos Amazon FSX para OpenZFS Operações de API S3 padrão (como GetObject, ListObjectSv2, PutObject) através do ponto de extremidade S3, com controles de acesso granular através da AWS Id and Entry Administration (IAM) Permissões e autenticação do sistema de arquivos. Seu ponto de acesso S3 inclui um alias de ponto de acesso gerado automaticamente para acesso a dados usando nomes de baldes S3, e o acesso público é bloqueado por padrão para os recursos do Amazon FSX.
Gerenciamento de dados – Seus dados permanecem no seu sistema de arquivos Amazon FSX para o OpenZFS enquanto se torna acessível como se estivesse no Amazon S3, eliminando a necessidade de movimento de dados ou cópias, com dados de arquivo restantes acessíveis através dos protocolos de arquivos NFS.
Desempenho -Os pontos de acesso do Amazon S3 para sistemas de arquivos Amazon FSX for OpenZFS oferecem latência de primeiro byte nas dezenas de milissegundos, consistente com o acesso ao balde S3. Escalas de desempenho com a taxa de transferência provisionada do sistema de arquivos Amazon FSX, com a taxa de transferência máxima determinada pela configuração subjacente do sistema de arquivos FSX.
Preço – Você está cobrado pela Amazon S3 pelos custos de solicitações e transferência de dados por meio do seu ponto de acesso S3, além das cobranças padrão do Amazon FSX. Saiba mais sobre o Amazon FSX para preços do OpenZFS página.
Você pode começar hoje usando o Amazon FSX Console, a AWS CLI ou o AWS SDK para anexar pontos de acesso Amazon S3 ao seu Amazon FSX para sistemas de arquivos OpenZFS. O recurso está disponível no seguinte Regiões da AWS: US East (N. Virginia, Ohio), EUA West (Oregon), Europa (Frankfurt, Irlanda, Estocolmo) e Ásia -Pacífico (Hong Kong, Cingapura, Sydney, Tóquio).
– Eli