 |
A imagem sísmica é uma técnica geofísica usada para criar imagens detalhadas da estrutura de subsuperfície da Terra. Ele funciona gerando ondas sísmicas que viajam para o solo, refletem várias camadas e estruturas de rochas e retornam à superfície, onde são detectadas por instrumentos sensíveis conhecidos como geofones ou hidrofones. Os enormes volumes de dados adquiridos geralmente atingem petabytes para uma única pesquisa e isso apresenta desafios significativos de armazenamento, processamento e gerenciamento para pesquisadores e empresas de energia.
Clientes que executam essas cargas de trabalho sísmicas de imagem ou outro Computação de alto desempenho (HPC) Cargas de trabalho, como previsão do tempo, treinamento avançado do sistema de assistência ao motorista (ADAS) ou análise de genômica, já armazenam os enormes volumes de dados sobre o armazenamento de arquivos de unidade de disco rígido (HDD) ou uma combinação de HDD e armazenamento de arquivos de unidade de estado sólido (SSD) nas instalações. No entanto, como estes nos conjuntos de dados e cargas de trabalho das instalações, os clientes acham cada vez mais desafiador e caro devido à necessidade de fazer investimentos iniciais de capital para acompanhar as necessidades de desempenho de suas cargas de trabalho e evitar ficar sem capacidade de armazenamento.
Hoje, estamos anunciando a disponibilidade geral do Amazon FSX para Luster Clever-Tieruma nova classe de armazenamento que oferece escalabilidade praticamente ilimitada, o único armazenamento de arquivos de brilho totalmente elástico e o armazenamento de arquivos de lustre de menor custo na nuvem. Com um preço inicial inferior a US $ 0,005 por GB-mês, o FSX para o brilho inteligente de brilho e o armazenamento de arquivos de alto desempenho de menor custo na nuvem, reduzindo os custos de armazenamento para dados com pouca frequência em até 96 % em comparação com outras opções de lustre gerenciado. Elasticidade significa que você não precisa mais provisionar a capacidade de armazenamento inicial, porque o sistema de arquivos crescerá e encolherá à medida que adicionar ou excluir dados, e você paga apenas pela quantidade de dados que você armazena.
O FSX para o Luster Clever-Tier otimiza automaticamente os custos, em camadas de dados frios para a camada de armazenamento de menor custo aplicável com base nos padrões de acesso e inclui um cache de leitura SSD opcional para melhorar o desempenho para suas cargas de trabalho mais sensíveis à latência. Clever-tier oferece alto desempenho, esteja você começando com gigabytes de dados experimentais ou trabalhando com grandes conjuntos de dados em escala de petabytes para seus mais exigentes Inteligência synthetic/aprendizado de máquina (AI/ml) e cargas de trabalho de HPC. Com a flexibilidade de ajustar o desempenho do seu sistema de arquivos independente do armazenamento, o Clever-Tier oferece até 34 % melhor desempenho de preço do que nos sistemas de arquivos HDD de instalações. A classe de armazenamento de camada inteligente é otimizada para cargas de trabalho de HDD/SSD baseadas em HDD ou misto que possuem uma combinação de dados quentes e frios. Você pode migrar e executar essas cargas de trabalho para o FSX para lustre de lustre inteligente sem alterações de aplicativos, eliminando o planejamento e o gerenciamento da capacidade de armazenamento, pagando apenas pelos recursos que você usa.
Antes deste lançamento, os clientes usaram o FSX para a classe de armazenamento SSD de brilho para acelerar cargas de trabalho de ML e HPC que precisam de desempenho All-SSD e acesso consistente de baixa latência a todos os dados. No entanto, muitas cargas de trabalho têm uma combinação de dados quentes e frios e não precisam de armazenamento All-SSD para partes mais frias dos dados. O FSX para o brilho é cada vez mais utilizado na utilização da unidade de processamento de gráficos (GPU) de AI/ML, e agora é ainda mais otimizado para ser uma das opções para essas cargas de trabalho.
FSX para brilho de lustre
Seus dados se movem entre três níveis de armazenamento (acesso frequente, acesso pouco frequente e arquivo) sem nenhum esforço de sua parte, para obter uma economia automática de custos sem custos ou compromissos iniciais. A camada funciona da seguinte maneira:
Acesso frequente – Os dados que foram acessados nos últimos 30 dias são armazenados nesta camada.
Acesso pouco frequente – Os dados que não foram acessados por 30 a 90 dias são armazenados nesta camada, a uma redução de 44 % em relação ao acesso frequente.
Arquivo – Os dados que não foram acessados por 90 ou mais dias são armazenados nesse nível, com uma redução de 65 % em comparação com o acesso pouco frequente.
Independentemente da camada de armazenamento, seus dados são armazenados em vários Zonas de disponibilidade da AWS Para redundância e disponibilidade, em comparação com as implementações típicas do native, que geralmente são confinadas em um único native físico. Além disso, seus dados podem ser recuperados instantaneamente em milissegundos.
Criando um sistema de arquivos
Eu posso criar um sistema de arquivos usando o Console de gerenciamento da AWSAssim, Interface da linha de comando da AWS (AWS CLI)API, ou AWS CloudFormation. No console, eu escolho Crie sistema de arquivos para começar.
Eu seleciono Amazon FSX para brilho e escolha Próximo.
Agora, é hora de inserir o restante das informações para criar o sistema de arquivos. Eu insiro um nome (veliswa_fsxINT_1) Para o meu sistema de arquivos e para a aula de implantação e armazenamento, seleciono Persistente, Clever-tier. Eu escolho o desejado Capacidade de taxa de transferência e o Metadados IOPS. O SSD Leia o cache será configurado automaticamente pelo FSX para brilho com base na capacidade de taxa de transferência especificada. Eu deixo o resto como padrão, escolha Próximoe revise minhas opções para criar meu sistema de arquivos.
Com o Amazon FSX para o Luster Clever-Tier, você tem a flexibilidade de provisionar o desempenho necessário para suas cargas de trabalho sem precisar provisionar qualquer capacidade de armazenamento subjacente antecipadamente.
Eu queria saber quais valores eram editáveis após a criação, então prestei mais atenção antes de finalizar a criação do sistema de arquivos. Observei que a capacidade de rendimento, os metadados, grupos de segurança, SSD, leia o cache e alguns outros foram editáveis posteriormente. Depois de começar a executar os trabalhos de ML, pode ser necessário aumentar a capacidade de taxa de transferência com base nos volumes de dados que processarei, para que essas informações sejam importantes para mim.
O sistema de arquivos já está disponível. Considerando que estarei executando cargas de trabalho de HPC, prevê que estarei processando altos volumes de dados posteriormente, então aumentarei a capacidade de taxa de transferência para 24 GB/S.. Afinal, eu só pago pelos recursos que uso.
O cache de leitura do SSD é dimensionado automaticamente à medida que seu desempenho precisa aumentar. Você pode ajustar o tamanho do cache qualquer tempo independentemente no modo provisionado pelo usuário ou desativar o cache de leitura se não precisar de acesso de baixa latência.
Bom saber
- O FSX para o Luster Clever-Tiering foi projetado para fornecer até vários terabytes por segundo da taxa de transferência complete.
- FSX para brilho com Adaptador de tecido elástico (EFA)O suporte ao armazenamento direto da GPU (GDS) fornece até 12x (até 1200 Gbps) de taxa de transferência por cliente em comparação com o FSX anterior para sistemas de brilho.
- Ele pode oferecer até dezenas de milhões de IOPS para gravações e leituras em cache. Os dados no cache de leitura do SSD possuem latências de tempo para primeiro bytes, e todos os outros dados têm latências de tempo para o primeiro bytes na faixa de dezenas de milissegundos.
Agora disponível
Aqui estão algumas coisas a ter em mente:
FSx Clever-Tiering storage class is on the market within the new FSx for Lustre file programs within the US East (N. Virginia, Ohio), US West (N. California, Oregon), Canada (Central), Europe (Frankfurt, Eire, London, Stockholm), and Asia Pacific (Hong Kong, Mumbai, Seoul, Singapore, Sydney, Tokyo) Regiões da AWS.
Você paga pelos dados e metadados que você armazena em seu sistema de arquivos (GB/meses). Quando você escreve dados ou quando lê dados que não estão no cache do SSD, você paga por operação. Você paga pela capacidade complete de taxa de transferência (no MBPS/mês), nos metadados IOPS (IOPS/mês) e tamanho do cache de leitura de SSD para dados e metadados (GB/mês) que você provision em seu sistema de arquivos. Para saber mais, visite o Amazon FSX para preços de brilho página. Para saber mais sobre o Amazon FSX para o brilho, incluindo esse recurso, visite o Amazon FSX para brilho página.
Dê um Amazon FSX para uma camada inteligente de brilho, tente no Amazon FSX Console hoje e envie suggestions para AWS Re: Put up for Amazon FSX para Luster ou através de seus contatos habituais de suporte da AWS.
– Veliswa.
Como está o weblog de notícias? Pegue isso 1 minuto de pesquisa!
(Esse enquete é hospedado por uma empresa externa. AWS lida com suas informações conforme descrito no Aviso de privacidade da AWS. A AWS possuirá os dados coletados por meio desta pesquisa e não compartilharão as informações coletadas com os entrevistados.)