Amazon FSx for Lustre

Armazenamento compartilhado rápido e escalável para workloads de computação

O Amazon FSx for Lustre é um serviço totalmente gerenciado que oferece um armazenamento econômico, de alta performance e escalável para cargas de trabalho de computação. Muitas cargas de trabalho, como machine learning, computação de alta performance (HPC), renderização de vídeos e simulações financeiras, dependem das instâncias de computação que acessam o mesmo conjunto de dados por meio de um armazenamento compartilhado de alta performance.

Baseado no Lustre, o sistema de arquivos de alta performance mais popular do mundo, o FSx for Lustre oferece latências inferiores a um milissegundo, até centenas de gigabytes por segundo de taxa de transferência e milhões de IOPS. Ele oferece diversas opções de implantação e tipos de armazenamento para otimizar o custo e a performance para requisitos de workloads.

Os sistemas de arquivos do FSx for Lustre também podem ser vinculados a buckets do Amazon S3, o que permite que sistemas de arquivos de alta performance e a API do S3 acessem e processem dados ao mesmo tempo.

Visão geral: Amazon FSx for Lustre

Benefícios

Alta performance e escalabilidade

O Amazon FSx for Lustre oferece a performance para satisfazer a uma ampla variedade de workloads de alta performance. O sistema de arquivos Lustre é otimizado para o processamento de dados, com latências abaixo de um milissegundo e taxa de transferência que pode ser escalada até centenas de gigabytes por segundo. Com apenas alguns cliques, você pode acessar o armazenamento compartilhado de alta performance a partir de dezenas de milhares de instâncias de computação e escalar a capacidade de armazenamento sob demanda.

Fácil de usar com dados do S3

O Amazon FSx for Lustre facilita o processamento de conjuntos de dados na nuvem no S3. Quando vinculado a um bucket do S3, o FSx for Lustre apresenta de forma transparente os objetos como arquivos, o que permite executar workloads sem gerenciar transferências de dados do S3. À medida que o conteúdo do bucket do S3 é alterado, o FSx for Lustre atualiza automaticamente o sistema de arquivos com os dados mais recentes disponíveis para execução das workloads.

Econômico

O Amazon FSx for Lustre oferece uma variedade de opções de armazenamento e recursos para otimizar preço e performance. O armazenamento baseado em Solid-State Drive (SSD – Unidade de estado sólido) é otimizado para workloads com requisitos rígidos de latência. O armazenamento baseado em Hard Disk Drive (HDD – Unidade de disco rígido) é otimizado para workloads com uso intenso de taxa de transferência. Com o FSx for Lustre, você pode escolher sistemas de arquivos de armazenamento temporário não replicados para reduzir ainda mais os custos do processamento de dados de curto prazo. A compactação de dados pode reduzir o consumo de armazenamento, tanto no armazenamento quanto no backup de seu sistema de arquivos.

Projetado para workloads Linux

O Amazon FSx for Lustre é compatível com POSIX. Portanto, você pode usar as aplicações atuais baseadas em Linux sem precisar fazer alterações. O FSx for Lustre fornece uma interface com sistema de arquivos nativos e funciona como qualquer sistema de arquivos com o sistema operacional Linux. Ele oferece consistência de leitura pós-gravação e oferece suporte a bloqueio de arquivos. Você pode acessar seus sistemas de arquivos de instâncias do Amazon EC2 e de clusters do Amazon EKS, bem como de ambientes on-premises usando o AWS Direct Connect ou o AWS VPN.

Simples e totalmente gerenciado

O Amazon FSx for Lustre facilita a inicialização e a execução do sistema de arquivos de alta performance Lustre na nuvem. Você não precisa mais se preocupar com o provisionamento e a manutenção do hardware, a configuração do software, o gerenciamento do backup, o monitoramento do consumo do armazenamento e os ajustes complexos de performance dos sistemas de arquivos. Em questão de minutos, é possível criar e escalar um sistema de arquivos do Amazon FSx for Lustre usando o Console de Gerenciamento da AWS, a CLI da AWS ou um SDK da AWS.

Segurança e conformidade

O Amazon FSx for Lustre criptografa automaticamente os dados em repouso e em trânsito. O FSx for Lustre está em conformidade com as normas PCI-DSS, ISO e SOC, além de ser qualificado pela HIPAA. Você pode controlar o acesso à rede com permissões do POSIX ou com regras de grupos de segurança do Amazon Virtual Private Cloud (VPC). Para atender aos requisitos de proteção de dados, você também pode usar o AWS Backup para fazer gerenciamento centralizado de backup e conformidade dos sistemas de arquivos persistentes do FSx for Lustre não vinculados a um repositório de dados durável do S3.

Casos de uso

Machine Learning

As cargas de trabalho de Machine Learning usam grandes quantidades de dados de treinamento. Essas cargas de trabalho geralmente usam um armazenamento de arquivos compartilhado porque várias instâncias de computação precisam processar os conjuntos de dados de treinamento simultaneamente. O FSx for Lustre é ideal para cargas de trabalho de machine learning, porque oferece uma grande capacidade de armazenamento de arquivos compartilhados com alto throughput e baixas latências consistentes para processar os conjuntos de dados de treinamento de machine learning. O FSx for Lustre também é integrado ao Amazon SageMaker, permitindo que você acelere seus trabalhos de treinamento.

Computação de alta performance

Com a high performance computing, HPC (computação de alta performance), cientistas e engenheiros podem solucionar problemas complexos que envolvem o uso intenso de computação. As cargas de trabalho de HPC, como a descoberta de petróleo e gás e análise genômica, processam grandes quantidades de dados que precisam ser acessados por várias instâncias de computação com altos níveis de throughput. O FSx for Lustre é ideal para cargas de trabalho de HPC e computação científica, pois fornece um sistema de arquivos otimizado para aumentar a performance e reduzir os custos das cargas de trabalho de alta performance, além de fornecer acesso ao sistema de arquivos em milhares de instâncias do EC2. O FSx for Lustre também se integra ao AWS ParallelCluster e ao AWS Batch, facilitando o uso com suas cargas de trabalho de HPC.

Transcodificação e processamento de mídia

As cargas de trabalho de processamento de mídia, como renderização de vídeo, efeitos visuais e produção de mídia, exigem recursos de armazenamento e computação para processar as grandes quantidades de dados criados. O FSx for Lustre oferece a alta performance e as baixas latências necessárias para processar, distribuir e analisar arquivos de mídia digital.

Veículos autônomos

Os clientes que desenvolvem sistemas de veículos autônomos geralmente testam os modelos executando simulações e treinamentos em grandes quantidades de dados de câmeras e sensores de veículos para garantir sua segurança. O FSx for Lustre permite que você acesse esses dados simultaneamente a partir de milhares de nós com altos níveis de performance, permitindo executar simulações em escala mais facilmente e acelerar o desenvolvimento de modelos.

Big data e análise financeira

Casos de uso de análise de big data, como workloads de SAS Grid e análises financeiras, geram grandes quantidades de dados que exigem armazenamento de alta performance para capacitar aplicações com uso intenso de dados. O processamento de volumes cada vez maiores de dados pode ser caro e complicado. O Amazon FSx for Lustre pode processar altos volumes de dados em grade escala e é otimizado para performance e custo, acelerando a descoberta e o valor para sua organização.

Automação de projetos eletrônicos

O Electronic Design Automation (EDA – Automação de projetos eletrônicos) é uma aplicação de alta performance usada para simular a performance e as falhas durante a fase de projeto na produção de chips de silício. O FSx for Lustre fornece níveis de performance e flexibilidade que permitem inovar com mais rapidez, projetar e verificar novos produtos e escalar para atender à demanda.

Standard Product Icons (Features) Squid Ink
Confira os recursos do Amazon FSx for Lustre

Conheça os principais recursos do Amazon FSx for Lustre.

Saiba mais 
Sign up for a free account
Cadastrar-se para ter uma conta gratuita

Obtenha acesso instantâneo ao nível gratuito da AWS. 

Cadastre-se 
Standard Product Icons (Start Building) Squid Ink
Comece a criar no console

Comece a criar com o Amazon FSx for Lustre no Console AWS.

Entrar