Amazon FSx for Lustre

Sistema de arquivos de alta performance para processamento de dados do Amazon S3 ou locais

O Amazon FSx for Lustre fornece um sistema de arquivos de alta performance otimizado para o processamento rápido de dados de cargas de trabalho, como Machine Learning, computação de alta performance (HPC), processamento de vídeos, modelagem financeira e Electronic Design Automation (EDA). Essas cargas de trabalho geralmente exigem que os dados sejam apresentados por meio de uma interface de sistema de arquivos rápida e escalável, e tipicamente têm conjuntos de dados armazenados em repositórios de dados de longo prazo, como o Amazon S3.

Normalmente, operar sistemas de arquivos de alta performance requer conhecimento especializado e sobrecarga administrativa, além de exigir provisionamento de servidores de armazenamento e ajuste de parâmetros complexos de performance. Com o Amazon FSx, você pode iniciar e executar um sistema de arquivos que fornece acesso com menos de um milissegundo aos dados e permite ler e gravar dados em velocidades de até centenas de gigabytes por segundo de taxa de transferência e milhões de IOPS.

O Amazon FSx for Lustre trabalha de modo nativo com o Amazon S3, facilitando o processamento de conjuntos de dados em nuvem com sistemas de arquivos de alta performance. Quando vinculado a um bucket do S3, um sistema de arquivos FSx for Lustre apresenta de maneira transparente os objetos do S3 como arquivos e permite que você grave os resultados no S3. Também é possível usar o FSx for Lustre como um sistema de arquivos autônomo de alta performance para transferir cargas de trabalho locais para a nuvem. Ao copiar dados locais para um sistema de arquivos do FSx for Lustre, você pode disponibilizar esses dados para processamento rápido por instâncias computacionais em execução na AWS. Com o Amazon FSx, você paga apenas pelos recursos usados. Sem compromissos mínimos, investimentos iniciais em hardware e software ou taxas adicionais.

Visão geral do Amazon FSx for Lustre

Benefícios

Altos níveis de performance e escalabilidade

O Amazon FSx for Lustre oferece a performance para satisfazer uma ampla variedade de cargas de trabalho de alta performance. O FSx for Lustre é baseado no Lustre, um popular sistema de arquivos de alta performance que é otimizado para processamento de dados, com latências de menos de um milissegundo e taxa de transferência que pode ser escalada para centenas de gigabytes por segundo.

Acesso fácil a dados armazenados localmente ou no S3

O Amazon FSx funciona do modo nativo com o Amazon S3, facilitando o processamento de dados do S3 com uma interface POSIX de alta performance. Quando vinculado a um bucket do S3, o FSx for Lustre apresenta de maneira transparente os objetos do S3 como arquivos. O FSx for Lustre permite gravar dados novos e alterados no sistema de arquivos no seu bucket do S3 a qualquer momento. O FSx for Lustre também permite transferir suas cargas de trabalho locais para a nuvem usando o Amazon Direct Connect ou VPN. 

Totalmente gerenciado

Como o Amazon FSx é totalmente gerenciado, fica mais fácil lançar e executar sistemas de arquivos de alta performance na nuvem. Você não precisa mais se preocupar com provisionamento e manutenção de hardware, configuração de software e ajuste complexo da performance do sistema de arquivos. Em questão de minutos, você pode criar e lançar um sistema de arquivos do Amazon FSx usando o Console de Gerenciamento da AWS, o AWS CLI ou um AWS SDK.

Econômico

O Amazon FSx for Lustre ajuda a otimizar o custo do armazenamento para cargas de trabalho de alta performance. O serviço oferece armazenamento econômico e de alta performance para processamento de dados, com armazenamento de dados de longo prazo no Amazon S3 e em outros repositórios de dados de baixo custo e de longo prazo. A alta performance do FSx for Lustre permite executar cargas de trabalho de processamento de dados de forma mais rápida, reduzindo o tempo e o dinheiro despendidos em recursos computacionais. Com o FSx for Lustre, você paga apenas pelos recursos usados. Sem compromissos mínimos ou taxas antecipadas.

Interface com sistema de arquivos nativos

O Amazon FSx for Lustre é compatível com POSIX, portanto, você pode usar os aplicativos atuais baseados em Linux sem precisar fazer alterações. O FSx for Lustre fornece uma interface com sistema de arquivos nativos e funciona como qualquer sistema de arquivos com o sistema operacional Linux. Ele fornece também consistência de leitura pós gravação, além de suporte para bloqueio de arquivos. Você pode controlar o acesso aos seus sistemas de arquivos FSx for Lustre com permissões POSIX e permissões da Amazon Virtual Private Cloud (VPC).

Segurança e conformidade

O Amazon FSx criptografa automaticamente dados ociosos. Se você estiver sujeito à conformidade normativa, o FSx for Lustre está em conformidade com PCI-DSS e ISO, além de ser qualificado pela HIPAA. O Amazon FSx oferece suporte à Amazon Virtual Private Cloud (VPC) para que você possa iniciar os recursos do sistema de arquivos do FSx for Lustre em uma rede virtual.

Como funciona

FSx_Lustre_diagram

Casos de uso

Machine Learning

As cargas de trabalho de Machine Learning usam grandes quantidades de dados de treinamento. Essas cargas de trabalho geralmente usam um armazenamento de arquivos compartilhado porque várias instâncias de computação precisam processar os conjuntos de dados de treinamento simultaneamente. O Amazon FSx é ideal para cargas de trabalho de Machine Learning, porque oferece uma grande capacidade de armazenamento de arquivos compartilhados com alta taxa de transferência e baixas latências consistentes para processar os conjuntos de dados de treinamento de Machine Learning.

Computação de Alta Performance (HPC)

Com a Computação de Alta Performance (HPC), cientistas e engenheiros podem solucionar problemas complexos que envolvem o uso intenso de computação. As cargas de trabalho de HPC, como a descoberta de petróleo e gás e a genômica, processam grandes quantidades de dados que precisam ser acessados por várias instâncias de computação com altos níveis de taxas transferência. O Amazon FSx é ideal para cargas de trabalho de HPC, pois fornece um sistema de arquivos otimizado para aumentar a performance e reduzir os custos das cargas de trabalho curtas e de alta performance, além de fornecer acesso ao sistema de arquivos em milhares de instâncias do EC2.

Transcodificação e processamento de mídia

As cargas de trabalho de processamento de mídia, como renderização de vídeo, efeitos visuais e produção de mídia, exigem recursos de armazenamento e computação para processar as grandes quantidades de dados criados. O Amazon FSx fornece alta performance e baixas latências na medida necessária para processamento, distribuição e análise de arquivos de mídia digitais.

Veículos autônomos

Os clientes que desenvolvem sistemas de veículos autônomos geralmente testam os modelos executando simulações e treinamentos em grandes quantidades de dados das câmeras e dos sensores dos veículos para garantir a segurança dos veículos. O Amazon FSx for Lustre permite acessar esses dados simultaneamente de centenas de nós por meio de um sistema de arquivos padrão com latência de menos de um milissegundo, centenas de gigabytes por segundo de taxa de transferência e milhares de IOPS. O FSx for Lustre permite executar simulações em escala, atingindo milhares de execuções simuladas por semana e acelerando o desenvolvimento do modelo.

Análise de big data

Casos de uso de análise de big data, como detecção de fraudes e análises financeiras, geram grandes quantidades de dados que exigem armazenamento de alta performance para capacitar aplicativos com uso intenso de dados. Gerenciar o volume de dados em escala pode ser uma tarefa complexa e dispendiosa. O Amazon FSx for Lustre é otimizado para alto desempenho e redução de custos, o que se reflete em tempo de descoberta mais rápido, além de mais vantagens para a organização.

Electronic Design Automation (EDA)

O recurso EDA é um aplicativo de alta performance comum usado para simular a performance e as falhas durante a fase de projeto, na produção de chips de silício. O FSx for Lustre fornece níveis de performance e flexibilidade que permitem inovar com mais rapidez, projetar e verificar novos produtos e escalar para atender à demanda.

Product-Page_Standard-Icons_01_Product-Features_SqInk
Confira os recursos do Amazon FSx for Lustre

Conheça os principais recursos do Amazon FSx for Lustre.

Saiba mais 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
Cadastre-se para obter uma conta gratuita

Obtenha acesso instantâneo ao nível gratuito da AWS. 

Cadastrar-se 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Comece a criar no console

Comece a criar com o Amazon FSx for Lustre no Console AWS.

Entrar