Publicado: Feb 6, 2019
O Amazon FSx for Lustre, um sistema de arquivo de alta performance para machine learning, computação de alta performance, análises e outras cargas de trabalho de processamento de dados, está tornando ainda mais fácil o processamento de dados dentro do Amazon S3 com novas opções para gravar os resultados de volta ao S3 e velocidades de transferência de dados até 2x mais rápidas entre o FSx for Lustre e S3.
Cargas de trabalho de processamento de dados geralmente precisam que os dados sejam apresentados através de uma interface de sistema de arquivo POSIX rápida e escalável, e geralmente possuem conjuntos de dados de entrada que são armazenados no Amazon S3. Com o FSx for Lustre, é possível processar com rapidez e facilidade um sistema de arquivo de bom desempenho e escalável vinculado aos seus dados do Amazon S3, acessar de maneira transparente objetos S3 como arquivos, gravar resultados de volta ao S3 e então encerrar o sistema de arquivo.
Anteriormente, ao gravar os resultados de volta ao S3 de um sistema de arquivo do FSx for Lustre, você alterava ou novos arquivos eram gravados como novos objetos em uma localização pré-definida dentro do bucket do S3. Agora, você tem a opção de gravar em cima dos objetos originais no seu bucket do Amazon S3 ou gravar os arquivos novos ou alterados em um prefixo que você definiu. Essas opções permitem adicionar flexibilidade para incorporar o FSx for Lustre aos seus fluxos de trabalho de processamento de dados.
Além disso, o Amazon FSx for Lustre agora fornece até 2x as velocidades de transferência de dados entre o bucket do Amazon S3 e o seu sistema de arquivo do FSx for Lustre, permitindo completar as cargas de trabalho de processamento de dados ainda mais rapidamente.
Essas melhorias estão disponíveis em todos os sistemas de arquivos novos em todas as regiões onde o FSx for Lustre está disponível. Saiba mais sobre as novas opções para gravar resultados no S3 e saiba mais sobre a performance do FSx for Lustre.