投稿日: Feb 6, 2019
Amazon FSx for Lustre は、機械学習、ハイパフォーマンスコンピューティング、分析、その他のデータ処理ワークロード向けの高性能なファイルシステムであり、結果を S3 に戻して書き込む新しいオプション、および FSx for Lustre と S3 間で最大 2 倍になったデータ転送速度により、Amazon S3 に存在するデータの処理をさらに容易にします。
データ処理のワークロードでは通常、データは高速でスケーラブルな POSIX ファイルシステムインターフェイスを介して表示される必要があります。また、Amazon S3 には保存された入力データセットがあるのが一般的です。FSx for Lustre を使用すると、Amazon S3 のデータと接続されている高性能でスケーラブルなファイルシステムをすばやく簡単にスピンアップし、S3 オブジェクトをファイルとして透過的にアクセスし、結果を再び S3 に書き込んでから、ファイルシステムをスピンダウンできます。
これまでは、FSx for Lustre ファイルシステムから S3 に結果を戻して書き込む場合、変更されたファイルや新規ファイルは、S3 バケット内の事前定義した場所に新規オブジェクトとして書き込まれていました。本日より、Amazon S3 バケット内の元のオブジェクトを上書きするか、新規ファイルや変更されたファイルを指定のプレフィックスに書き込むか選択できます。これらのオプションにより、FSx for Lustre をデータ処理プロセスに組み込む際の柔軟性が高められます。
さらに、Amazon FSx for Lustre は、Amazon S3 バケットと FSx for Lustre ファイルシステム間で最大 2 倍のデータ転送速度を実現しました。処理ワークロードはさらに高速化されます。
これらのエンハンスは、FSx for Lustre が利用可能なすべてのリージョンで利用できます。S3 に結果を書き込む新しいオプション、および FSx for Lustre の性能に関する詳細をご覧ください。