Amazon FSx for Lustre の最新情報: 長期間、高パフォーマンスワークロード用の永続ストレージ

昨年、Amazon FSx for Lustre についての記事を投稿した際、当社のお客様がサブミリ秒の遅延で、膨大な量の IOPS (1 秒あたりの入出力オペレーション数) を実現する大量の並列クライアントに対応するペビバイト規模の高度に配列化された POSIX 準拠のファイルシステムを作成するために、FSx for Lustre をどう使用できるかについてお話ししました。

マネージドサービスとして Amazon FSx for Lustre を使用することで、世界でも最も人気のある高パフォーマンスファイルシステムを簡単に起動および実行できます。お客様は機械学習、ハイパフォーマンスコンピューティング (HPC)、金融モデリングなど、速度が重要なワークロードにこのサービスを使用しています。

今後は、耐久性と可用性に優れたハイパフォーマンスファイルシステムを作成する機能と、3 つのパフォーマンスティア、そして、急激なワークロードの増加に、より良いサポートを提供するようデザインされた新しい次世代スクラッチファイルシステムをリリースすることで、Amazon FSx for Lustre を強化していきます。

最新の更新
今日のニュースの本題に入る前に、サービスに盛り込まれた最新の更新をいくつかご紹介します。

データリポジトリ API – この更新により、一連の API が導入され、FSx から S3 へ簡単にファイルをエクスポートできるようになりました。また、その中には S3 への変更済みファイルの送信を開始、監視、およびキャンセルする機能も含まれています。詳しくは、Amazon FSx for Lustre と Amazon S3 の間でデータを移動するための新しい機能強化を参照してください。

SageMaker の統合 – この更新により、Amazon FSx for Lustre ファイルシステムに保存したデータを Amazon SageMaker モデルのトレーニングデータとして使用できるようになります。最初に大量のデータを S3 に移動しなくてもそれらを使用してモデルをトレーニングできます。

ParallelCluster の統合 – この更新により HPC クラスターを作成するために AWS ParallelCluster を使用する際、既存のファイルシステムを使用するオプションとともに、Amazon FSx for Lustre ファイルシステムを作成できるようになります。

EKS の統合 – この更新により Amazon EKS クラスターから Amazon FSx for Lustre ファイルシステムへアクセスするのに新しい AWS FSx Container Storage Interface (CSI) ドライバーを使用できるようになります。

より小さなファイルシステムサイズ – この更新により、本来の 3.6 TiB に加え、1.2 TiB と 2.4 TiB Lustre のファイルシステムを作成できるようになります。

CloudFormation サポート – この更新により Amazon FSx for Lustre ファイルシステムを使用するスタックをデプロイする際に、AWS CloudFormation テンプレートを使用できるようになります。さらに詳しくは AWS::FSx::FileSystem LustreConfiguration をご覧ください。

SOC 準拠 – 今回の更新では、Amazon FSx for Lustre が Service Organization Control (SOC) 準拠の対象となるアプリケーションとともに使用できるようようになると発表されました。コンプライアンスプログラムについてさらに詳しく確認するには、コンプライアンスプログラムによる AWS 対象範囲内のサービスをご覧ください。

Amazon Linux サポート – この更新により、Amazon Linux または Amazon Linux 2 で実行している EC2 インスタンスが Amazon FSx for Lustre ファイルシステムにアクセスできるようになりました。

クライアントリポジトリ – 今後は、Ubuntu、Red Hat Enterprise Linux、CentOS の最新バージョンと互換性のある Lustre クライアントを使用できるようになります。さらに詳しくは、Installing the Lustre Client をご一読ください。

新しい永続および新規デプロイメントオプション
元々、データの高速短期間処理のためにこのサービスを開始し、今日までの結果として、FSx for Lustre では一時的なストレージやデータのより短い時間での処理に最適なスクラッチファイルシステムを提供してきました。そこではデータがレプリケーションされることはなく、ファイルサーバーに障害があれば、データは失われました。今後はデータがレプリケーションされ、サーバーに障害があれば交換される、より長い期間のストレージとワークロード用に永続ファイルシステムの利用を開始することで、短期間の処理をさらに拡張していきます。

この新しいデプロイメントオプションに加え、ワークロードの急激な増加に、より良い対応が可能になるようデザインされた第 2 世代スクラッチファイルシステムを立ち上げます。また、最大で基本の 6 倍もの大量スループットを実現します。第 1 世代のスクラッチファイルシステムと同様、これは一時的なストレージや短時間のデータ処理にも適しています。

デプロイメントオプションの中から適したものを選ぶのに役立つ一覧表を用意しました。

永続ファイルシステムの作成
AWS マネジメントコンソール、AWS コマンドラインインターフェイス (CLI) (create-file-system)、CloudFormation テンプレート、または FSx for Lustre APIs (CreateFileSystem) を使用して永続デプロイメントオプションを使用するファイルシステムを作成できます。ここではコンソールを使用しましょう。

他のファイルシステムと同じようにマウントし、いつものようにアクセスします。

知っておくべきこと
ここで、留意すべきことがいくつかあります。

Lustre クライアント – Lustre クライアントを含む AMI (Amazon マシンイメージ) を使用する必要があります。最新の Amazon Linux AMI を使用するか、独自に作成することもできます。

S3 エクスポート – 両方のオプションで、CreateDataRepositoryTask 関数を使用し、S3 に変更内容をエクスポートできます。これにより、S3 はイレブンナインの耐久性を提供するようデザインされたその堅牢度を利用する一方で、厳重な復旧ポイント目標 (RPO) を満たすことができます。

今すぐご利用いただけます
永続ファイルシステムはすべての AWS リージョンでご利用いただけます。スクラッチ 2 ファイルシステムは、欧州 (ストックホルム) を除き、すべての商用 AWS リージョンでご利用いただけます。

料金は皆さんの選ぶパフォーマンスティアと、プロビジョニングするストレージ量によって異なります。詳細については、Amazon FSx for Lustre の料金を参照してください。

— Jeff;