Amazon FSx for Lustre の特徴

Amazon FSx for Lustre は、クラウド内で最高のパフォーマンスと最小のコストを実現する、コンピューティング集約型の AI ワークロードと HPC ワークロード向けの Lustre ファイルストレージです。FSx for Lustre は、実質上無制限のストレージ容量、数百万の IOPs、1 秒あたり最大数テラバイトのスループット、ミリ秒未満のレイテンシーを提供します。FSx for Lustre向けのFSx Intelligent-Tieringストレージクラスは、オンプレミスのHDDファイルストレージと比較して最大34％優れた価格パフォーマンスを提供し、クラウド内の他の高性能ファイルシステムと比較して最大70％優れた価格パフォーマンスを提供します。

Luster オープンソースファイルシステムは、増え続ける世界のデータセットを迅速かつ安価に処理するという課題を解決するために構築されたもので、世界で最も高速な 500 台のコンピュータで最も広く使用されているファイルシステムです。エネルギーから生命科学、メディア制作、金融サービスまで、幅広い業界でテストされており、ゲノム配列決定からビデオのトランスコーディング、機械学習、詐欺行為の検出まで、さまざまなワークロードに対応しています。

Amazon FSx for Lustre は、Elastic Fabric Adapter と NVIDIA GPUDirect ストレージを活用することでクライアントあたり最大 1200 Gbps のスループットを実現し、クラウド内の GPU インスタンスに最高速のストレージパフォーマンスを提供します。

SSD ストレージとキャッシュのオプションで、ミリ秒未満のレイテンシーを達成しましょう。すべてのデータ全体での一貫的な低レイテンシーには SSD ベースのシステム、頻繁にアクセスされるデータへの低レイテンシーアクセスには Intelligent-Tiering の SSD ベースの読み取りキャッシュを選択してください。

FSx for Lustre は、Amazon Linux、Red Hat Enterprise Linux (RHEL)、CentOS、Ubuntu、SUSE Linux など、ほとんどの一般的な Linux ベースの AMI に対応しています。

Amazon FSx for Lustre は Amazon S3 とネイティブに統合されているため、S3 データに簡単にアクセスしてデータ処理ワークロードを実行できます。

Amazon FSx コンソールを数回クリックするだけで、1 つ以上の S3 バケットにリンクされたファイルシステムを作成できます。S3 バケットをファイルシステムにリンクさせると、FSx for Lustre は S3 オブジェクトをファイルとして透過的に表示します。これにより結果を S3 に書き込むことができます。リンクされたファイルシステムは、オブジェクトが S3 バケットに追加、変更、または削除されると自動的に更新されます。FSx for Lustre はまた、ファイルシステムの変更を自動的に追跡し、ファイルが追加、変更、または削除されたときに S3 バケットを最新の状態に保ちます。FSx for Lustre は、並列データ転送技術を使用してデータを S3 にエクスポートし、高速データ転送を可能にします。

Amazon FSx for Lustre には、Amazon EC2 インスタンスまたはオンプレミスのコンピュータ/サーバーで実行されているワークロードからアクセスできます。マウントが完了すると、ローカルファイルシステムと同じように、ファイルシステムでファイルやディレクトリを操作できるようになります。FSx for Lustre ファイルシステムには、Amazon Elastic Kubernetes Service (EKS) で稼働しているコンテナからもアクセスできます。

Amazon FSx for Lustre は、入力データソースとして Amazon Sagemaker と統合されています。Amazon SageMaker を Amazon FSx for Lustre と併用する場合、S3 からの最初のダウンロード手順が排除されるため機械学習トレーニングジョブがスピードアップします。同じデータセットの反復ジョブで共通のオブジェクトの繰り返しダウンロード (S3 リクエストコストの節約) を回避することで、TCO が削減されます。

Amazon FSx for Lustre は、EC2 Launch Templates を介して AWS Batch と統合します。AWS Batch は、HPC、機械学習、およびその他の非同期ワークロード向けのクラウドネイティブバッチスケジューラです。AWS Batch は、ジョブリソース要件に合わせて自動的かつ動的にインスタンスのサイズを調整し、インスタンスを起動してジョブを実行するときに既存の FSx for Lustre ファイルシステムに使用します。

FSx for Lustre も AWS ParallelCluster と統合されます。AWS ParallelCluster は、AWS がサポートするオープンソースのクラスター管理ツールで、ハイパフォーマンスコンピューティング (HPC) クラスターのデプロイと管理に使用されます。クラスター作成プロセス中、FSx for Lustre ファイルシステムを自動的に作成するか、既存のファイルシステムを使用できます。

Amazon FSx コンソールで数回クリックし、または CLI や API を使用し、高性能の Lustre ファイルシステムを作成してスケーリングできます。Amazon FSx ファイルシステムにより、ファイルサーバーとストレージボリュームの管理、ハードウェアの更新、ソフトウェアの設定、容量不足やパフォーマンスの調整について心配する必要はありません。Amazon FSx がこれらの時間の要する管理タスクを自動化します。

FSx for Lustre では、スクラッチファイルシステムと永続的なファイルシステムのいずれかを選択し、短期および長期のデータを処理できます。スクラッチファイルシステムは、データの一時的な保存と短期的な処理に最適です。データはレプリケートされず、ファイルサーバーに障害が発生すると保持されません。永続的なファイルシステムは、長期的なストレージとワークロードに最適です。永続的なファイルシステムでは、データがレプリケートされ、障害が発生するとファイルサーバーが置き換えられます。

永続的ファイルシステムのデータ保護を強化し、ビジネスや規制コンプライアンス要件を満たすために、Amazon FSx はファイルシステムの増分バックアップを自動的に取ることもできます。バックアップは、99.9999999999% (イレブンナイン) の耐久性で Amazon S3 に保存されます。

FSx for Lustre は、特定のパフォーマンス要件とコスト要件を満たすために、さまざまなストレージクラスを提供しています。データセット全体で一貫したミリ秒未満のレイテンシーを提供する SSD ストレージクラスは、オールフラッシュ構成のパフォーマンスを必要とする、低レイテンシーが極めて重要なワークロードに最適です。3 つのアクセス階層全体にデータを自動的に階層化する FSx Intelligent-Tiering ストレージクラスは、頻繁にアクセスされるデータのためにオプションの SSD 読み取りキャッシュを提供します。

データ圧縮を使用して、ファイルシステムストレージとファイルシステムバックアップの両方のストレージ消費量を削減できます。データ圧縮機能は、ファイルシステムのパフォーマンスに悪影響を与えることなく高レベルの圧縮を提供するように最適化された LZ4 圧縮アルゴリズムを使用します。データ圧縮を有効にすると、新しく書き込まれたファイルはディスクに書き込まれる前に FSx for Lustre によって自動的に圧縮され、読み取り時に自動的に圧縮解除されます。

ストレージクォータは、ファイルシステムでユーザーレベルおよびグループレベルのストレージ消費量を監視して制御するために役立ち、過剰な容量を消費できるユーザーやグループがないようにすることができます。ストレージクォータは、複数のユーザー、チーム、またはプロジェクトに対応するファイルシステムのストレージ管理者を対象としています。

すべての Amazon FSx for Lustre ファイルシステムは、保管時の暗号化を使用しています。また、一部のリージョンでは、転送中の暗号化をご利用いただけます。

AWS のコンプライアンスプログラムはクラウドで最も長く実行されており、AWS はコンプライアンス要件を満たせるようお客様を支援することを固く決意しております。Amazon FSx は、世界および業界のセキュリティ基準に適合していると評価されています。PCI DSS、ISO 9001、27001、27017、27018)、SOC 1、2、3 に適合しており、さらに HIPAA 対応です。詳細とリソースについては、コンプライアンスページをご覧ください。また、「コンプライアンスプログラム別の対象サービス」ページにアクセスして、サービスと認証の全リストを確認することもできます。

Amazon VPC のエンドポイントから Amazon FSx ファイルシステムにアクセスすることにより、ファイルシステムを独自の仮想ネットワークに分離することができます。セキュリティグループルールを設定し、Amazon FSx ファイルシステムへのネットワークアクセスを制御できます。

Amazon FSx は AWS Identity and Access Management (IAM) に統合されています。この統合により、AWS IAM ユーザーおよびグループがファイルシステムを管理するために実行できるアクション (ファイルシステムの作成や削除など) を制御できるようになります。Amazon FSx リソースにタグを付け、それらのタグに基づいて IAM ユーザーとグループが実行できるアクションを制御することもできます。

Amazon FSx は AWS Backup と統合されており、Amazon FSx ファイルシステムのフルマネージド型ポリシーベースのバックアップおよび復元機能を有効にします。AWS Backup との統合により、顧客データを保護し、ビジネス継続性を目的として AWS のサービス全体のコンプライアンスを確保できます。  

データ保護の追加レイヤーを提供し、ビジネス継続性、災害復旧、コンプライアンスの要件を満たすために、Amazon FSx ファイルシステムのバックアップを AWS リージョン、AWS アカウント、またはその両方にコピーできます。