Amazon FSx for Lustre

Amazon S3 またはオンプレミスデータを処理するためのハイパフォーマンスファイルシステム

Amazon FSx for Lustre では、機械学習、ハイパフォーマンスコンピューティング (HPC)、ビデオ処理、財務モデリング、電子設計オートメーション (EDA) などのワークロードの高速処理用に最適化されたハイパフォーマンスファイルシステムが提供されます。これらのワークロードでは通常、データは高速でスケーラブルなファイルシステムインターフェイスを介して表示される必要があります。また、Amazon S3 などの長期のデータストアには保存されたデータセットがあるのが一般的です。

ハイパフォーマンスファイルシステムの操作は、通常、高度な専門知識と管理オーバーヘッドを必要とし、ストレージサーバーをプロビジョニングして複雑なパフォーマンスのパラメータを調整する必要があります。Amazon FSx を使用すると、データへのミリ秒未満のアクセスが提供され、1 秒につき数百ギガバイトのスループットと数百万 IOPS の速度でデータを読み書きできるファイルシステムを起動して実行できます。

Amazon FSx for Lustre は Amazon S3 とネイティブに連携し、ハイパフォーマンスファイルシステムを使用したクラウドデータセットの処理を簡単にします。S3 バケットとリンクさせると、FSx for Lustre ファイルシステムは S3 オブジェクトをファイルとして透過的に表示します。これにより結果を S3 に書き込むことができます。また、FSx for Lustre はスタンドアロンなハイパフォーマンスファイルシステムとしても使用でき、ワークロードをオンプレミスからクラウドにバーストすることができます。オンプレミスデータを FSx for Lustre ファイルシステムにコピーすることで、そのデータを AWS で実行しているコンピューティングインスタンスで高速処理することも可能です。Amazon FSx の料金は、使用したリソースに対してのみ発生します。最低料金や、ハードウェアやソフトウェアの先行投資費用および追加費用は不要です。

Amazon FSx for Lustre の概要

メリット

優れた性能と拡張性

Amazon FSx for Lustre では、幅広い種類の高性能ワークロードを満たすパフォーマンスが提供されます。FSx for Lustre は、1 秒につき数百ギガバイトのスループットとミリ秒未満のレイテンシーを実現する、データ処理に最適化された一般的なハイパフォーマンスファイルシステムである Lustre 上に構築されています。

S3 またはオンプレミスのデータへのシームレスなアクセス

Amazon FSx は Amazon S3 とネイティブに連携し、ハイパフォーマンス POSIX インターフェイスを使用した S3 データの処理を簡単にします。S3 バケットとリンクさせると、FSx for Lustre は S3 オブジェクトをファイルとして透過的に表示します。FSx for Lustre により、ファイルシステムの変更された、あるいは新しいデータをいつでも S3 バケットに書き込むことができるようになります。FSx for Lustre ではさらに、Amazon Direct Connect や VPN を使用して、オンプレミスのワークロードをクラウドにバーストすることができます。 

完全マネージド型

Amazon FSx は完全マネージド型のため、高性能のファイルシステムをクラウドで簡単に起動して実行できます。ハードウェアのプロビジョニングや管理、ソフトウェアの構成、ファイルシステムの複雑なパフォーマンスチューニングについて頭を悩ます必要がなくなります。AWS マネジメントコンソール、AWS CLI、AWS SDK を使用して、数分で Amazon FSx ファイルシステムを作成して開始できます。

優れた費用対効果

Amazon FSx for Lustre を使用すると、高性能ワークロードのストレージコストを最適化できます。低コストでパフォーマンスが高く、レプリケートされないストレージをデータ処理に使用し、長期のデータを Amazon S3 やその他の低コストの長期データストアに耐久性の高い方法で保存できます。FSx for Lustre のハイパフォーマンスによってデータ処理ワークロードをより早く実行できるようになり、コンピューティングリソースにかかる時間とコストが削減されます。FSx for Lustre の料金は、使用したリソースに対してのみ発生します。最低料金や初期費用は不要です。

ネイティブファイルシステムインターフェイス

Amazon FSx for Lustre は POSIX 互換のため、現在の Linux ベースのアプリケーションに変更を加えることなく使用できます。FSx for Lustre はネイティブファイルシステムインターフェースを提供し、Linux オペレーティングシステムで他のファイルシステムと同様に機能します。また、書き込み後の読み取りの整合性を提供し、ファイルのロックをサポートします。FSx for Lustre ファイルシステムへのアクセスは、POSIX パーミッションおよび Amazon Virtual Private Cloud (VPC) パーミッションを使用して管理できます。

安全性とコンプライアンス

Amazon FSx は、保管中のデータを自動的に暗号化します。規制遵守の対象となる場合、FSx for Lustre は PCI-DSS、ISO、SOC に準拠し、HIPAA に対応しています。Amazon FSx は Amazon Virtual Private Cloud (VPC) をサポートしているので、仮想ネットワーク内で FSx for Lustre ファイルシステムリソースを起動することができます。

仕組み

FSx_Lustre_diagram

ユースケース

機械学習

機械学習のワークロードでは、大量のトレーニングデータを使用します。複数のコンピューティングインスタンスがトレーニングデータセットを同時に処理する必要があるため、これらのワークロードでは多くの場合共有ファイルストレージを使用します。Amazon FSx は、機械学習トレーニングデータセットを処理するための高スループットと一貫した低レイテンシーを備えた共有ファイルストレージを提供するため、機械学習ワークロードに最適です。

ハイパフォーマンスコンピューティング (HPC)

ハイパフォーマンスコンピューティング (HPC) により、科学者とエンジニアは、複雑でコンピューティング負荷の高い問題を解決できます。石油、ガスの発見やゲノミクスなどの HPC ワークロードでは、複数のコンピューティングインスタンスがアクセスする必要のある大量のデータを、高レベルのスループットで処理します。Amazon FSx は、数千の EC2 インスタンスからのファイルシステムへのアクセスにより、短期かつ高性能なワークロードのパフォーマンスとコストのために最適化されたファイルシステムを提供するため、HPC ワークロードに理想的です。

メディア処理およびトランスコーディング

ビデオレンダリング、視覚効果、メディア制作などのメディアデータ処理ワークフローでは、作成される大量のデータを処理するためのコンピューティングとストレージリソースが必要です。Amazon FSx では、デジタルメディアファイルの処理、配信、分析に必要な高い性能と低いレイテンシーが提供されます。

自動走行車

自動走行車システムを開発しているお客様は、車両の安全性を確保するため、シミュレーションを実行し、大量の車両センサーおよびカメラデータをトレーニングすることによって頻繁にモデルをテストしています。Amazon FSx for Lustre では、標準のファイルシステムを介して、ミリ秒未満のレイテンシー、毎秒数百ギガバイトのスループット、および数千 IOPS で、そのデータに同時に数百のノードからアクセスできます。FSx for Lustre を使用すると大規模なシミュレーションの実行が可能になり、1 週間に数千のシミューレートされた実行を実現し、モデルの開発を加速します。

ビッグデータ分析

不正検出や財務分析などのビッグデータ分析のユースケースでは、データ集約型アプリケーションを実行するために、高性能ストレージを必要とする大量のデータが生成されます。増大する大量なデータの管理は、コストがかかり複雑になることがあります。Amazon FSx for Lustre はパフォーマンスとコストが最適化されており、検出までの時間が短縮できるため、組織にとって価値があります。

電子設計オートメーション (EDA)

EDA は、シリコンチップ製造の設計段階でパフォーマンスや障害をシミュレートするために使用される一般的な高性能アプリケーションです。FSx for Lustre は、迅速なイノベーション、新しい製品の設計と検証、需要に合わせたスケールを可能にするパフォーマンスと柔軟性を提供します。

Product-Page_Standard-Icons_01_Product-Features_SqInk
Amazon FSx for Lustre の特徴を見る

Amazon FSx for Lustre の主な機能をご覧ください。

詳細 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
無料のアカウントにサインアップ

AWS 無料利用枠にすぐにアクセスできます。 

サインアップ 
Product-Page_Standard-Icons_03_Start-Building_SqInk
AWS コンソールで構築を開始する

AWS コンソールで Amazon FSx for Lustre を使って構築を始めましょう。

サインイン