Amazon FSx for Lustre

Amazon FSx for Lustre は、世界で最も人気のある高性能ファイルシステムの起動と実行を簡単かつ費用対効果の高いものにします。機械学習、高性能コンピューティング (HPC)、ビデオ処理、財務モデリングなど、速度が重要なワークロードに使用します。

オープンソースの Lustre ファイルシステムは、ストレージがコンピューティングの速度に対応できるよう、高速ストレージを必要とするアプリケーション向けに設計されています。Lustre は、世界で最も急速に成長しているデータセットを迅速かつコスト効率よく処理するように構築されており、世界で最も高速な 500 台のコンピューターで最も広く使用されているファイルシステムです。サブミリ秒のレイテンシー、1 秒あたり最大数百ギガバイトのスループット、および数百万の IOPS を実現します。

Amazon FSx では、これよりフルマネージド型のサービスとして、ストレージ速度が重要なあらゆるワークロードに Lustre ファイルシステムを利用できます。Lustre ファイルシステムのセットアップと管理の従来の複雑さを排除し、高性能のファイルシステムを数分で起動できるようにします。また、コストを最適化するための複数のデプロイオプションも提供します。

FSx for Lustre は Amazon S3 と統合されているため、Lustre ファイルシステムでデータセットを簡単に処理できます。S3 バケットとリンクさせると、FSx for Lustre ファイルシステムは S3 オブジェクトをファイルとして透過的に表示します。これにより変更されたデータを S3 に書き込むことができます。

Amazon FSx for Lustre の概要

利点

優れたパフォーマンスとスケーラビリティ

Amazon FSx for Lustre では、幅広い種類の高性能ワークロードを満たすパフォーマンスが提供されます。Lustre ファイルシステムは、データ処理用に最適化されており、1 ミリ秒未満のレイテンシーと 1 秒あたり数百ギガバイトまで拡張可能なスループットを提供します。

S3 データへのシームレスなアクセス

Amazon FSx for Lustre は Amazon S3 とネイティブに統合されているため、高性能 POSIX インターフェイスを使用してクラウドデータセットを S3 で簡単に処理できます。S3 バケットとリンクさせると、FSx for Lustre は S3 オブジェクトをファイルとして透過的に表示します。FSx for Lustre は変更を追跡し、ファイルシステム上の変更済みのデータと新しいデータをいつでも S3 バケットに書き戻すことができます。

シンプルさとフルマネージド

Amazon FSx for Lustre を使用すると、クラウドで高性能の Lustre ファイルシステムを簡単に起動して実行できます。ハードウェアのプロビジョニングやメンテナンス、ソフトウェアの構成、ファイルシステムの複雑なパフォーマンスチューニングについて頭を悩ます必要がなくなります。AWS マネジメントコンソール、AWS CLI、あるいは AWS SDK を使用して、数分で Amazon FSx for Lustre ファイルシステムを作成して開始できます。

場所を問わず実行されている Linux アプリケーションからのアクセス

Amazon FSx for Lustre は POSIX 互換のため、現在の Linux ベースのアプリケーションに変更を加えることなく使用できます。FSx for Lustre はネイティブファイルシステムインターフェースを提供し、Linux オペレーティングシステムで他のファイルシステムと同様に機能します。また、書き込み後の読み取りの整合性を提供し、ファイルのロックをサポートします。FSx for Lustre ファイルシステムへのアクセスは、POSIX パーミッションおよび Amazon Virtual Private Cloud (VPC) ルールを使用して管理できます。ファイルシステムへは、Amazon EC2 インスタンスから、および AWS Direct Connect または AWS VPN を使用してオンプレミスコンピューターからアクセスできます。

複数のデプロイオプション

Amazon FSx for Lustre は、スクラッチと永続的なファイルシステムの間で選択し、短期および長期をデータ処理できます。スクラッチファイルシステムは、データの一時的な保存と短期的な処理に最適です。データはレプリケートされず、ファイルサーバーに障害が発生すると保持されません。永続的なファイルシステムは、長期的なストレージとワークロードに最適です。永続的なファイルシステムでは、データが複製され、障害が発生するとファイルサーバーが置き換えられます。

安全性とコンプライアンス

Amazon FSx for Lustre は、保管中および転送中のデータを自動的に暗号化します。規制遵守の対象となる場合、FSx for Lustre は PCI-DSS、ISO、SOC に準拠し、HIPAA に対応しています。Amazon Virtual Private Cloud (VPC) セキュリティグループルールを介してネットワークアクセスを制御することもできます。

ユースケース

Machine learning

機械学習のワークロードでは、大量のトレーニングデータを使用します。複数のコンピューティングインスタンスがトレーニングデータセットを同時に処理する必要があるため、これらのワークロードでは多くの場合共有ファイルストレージを使用します。FSx for Lustre は、機械学習トレーニングデータセットを処理するための高スループットと一貫した低レイテンシーを備えた共有ファイルストレージを提供するため、機械学習ワークロードに最適です。FSx for Lustre は Amazon SageMaker とも統合されているため、トレーニングジョブを加速できます。

ハイパフォーマンスコンピューティング

ハイパフォーマンスコンピューティング (HPC) により、科学者とエンジニアは、複雑でコンピューティング負荷の高い問題を解決できます。石油、ガスの発見やゲノム解析などの HPC ワークロードでは、複数のコンピューティングインスタンスがアクセスする必要のある大量のデータを、高レベルのスループットで処理します。FSx for Lustre は、数千の EC2 インスタンスからのファイルシステムへのアクセスにより、高性能なワークロードのパフォーマンスとコストのために最適化されたファイルシステムを提供するため、HPC および科学コンピューティングワークロードに理想的です。FSx for Lustre は AWS ParallelCluster および AWS Batch と統合されるため、HPC ワークロードで簡単に使用できます。

メディア処理とトランスコーディング

ビデオレンダリング、視覚効果、メディア制作などのメディアデータ処理ワークフローでは、作成される大量のデータを処理するためのコンピューティングとストレージリソースが必要です。FSx for Lustre では、デジタルメディアファイルの処理、配信、分析に必要な高い性能と低いレイテンシーが提供されます。

自動走行車

自動走行車システムを開発しているお客様は、車両の安全性を確保するため、シミュレーションを実行し、大量の車両センサーおよびカメラデータをトレーニングすることによって頻繁にモデルをテストしています。FSx for Lustre を使用すると、高レベルのパフォーマンスで数千のノードからそのデータに同時にアクセスできるため、大規模なシミュレーションをより簡単に実行でき、モデル開発を加速できます。

ビッグデータと財務分析

不正検出や財務分析などのビッグデータ分析のユースケースでは、データ集約型アプリケーションを実行するために、高性能ストレージを必要とする大量のデータが生成されます。増え続けるデータの処理は、コストがかかり複雑になる可能性があります。Amazon FSx for Lustre は大量のデータを大規模に処理でき、パフォーマンスとコストが最適化されているため、検出までの時間を短縮でき、組織に価値をもたらします。

電子設計オートメーション (EDA)

EDA は、シリコンチップ製造の設計段階でパフォーマンスや障害をシミュレートするために使用される高性能アプリケーションです。FSx for Lustre は、迅速なイノベーション、新しい製品の設計と検証、需要に合わせたスケールを可能にするパフォーマンスと柔軟性を提供します。

Product-Page_Standard-Icons_01_Product-Features_SqInk
Amazon FSx for Lustre の特徴を見る

Amazon FSx for Lustre の主な機能をご覧ください。

詳細 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
無料のアカウントにサインアップ

AWS 無料利用枠にすぐにアクセスできます。 

サインアップ 
Product-Page_Standard-Icons_03_Start-Building_SqInk
AWS コンソールで構築を開始する

AWS コンソールで Amazon FSx for Lustre を使って構築を始めましょう。

サインイン