Amazon File Cache のよくある質問

Amazon File Cache は AWS のフルマネージドの高速キャッシュで、簡単にファイルデータを処理でき、データの保存場所も問いません。

Amazon File Cache は、オンプレミスのファイルシステムのデータや、AWS のファイルシステムやオブジェクトストアのデータに対して、高性能の一時ストレージとして機能します。このサービスによって、分散データセットを統合された形で高速に AWS のファイルベースのアプリケーションに使用できるようになります。

キャッシュを複数の NFS ファイルシステム (オンプレミスとクラウド上のファイルシステムを含む) または Amazon Simple Storage Service (S3) バケットにリンクし、オンプレミスと複数の AWS リージョンにまたがって、統合された形でデータに高速アクセスできます。キャッシュでは、読み取りと書き込みのデータアクセスができ、1 ミリ秒未満のレイテンシー、最大数百 GB/s のスループット、最大数百万回の IOPS で AWS のワークロードを計算できます。

Amazon File Cache によって、データがどこにあっても、AWS のコンピューティングリソースの俊敏性、パフォーマンス、コスト効率をデータの処理に簡単に活用できるようになります。

Amazon File Cache を使用すると、データがコンピューティングリソースと同じ AWS リージョンにないときや複数の場所にまたがっている場合に、ビジュアルエフェクト (VFX) レンダリング、チップ設計シミュレーション、ゲノム解析などの計算量の多いワークロードを AWS で実行できます。

また、Amazon File Cache を使用すると、ファイルインターフェイスを使用して Amazon S3 データに高速で低レイテンシーのアクセスが必要な場合に Amazon S3 データセットを処理することもできます。Amazon File Cache は、Amazon FSx for Open ZFS と Amazon FSx for NetApp ONTAP の NFS v3 データセットもサポートしています。

キャッシュは、AWS マネジメントコンソール、AWS コマンドラインインターフェイス (CLI)、または AWS API (およびさまざまな言語専用の SDK) で作成できます。キャッシュは、数分以内に実行が開始されて、コンピューティングインスタンスがアクセスできるようになります。詳細については、「getting started with Amazon File Cache」を参照してください。 

キャッシュをマウントすると、NFS ファイルシステムまたは Amazon S3 バケットのデータがディレクトリとファイルリストとして表示されます。ストレージの消費を最小化するために、ファイルとオブジェクトの内容は、ファイルまたはオブジェクトがキャッシュ内で最初にアクセスされるまでインポートされません。

Amazon File Cache は、Amazon Linux, Amazon Linux 2、、RHEL、CentOS、SUSE Linux、Ubuntu など、ほとんどのよく使われる Linux ベースの AMI で使用できます。また、このサービスは、x86 ベースの Amazon Elastic Compute Cloud (EC2) インスタンス、AWS Graviton2 プロセッサを搭載した ARM ベースの Amazon EC2 インスタンス、Amazon Elastic Container Service (ECS)、および Amazon Elastic Kubernetes Service (EKS) コンテナインスタンスとも互換性があります。Amazon File Cache を利用すると、1 つのキャッシュに接続されるインスタンスタイプと Linux AMI を混在させたり、組み合わせたりできます。

Linux インスタンスからキャッシュにアクセスするには、まずオープンソースの Lustre クライアントをインストールします。インストールしたら、標準的な Linux コマンドを使用してキャッシュをマウントできます。マウントが完了すると、ローカルファイルシステムと同じように、キャッシュでファイルやディレクトリを操作できるようになります。詳細については、File Cache のドキュメントを参照してください。

AWS Lustre クライアントリポジトリには、Amazon Linux、Amazon Linux 2、Red Hat Enterprise Linux (RHEL)、CentOS、および Ubuntu オペレーティングシステムと互換性があるクライアントモジュールが用意されています。詳細については、Amazon File Cache のドキュメントを参照してください。

Amazon File Cache はフルマネージドサービスです。そのため、ファイルストレージインフラストラクチャの管理は自動的に行われます。Amazon File Cache を使用すると、複雑なキャッシュインフラストラクチャをデプロイし、維持するというコストと煩わしさがなくなります。

キャッシュは、AWS マネジメントコンソール、AWS CLI、および AWS API (およびさまざまな言語専用の SDK) を通じて管理できます。コンソール、API、SDK を使用すると、キャッシュの作成と削除、キャッシュタグの作成と編集、キャッシュに関する詳細情報の表示ができます。

はい、キャッシュからのデータとデータリポジトリ (NFS ファイルシステム/Amazon S3 バケット) からのデータに両方同時にアクセスできます。

オンプレミスのファイルサーバーを Amazon File Cache にリンクするには、オンプレミスサーバーが NFSv3 プロトコルをサポートしている必要があります。オンプレミスのデータソースに Amazon File Cache を使用する前に、AWS Direct Connect または仮想プライベートネットワーク (VPN) の接続をオンプレミスネットワークと、ファイルキャッシュが格納されている Amazon 仮想プライベートネットワーク (VPC) との間にセットアップし、トラフィックがキャッシュと、VPC セキュリティグループ、オンプレミスファイアウォール、および NFSv3 ファイルサーバー内のオンプレミスファイルサーバーとの間を通過できるようにする必要があります。

AWS マネジメントコンソール、SDK、CLI を使用してデータリポジトリの関連付けを作成すると、いつでも 1 つまたは複数 (8 つまで) の NFS ファイルシステムまたは Amazon S3 バケット (データリポジトリ) をキャッシュにリンクできます。NFS ファイルシステムまたは Amazon S3 バケットをリンクすると、キャッシュ内のディレクトリとしてアクセスできるようになります。NFS データリポジトリの関連付けのそれぞれに、複数の NFS エクスポートをリンクできます。

Amazon File Cache には、データリポジトリからキャッシュにデータをインポートする際に 2 つのオプションがあります。遅延ロード (デフォルト) とプリロードです。遅延ロードでは最初のアクセス時にオンデマンドでデータをインポートし、プリロードではワークロードを開始する前にデータをインポートします。メタデータ (ファイル/オブジェクトの名前と属性) とデータ (ファイル/オブジェクトの内容) について、遅延ロードとプリロードの選択を指定できます。遅延ロードではメタデータとデータがキャッシュにインポートされるのを待たずにワークロードを開始できるので、ほとんどのワークロードには遅延ロードが適しています。プリロードは、最初のバイトのレイテンシーの影響が大きいアクセスパターンの場合に適しています。データをキャッシュにプリロードする際のベストプラクティスの詳細については、ドキュメントを参照してください。

キャッシュがリンクされた後にデータリポジトリに追加されたファイルは、自動的にキャッシュで利用可能になります。データリポジトリでファイルが変更され、そのファイルがキャッシュにロードされていない場合、変更されたバージョンは遅延ロードによってキャッシュにインポートされます。キャッシュに既にロードされているファイルは、データリポジトリでファイルが更新されても、自動的に更新されません。

はい。Amazon File Cache では、ファイルシステムコマンドを使用して、新規または変更されたファイルをリンクされたデータリポジトリにエクスポートして戻すことができます (詳細については、「Exporting changes to the data repository」をご覧ください)。リンクされたデータリポジトリまたはキャッシュのどちらかのファイルを変更することができ、それぞれが受け取った順番に更新を持続します。リンクされたデータリポジトリとキャッシュの両方で同じファイルを修正する場合、競合を防ぐために、アプリケーションレベルで更新を調整する必要があります。Amazon File Cache は、複数の場所で競合する書き込みを防止することはできません。

はい、複数のキャッシュをデータリポジトリの同じセットにリンクできます。 リンクされたどのキャッシュでもファイルを修正することができます。リンクされたデータリポジトリと各キャッシュは、受け取った順番に更新を持続します。複数のキャッシュで同じファイルを修正する場合、アプリケーションレベルで更新を調整し、競合を防止する必要があります。Amazon File Cache は、複数の場所で競合する書き込みを防止することはできません。

Amazon File Cache では、ディレクトリとシンボリックリンク (symlink) は Amazon S3 バケット内の別のオブジェクトとして格納されます。例えば、ディレクトリはスラッシュで終わるキー名を持つ Amazon S3 オブジェクトとして格納されます。

Amazon File Cache では、Amazon S3 との間でデータのインポートおよびエクスポートをするときに、POSIX メタデータと、ファイルおよびディレクトリのアクセス許可を自動的に転送します。POSIX メタデータは、AWS ファイルサービスで共有されている標準形式を使用して Amazon S3 オブジェクトメタデータとして格納されます。 詳細については、「POSIX metadata support for data repositories」を参照してください。

Amazon File Cache は Amazon CloudWatch を統合しており、キャッシュの健全性とパフォーマンスのメトリクスをリアルタイムでモニタリングできます。メトリクスの例としては、消費されたストレージ、スループット、1秒あたりのファイル操作数などがあります。AWS CloudTrail を使用して、Amazon File Cache API コールをログに記録できます。

Amazon File Cache サービスがどのリージョンで利用できるかの詳細については、「AWS サービス (リージョン別)」を参照してください。