投稿日: Sep 3, 2019
Amazon SageMaker のお客様は、機械学習モデルのトレーニング用のデータソースとして小さな Amazon FSx for Lustre ファイルシステムを使用できるようになりました。これまで、作成することのできる最小の FSx for Lustre ファイルシステムは 3.6 TB でした。お客様は、このサイズより小さなトレーニングセット向けに最小 1.2 TB のファイルシステムを作成し、使用できるようになりました。
Amazon FSx for Lustre は Amazon S3 データと連携した高性能ファイルシステムで、機械学習、分析、ハイパフォーマンスコンピューティングなどのワークロード向けに最適化されています。
お客様は FSx for Lustre を使用して、Amazon SageMaker のトレーニングジョブを加速させることができます。2019 年 8 月 27 日に Amazon FSx for Lustre のサポートが発表されるまで、Amazon SageMaker ではファイル入力モードを使用している場合、トレーニングジョブの開始時にすべてのトレーニングセットが Amazon S3 からローカルのファイルストレージに透過的にダウンロードされていました。Amazon FSx for Lustre を使用すると、Amazon S3 からのダウンロードを最初に行う必要がなくなるため、お客様はファイルモードのトレーニングジョブを加速させることができます。Amazon FSx for Lustre ファイルシステムが Amazon S3 にリンクされている場合、オブジェクトに初めてアクセスするときに Amazon S3 からファイルシステムにオブジェクトが自動的にコピーされます。また、同じ Amazon FSx for Lustre ファイルシステムを同じデータセットで繰り返し実行している Amazon SageMaker のトレーニングジョブに使用して、共通のオブジェクトのダウンロードが繰り返し行われないようにすることもできます。小さなファイルシステムのサポートにより、Amazon FSx for Lustre をさらに多くの機械学習ワークロードに使用できるようになりました。
小さな Amazon FSx for Lustre ファイルシステムは、米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン)、米国西部 (北カリフォルニア)、欧州 (アイルランド)、欧州 (フランクフルト)、アジアパシフィック (東京) の各 AWS リージョンで利用可能になりました。利用可能なリージョンの詳細については、AWS リージョン表をご覧ください。