投稿日: Aug 27, 2019
Amazon SageMaker で、SageMaker で機械学習モデルをトレーニングするためのデータソースとして Amazon Elastic File System (Amazon EFS) と Amazon FSx for Lustre ファイルシステムを使用できるようになりました。Amazon FSx for Lustre は、機械学習、分析、ハイパフォーマンスコンピューティングなどのワークロード向けに最適化された高性能ファイルシステムです。Amazon EFS は、AWS クラウドサービスおよびオンプレミスリソースで利用できる、Linux ベースのワークロード向けのシンプルでスケーラブルかつ伸縮自在なファイルシステムです。この 2 つのファイルシステムをサポートすることで、Amazon SageMaker では、データセットを使用したモデルのトレーニングをさらにすばやく、簡単に実行できるようになります。ファイルシステムをデータソースとして使用すると、トレーニングプロセスの一部であるデータのダウンロードが不要になるため、開始するまでの時間を短縮できます。また、ファイルシステムのパフォーマンスとスループットに関するさまざまな利点を利用して、トレーニングジョブをよりすばやく実行できます。
これまで、Amazon SageMaker では、ファイル入力モードを使用している場合、トレーニングジョブの開始時にすべてのトレーニングセットが Amazon S3 からローカルのファイルストレージにユーザーに気付かれることなくダウンロードされていました。Amazon FSx for Lustre を使用すると、Amazon S3 からのダウンロードを最初に行う必要がなくなるため、お客様はファイルモードのトレーニングジョブを加速させることができます。Amazon FSx for Lustre ファイルシステムが Amazon S3 バケットにリンクされている場合、オブジェクトに初めてアクセスするときに Amazon S3 からファイルシステムにオブジェクトが自動的にコピーされます。また、同じ FSx ファイルシステムを複数の SageMaker ジョブで使用して、共通のオブジェクトのダウンロードが繰り返し行われないようにすることができます。
また、これまでお客様が Amazon SageMaker で使用できたのは、Amazon S3 に保存されているトレーニングセットのみでした。本日より、お客様は、Amazon EFS に保存されているトレーニングセットも使用できます。Amazon SageMaker では Amazon EFS と直接やり取りするため、Amazon SageMaker で使用するために Amazon EFS から Amazon S3 にデータセットをコピーする必要はありません。
Amazon SageMaker のほとんどの組み込み機械学習アルゴリズムでは、入力データソースとして EFS と FSx for Lustre をサポートしています。この機能は、各ファイルシステムが提供されているすべてのリージョンでご利用いただけます。利用可能なリージョンの詳細については、AWS リージョン表をご覧ください。