Amazon Web Services ブログ

Machine Learning ブログの新規記事: Amazon FSx for Lustre および Amazon EFS ファイルシステムを使用して、Amazon SageMaker のトレーニングをスピードアップする

分析アプリケーションと機械学習モデルをデプロイするには、容量とパフォーマンスをスケールインできるストレージが必要であり、高スループットと低レイテンシーのファイル操作でワークロードの需要に対応できます。

一般的なユースケースでは、データサイエンスチームが何らかの分析 (機械学習、ゲノミクスなど) を行うことを軸としています。AWS は、ビッグデータおよび分析ワークロード向けに、スケーラブルで耐久性のある可用性の高い2つのファイルソリューションを提供しています。Amazon EFS は、ML フレームワークや共有ノートブックシステム、そして Linux ベースのアプリケーションのためのクラウドネイティブの共有 NFS ストレージソリューションです。Faculty などの顧客は、分析ワークロードをスケーリングするために EFS を活用し、配信インサイトに対する俊敏性を向上させています。

Amazon FSx for Lustre は、データへのサブミリ秒アクセスを提供する Amazon S3 またはオンプレミスのデータを処理するための高性能ファイルシステムであり、最大で 1 秒あたり数百ギガバイトのスループットと数百万 IOPS の速度でデータを読み書きできます。Amazon FSx for Lustre は Amazon S3 とネイティブに連携し、コンピューティング集約型のファイルシステムでクラウドデータセットを簡単に処理することができます。Conductor Technologies は、クラウドレンダリングプラットフォームに FSx Lustre を用いることにより、TCO を削減しつつ、VFX およびアニメーションスタジオの顧客に簡素化とスケールをもたらします。

今週、AWS SageMaker チームは、EFS と FSx for Lustre の両方からデータにアクセスして意思決定を通知し、カスタマーエクスペリエンスを向上させることにより、顧客が機械学習のトレーニングジョブをスピードアップできるようになったことを発表しました。

機械学習ワークロードのための AWS ファイルストレージソリューションの詳細は、ブログ記事をご覧ください。