投稿日: Mar 13, 2024
PyTorch 用 Amazon S3 コネクタで、PyTorch Lightning モデルのチェックポイントを Amazon S3 に直接保存できるようになり、機械学習トレーニングジョブのコストとパフォーマンスが向上しました。PyTorch Lightning は、PyTorch を使ったトレーニングのための高レベルのインターフェイスを提供するオープンソースフレームワークです。PyTorch 用 Amazon S3 コネクタでは、S3 リクエストを自動的に最適化し、トレーニングワークロードのデータ読み込みとチェックポイントのパフォーマンスを向上させます。PyTorch 用 Amazon S3 コネクタを使用すると、Amazon EC2 インスタンスストレージに書き込むよりも、PyTorch Lightning モデルのチェックポイントを最大 40% 速く保存できます。
PyTorch 用 Amazon S3 コネクタは、PyTorch Lightning のチェックポイントのプリミティブの新しい実装を提供します。これを使用すると、機械学習モデルのチェックポイントを直接 Amazon S3 に保存できます。モデルチェックポイントの設定では通常、トレーニングジョブを一時停止する必要があるため、チェックポイントの保存に必要な時間は全体のトレーニング時間に影響します。この統合により、チェックポイントを PyTorch Lightning トレーニングジョブから Amazon S3 に直接保存、読み込み、削除することができます。
PyTorch 用 Amazon S3 コネクタはオープンソースプロジェクトです。使用を開始するには、GitHub ページにアクセスしてください。