投稿日: Nov 27, 2023
本日より、AWS コマンドラインインターフェイス (AWS CLI) と Python SDK は、自動的に AWS 共通ランタイム (CRT) を使用して、Amazon S3 と Amazon EC2 Trn1、P4d、P5 インスタンス間のデータ転送を高速化します。AWS CRT は、リクエストの並列化、自動再試行、DNS ロードバランシング、そのほかに関する Amazon S3 のパフォーマンスのベストプラクティスを実践して、Amazon EC2 と Amazon S3 間での高いデータ転送速度を実現しています。その結果、機械学習トレーニングジョブでは Amazon S3 からトレーニングデータをダウンロードする速度が最大 3 倍速くなり、モデルチェックポイントを Amazon S3 にアップロードする速度が最大 5 倍速くなり、合計トレーニング時間が短縮されました。
大規模言語モデルや拡散モデルを含む生成系 AI モデルに適した Amazon EC2 Trn1、P4d、および P5 インスタンスを起動するとき、自動的にこの変更が最新の AWS Deep Learning AMI (DLAMI) に組み込まれます。これで、AWS CLI と Python SDK を使用して Amazon S3 にアクセスするアプリケーションは、AWS CRT のパフォーマンス上のメリットが自動的に得られるようになりました。AWS CRT はこれらのインスタンスで利用できる高いネットワーク帯域幅に合わせて最適化を行うため、ストレージパフォーマンスを手動でチューニングしなくても、コンピューティングリソースを最大限に活用できます。詳細については、Python SDK のドキュメントと CLI のドキュメントをご覧ください。