AWS Trainium は、AWS が 100 B 以上のパラメータモデルの深層学習トレーニングのために専用に構築した第 2 世代の機械学習 (ML) アクセラレーターです。各 Amazon Elastic Compute Cloud (EC2) Trn1 インスタンスは、最大 16 個の AWS Trainium アクセラレーターをデプロイし、クラウドでの深層学習 (DL) トレーニングのための高性能かつ低コストのソリューションを提供します。深層学習の利用は加速していますが、多くの開発チームは固定予算に制限されており、モデルやアプリケーションを改善するために必要なトレーニングの範囲や頻度に上限が設けられています。Trainium ベースの EC2 Trn1 インスタンスは、同等の Amazon EC2 インスタンスと比較して、トレーニングに要する時間を短縮し、トレーニングに要するコストを最大 50% 削減することで、この課題を解決します。Trainium は、テキスト要約、コード生成、質問応答、画像と動画の生成、レコメンデーション、不正検出などの幅広い用途で使用される自然言語処理、コンピュータビジョン、レコメンダーモデルのトレーニングに最適化されています。
メリット
高性能な深層学習のトレーニングに特化した設計
各 Trainium アクセラレーターには、深層学習アルゴリズム用に構築された 2 つの第 2 世代 NeuronCore が搭載されています。効率的なデータとモデルの並列処理をサポートするために、各 Trainium アクセラレーターには 32 GB の高帯域幅メモリが搭載されており、最大 190 TFLOPS の FP16/BF16 のコンピューティング能力を備えています。インスタンス内の超高速ノンブロッキング相互接続技術である NeuronLink も装備されています。
最先端モデルのための最適化
Trainium は幅広いデータ型 (FP32、TF32、BF16、FP16、UINT8、および設定可能な FP8) をネイティブにサポートしています。ハードウェア加速型の確率的な丸め処理をサポートし、従来の丸め処理モードと比較して高いパフォーマンスと精度を提供します。Trainium はまた、C++ で書かれた制御フローとカスタム演算子をサポートし、お客様のトレーニングニーズに合わせた柔軟で将来を見据えたインフラストラクチャを提供します。
機械学習フレームワークとライブラリのネイティブサポート
Trainium をサポートする AWS Neuron SDK は、PyTorch および TensorFlow とネイティブに統合されています。これにより、これらの一般的なフレームワークで既存のワークフローを継続して使用することができ、わずか数行のコード変更で Trainium を使い始めることができます。分散モデルトレーニングのために、Neuron SDK は Megatron-LM や PyTorch Fully Sharded Data Parallel (FSDP) などのライブラリをサポートしています。Trainium を搭載した EC2 Trn1 インスタンスで素早く始めるには、Neuron ドキュメントで人気のモデル例を参照してください。
AWS Neuron SDK
AWS Neuron は、コンパイラ、ランタイム、プロファイリングツールからなる SDK で、AWS Trainium 搭載の Amazon EC2 Trn1 インスタンスで高性能なトレーニングを実行するために使用することができます。Neuron を使用すると、TensorFlow や PyTorch などの一般的なフレームワークで既存のワークフローを使用し、最小限のコード変更で EC2 Trn1 インスタンスに最適なトレーニングを行うことができます。Neuron は、AWS Deep Learning AMI (DLAMI) と AWS Deep Learning Containers であらかじめ設定されているため、Trn1 インスタンスで簡単に始めることができます。
AWS Inferentia
AWS Inferentia は、AWS が設計した機械学習推論アクセラレーターであり、クラウドで高いパフォーマンスで低コストの機械学習推論を実現します。AWS Inferentia アクセラレーターに基づく Amazon EC2 Inf1 インスタンスでは、同等の Amazon EC2 インスタンスと比較して、スループットが最大 2.3 倍高くなり、推論あたりのコストが最大 70% 低くなります。
