AWS Trainium

AWS が専用に構築した、高性能な機械学習トレーニングチップ

AWS Trainium は、AWS が深層学習トレーニングのために専用に構築した第 2 世代の機械学習 (ML) チップです。各 Amazon Elastic Compute Cloud (EC2) Trn1 インスタンスは、最大 16 個の AWS Trainium アクセラレーターをデプロイし、クラウドでの深層学習トレーニングのための高性能かつ低コストのソリューションを提供します。深層学習の利用は加速していますが、多くの開発チームは固定予算に制限されており、モデルやアプリケーションを改善するために必要なトレーニングの範囲や頻度に上限が設けられています。Trainium ベースの EC2 Trn1 インスタンスは、同等の GPU ベースのインスタンスと比較して、トレーニングに要する時間を短縮し、トレーニングに要するコストを最大 50% 削減することで、この課題を解決します。Trainium は自然言語処理、コンピュータビジョン、レコメンダーモデルのトレーニングに最適化されており、音声認識、レコメンデーション、不正検出、画像認識、予測など幅広いアプリケーションで使用されています。

利点

高性能な深層学習のトレーニングに特化した設計

各 Trainium チップには、 深層学習アルゴリズム用に構築された 2 つの第 2 世代 NeuronCore が搭載されています。効率的なデータとモデルの並列処理をサポートするために、各 Trainium チップには 32 GB の高帯域幅メモリが搭載されており、最大 210 TFLOPS の FP16/BF16 のコンピューティング能力を備えています。インスタンス内の超高速ノンブロッキング相互接続技術である NeuronLink も装備されています。

最先端モデルのための最適化

Trainium は幅広いデータ型 (FP32、TF32、BF16、FP16、UINT8、および設定可能な FP8) をネイティブにサポートしています。ハードウェア加速型の確率的な丸め処理をサポートし、従来の丸め処理モードと比較して高いパフォーマンスと精度を提供します。Trainium はまた、動的テンソル形状、制御フロー、C++ で書かれたカスタム演算子をフルスタックでサポートし、お客様のトレーニングニーズに合わせた柔軟で将来を見据えたインフラストラクチャを提供します。

機械学習フレームワークとライブラリのネイティブサポート

Trainium をサポートする AWS Neuron SDK は、PyTorch および TensorFlow とネイティブに統合されています。これにより、これらの一般的なフレームワークで既存のワークフローを継続して使用することができ、わずか数行のコード変更で Trainium を使い始めることができます。分散モデルトレーニングのために、Neuron SDK は Megatron-LM や PyTorch Fully Sharded Data Parallel (FSDP) などのライブラリをサポートしています。Trainium を搭載した EC2 Trn1 インスタンスで素早く始めるには、Neuron ドキュメントで人気のモデル例を参照してください。

AWS Neuron SDK

AWS Neuron は、コンパイラ、ランタイム、プロファイリングツールからなる SDK で、AWS Trainium 搭載の Amazon EC2 Trn1 インスタンスで高性能なトレーニングを実行するために使用することができます。Neuron を使用すると、TensorFlow や PyTorch などの一般的なフレームワークで既存のワークフローを使用し、最小限のコード変更で EC2 Trn1 インスタンスに最適なトレーニングを行うことができます。Neuron は、AWS Deep Learning AMI (DLAMI) と AWS Deep Learning Containers であらかじめ設定されているため、Trn1 インスタンスで簡単に始めることができます。

詳細はこちら »

AWS Inferentia

AWS Inferentia は、AWS が設計した機械学習推論チップであり、クラウドで高いパフォーマンスで最低コストの機械学習推論を実現します。AWS Inferentia チップに基づく Amazon EC2 Inf1 インスタンスでは、同等の現行世代の GPU ベースの Amazon EC2 インスタンスと比較して、スループットが最大 2.3 倍高くなり、推論あたりのコストが最大 70% 低くなります。

詳細はこちら »

無料のアカウントにサインアップ

AWS 無料利用枠にすぐにアクセスできます。 

サインアップ 
コンソールで構築を開始する

AWS コンソールで使用を開始する

サインイン