Amazon Web Services ブログ

Tag: 生成AIモデル開発を始める

Amazon SageMaker 上で AWS Inferentia2 と AWS Trainium を使って、低コストで高性能な生成系 AI 推論を実現

2023年5月4日、Amazon SageMaker が AWS Inferentia2 (ml.inf2) と AWS Trainium (ml.trn1) ベースの SageMaker インスタンスをサポートして、リアルタイムおよび非同期推論のための生成系 AI モデルをホストすることを発表しました。この記事では、大規模モデル推論 (LMI) コンテナを活用して、SageMaker を使用して AWS Inferentia2 に大規模な言語モデルをデプロイするプロセスを示します。

ultracluster

Amazon EC2 Trn1 UltraClusters を使って大規模言語モデル(LLM)学習をスケールする

2022 年 10 月に、AWS が設計した第 2 世代の機械学習アクセラレータである AWS Trainium を搭載した Amazon EC2 Trn1 インスタンス がローンチしました。Trn1 インスタンスは、ハイパフォーマンスなディープラーニングモデルの学習のために設計されており、同等の GPU ベースのインスタンスと比べてモデルの学習にかかるコストを最大 50% 節約できます。EC2 Trn1 UltraCluster を使用して大規模モデルの学習ジョブを分散することで、学習時間を数週間から数日に、または数日から数時間に短縮することができます。

Newer posts →