Amazon EC2 Trn1 インスタンス

「PyTorch では、機械学習を研究のプロトタイピングから顧客向けの生産準備へと加速させています。私たちは、AWS チームと広範囲なコラボレーションを行い、深層学習モデルのトレーニング専用に構築された新しい AWS Trainium 搭載の Amazon EC2 Trn1 インスタンスに PyTorch のネイティブサポートを提供しています。PyTorch モデルを構築するデベロッパーは、最小限のコード変更で Trn1 インスタンスでのトレーニングを開始することができます。さらに、OpenXLA コミュニティと協力し、GPU ベースのインスタンスから Trn1 インスタンスへのモデル移行を容易にする PyTorch 分散ライブラリを実現しました。より効率的なデータ型、ダイナミックシェイプ、カスタム演算子、ハードウェア最適化型の確率的な丸め処理、イーガーデバッグモードなど、Trn1 インスタンスが PyTorch コミュニティにもたらす革新に興奮しています。これらのことから、Trn1 は PyTorch のデベロッパーが広く採用するのに適しており、今後、トレーニング性能をさらに最適化するために PyTorch に共同で貢献することを期待しています」。

応用 AI、エンジニアリングマネージャー、Geeta Chauhan 氏

「HeliXon では、タンパク質ベースの治療薬に対する次世代 AI ソリューションを構築しています。私たちは、タンパク質の機能と相互作用を解読し、大規模なゲノムデータセットを照会してターゲットを特定し、抗体や細胞治療などの治療法を設計する科学者を支援する AI ツールを開発することを目指しています。現在、私たちは FSDP のような学習分散ライブラリを使用して、多数の GPU ベースのサーバーでモデルトレーニングを並列化していますが、それでも 1 つのモデルをトレーニングするのに数週間かかっています。AWS で利用可能な最高のネットワーク帯域幅 (800 Gbps) を特徴とする Amazon EC2 Trn1 インスタンスを活用して、分散トレーニングジョブのパフォーマンスを向上させ、モデルトレーニング時間を短縮するとともに、トレーニングコストを削減できることに興奮しています」。

Helixon、CEO、Jian Peng 氏

マネーフォワード社は、オープンでフェアな金融プラットフォームで、企業や個人にサービスを提供しています。

「Amazon EC2 Inf1 インスタンスで大規模な AI チャットボットサービスを開始し、同等の GPU ベースのインスタンスと比較して推論レイテンシーを 97% 削減するとともに、コストを削減しました。カスタマイズされた NLP モデルを定期的に微調整し続けるため、モデルトレーニングの時間とコストを削減することも重要です。Inf1 インスタンスでの推論ワークロードの移行に成功した経験と、AWS Trainium ベースの EC2 Trn1 インスタンスでの初期作業に基づいて、私たちは Trn1 インスタンスがエンドツーエンドの機械学習パフォーマンスとコストを改善する上でさらなる価値を提供することを期待しています」。

株式会社マネーフォワード、CTO、中出匠哉氏

Magic は、世界をより生産的にするために、同僚のように感じられる AI を開発する統合製品および研究会社です。

「大規模な自己回帰 Transformer ベースモデルのトレーニングは、私たちの仕事の不可欠な要素です。AWS Trainium 搭載の Trn1 インスタンスは、これらのワークロードに特化して設計されており、無限に近いスケーラビリティ、高速なノード間ネットワーク、16 ビットおよび 8 ビットデータ型への高度なサポートを提供します。Trn1 インスタンスにより、大規模なモデルをより速く、より低コストでトレーニングできるようになります。Trainium の BF16 確率的な丸め処理のネイティブサポートは、私たちに特に大きな興奮を与えます。数値的精度とフル精度との区別なく、パフォーマンスを向上させます」。

Magic、共同創業者兼 CEO、Eric Steinberger 氏

CACTUS は、研究者、および研究が資金を調達し、公開し、通信し、発見される方法を改善する組織のための、一連の製品とソリューションを持っています。

「Cactus Labs では、自然言語処理、ランキング & レコメンデーション、会話型 AI、大規模言語モデル、コンピュータビジョン、AR/VR、XAI に焦点を当てた研究で、AI のパワーを利用しています。私たちは、機械学習モデルの高速なトレーニングを可能にし、研究者がインフラストラクチャコストを管理しながら、より多くの実験を行えるようにするという冒険の旅に沿い、AWS Trainium を評価できたことを嬉しく思っています。AWS Trainium の XLA 最適化、マルチワーカーデータ並列トレーニング、グラフキャッシュなどのボックス機能は、トレーニング時間を短縮し、より速く、より安く、より多くの実験を行うために非常に役立っています」。

Cactus Communications、CTO および新製品責任者、Nishchay Shah 氏

Amazon の商品検索エンジンは、何十億もの商品をインデックス化し、毎日何十億もの顧客のクエリに対応しており、世界で最も利用されているサービスの 1 つです。

「私たちは、顧客のショッピング体験を向上させるため、マルチモーダル (テキスト + 画像)、多言語、マルチロケールかつ、複数のタスクで事前トレーニング済みの、複数のエンティティ (製品、クエリ、ブランド、レビューなど) にまたがる大規模言語モデル (LLM) をトレーニングしています。Trn1 インスタンスは、他の加速機械学習ソリューションと比較して最高のパフォーマンス/ワットを提供することで、LLM をトレーニングするためのより持続可能な方法を提供し、低コストで高いパフォーマンスを実現します。今後は、新しい設定可能な FP8 データタイプや、ハードウェア加速型の確率的な丸め処理などを検討し、トレーニング効率と開発速度をさらに高めていく予定です」。

Amazon Search、VP、Trishul Chilimbi