Amazon EC2 Trn1 インスタンス

「何千ものお客様が AWS に Databricks を実装しており、MosaicML を使用してさまざまなユースケースの基礎モデルを事前トレーニング、微調整、提供できるようになりました。AWS Trainium は、Mosaic MPT モデルのトレーニングに必要なスケールと高いパフォーマンスを低コストで提供してくれます。次世代の Mosaic MPT モデルをトレーニングする中で、Trainium2 はモデルをさらに高速に構築できるようにし、これまでにない規模とパフォーマンスをお客様に提供できるようになり、お客様が独自の生成 AI アプリケーションをより迅速に市場に投入できるようになります。」

データブリックス生成 AI 担当副社長、Naveen Rao 氏

ストックマーク株式会社 CTO、有馬幸介氏

RICOH デジタル技術開発センター所長、梅津良昭

「HeliXon では、タンパク質ベースの治療薬に対する次世代 AI ソリューションを構築しています。私たちは、タンパク質の機能と相互作用を解読し、大規模なゲノムデータセットを照会してターゲットを特定し、抗体や細胞治療などの治療法を設計する科学者を支援する AI ツールを開発することを目指しています。現在、私たちは FSDP のような学習分散ライブラリを使用して、多数の GPU ベースのサーバーでモデルトレーニングを並列化していますが、それでも 1 つのモデルをトレーニングするのに数週間かかっています。AWS で利用可能な最高のネットワーク帯域幅 (800 Gbps) を特徴とする Amazon EC2 Trn1 インスタンスを活用して、分散トレーニングジョブのパフォーマンスを向上させ、モデルトレーニング時間を短縮するとともに、トレーニングコストを削減できることに興奮しています」。

Helixon、CEO、Jian Peng 氏

マネーフォワード社は、オープンでフェアな金融プラットフォームで、企業や個人にサービスを提供しています。

「Amazon EC2 Inf1 インスタンスで大規模な AI チャットボットサービスを開始し、同等の GPU ベースのインスタンスと比較して推論レイテンシーを 97% 削減するとともに、コストを削減しました。カスタマイズされた NLP モデルを定期的に微調整し続けるため、モデルトレーニングの時間とコストを削減することも重要です。Inf1 インスタンスでの推論ワークロードの移行に成功した経験と、AWS Trainium ベースの EC2 Trn1 インスタンスでの初期作業に基づいて、私たちは Trn1 インスタンスがエンドツーエンドの機械学習パフォーマンスとコストを改善する上でさらなる価値を提供することを期待しています」。

株式会社マネーフォワード、CTO、中出匠哉氏

Magic は、世界をより生産的にするために、同僚のように感じられる AI を開発する統合製品および研究会社です。

「大規模な自己回帰 Transformer ベースモデルのトレーニングは、私たちの仕事の不可欠な要素です。AWS Trainium 搭載の Trn1 インスタンスは、これらのワークロードに特化して設計されており、無限に近いスケーラビリティ、高速なノード間ネットワーク、16 ビットおよび 8 ビットデータ型への高度なサポートを提供します。Trn1 インスタンスにより、大規模なモデルをより速く、より低コストでトレーニングできるようになります。Trainium の BF16 確率的な丸め処理のネイティブサポートは、私たちに特に大きな興奮を与えます。数値的精度とフル精度との区別なく、パフォーマンスを向上させます」。

Magic、共同創業者兼 CEO、Eric Steinberger 氏

CACTUS は、研究者や組織向けに、研究の資金調達、公開、通信、発見の方法を改善する、一連の製品とソリューションを提供しています。

「Cactus Labs では、自然言語処理、ランキングとレコメンデーション、会話型 AI、大規模言語モデル、コンピュータビジョン、AR/VR、および XAI に焦点を当てた研究で、AI のパワーを利用しています。機械学習モデルの高速なトレーニングを可能にし、研究者がインフラストラクチャコストを管理しながら、より多くの実験を行えるようにするという私たちの探求に沿って、AWS Trainium を評価できたことを嬉しく思っています。XLA 最適化、マルチワーカーデータ並列トレーニング、グラフキャッシュなどの AWS Trainium のすぐに使える機能は、トレーニング時間を短縮し、より速く、より安く、より多くの実験を行うために非常に役立っています」。

Cactus Communications、CTO および新製品責任者、Nishchay Shah 氏

わたしはは、ユーモアを取り入れて、質問に対してその場で面白い答えを出す、革新的でインタラクティブな AI チャットボットサービス「OGIRI AI」を提供しています。

「私たちは、大規模言語モデルを使ってユーモアを取り入れ、AI サービスで適切な言葉を使って会話をはずませる体験をお客様に提供しています。そのためには、これらのモデルを頻繁に事前トレーニングして微調整する必要があります。私たちはテンソルとデータの並列処理を活用し、EC2 Trn1.32xlarge インスタンスで GPT ベースの日本語モデルを事前にトレーニングしました。トレーニングは 28 日以内に完了し、以前の GPU ベースのインフラストラクチャよりもコストは 33% 削減しました。モデルは急速に複雑化していくので、Trn1 の 2 倍のネットワーク帯域幅を持つ Trn1n インスタンスが大規模なモデルのトレーニングをスピードアップしてできるようになることを期待しています。」

株式会社わたしは、最高技術責任者、Yohei Kobashi 氏

「PyTorch では、機械学習を研究のプロトタイピングから顧客向けの生産準備へと加速させています。私たちは、AWS チームと広範囲なコラボレーションを行い、深層学習モデルのトレーニング専用に構築された新しい AWS Trainium 搭載の Amazon EC2 Trn1 インスタンスに PyTorch のネイティブサポートを提供しています。PyTorch モデルを構築するデベロッパーは、最小限のコード変更で Trn1 インスタンスでのトレーニングを開始することができます。さらに、OpenXLA コミュニティと協力し、GPU ベースのインスタンスから Trn1 インスタンスへのモデル移行を容易にする PyTorch 分散ライブラリを実現しました。より効率的なデータ型、ダイナミックシェイプ、カスタム演算子、ハードウェア最適化型の確率的な丸め処理、イーガーデバッグモードなど、Trn1 インスタンスが PyTorch コミュニティにもたらす革新に興奮しています。これらのことから、Trn1 は PyTorch のデベロッパーが広く採用するのに適しており、今後、トレーニング性能をさらに最適化するために PyTorch に共同で貢献することを期待しています」。

PyTorch、応用 AI、エンジニアリングマネージャー、Geeta Chauhan 氏

「Hugging Face の使命は、優れた ML を民主化し、世界中の ML 開発者が現実世界の問題を解決できるようにすることです。そのための鍵は、最新かつ最高のモデルを、クラウド内の最高の ML アクセラレーターで可能な限り高速かつ効率的に実行できるようにすることです。私たちは Inferentia2 が、生成系 AI モデルを大規模に展開するための新しい標準方法になる可能性があることに、非常に興奮しています。Inf1 では、従来の GPU ベースのインスタンスよりも最大 70％ のコスト削減を実現し、Inf2 では、BERT のようなトランスフォーマーのレイテンシーが Inferentia1 と比較して最大 8 倍低くなりました。Inferentia2 により、私たちのコミュニティはこのパフォーマンスを 100B 以上のパラメータスケールの LLM だけでなく、最新の diffusion やコンピュータービジョンモデルにも簡単にスケールできるようになります。」

Amazon の商品検索エンジンは、何十億もの商品をインデックス化し、毎日何十億もの顧客のクエリに対応しており、世界で最も利用されているサービスの 1 つです。

「私たちは、顧客のショッピング体験を向上させるため、マルチモーダル (テキスト + 画像)、多言語、マルチロケールかつ、複数のタスクで事前トレーニング済みの、複数のエンティティ (製品、クエリ、ブランド、レビューなど) にまたがる大規模言語モデル (LLM) をトレーニングしています。Trn1 インスタンスは、他の加速機械学習ソリューションと比較して最高のパフォーマンス/ワットを提供することで、LLM をトレーニングするためのより持続可能な方法を提供し、低コストで高いパフォーマンスを実現します。今後は、新しい設定可能な FP8 データタイプや、ハードウェア加速型の確率的な丸め処理などを検討し、トレーニング効率と開発速度をさらに高めていく予定です」。

Amazon Search、VP、Trishul Chilimbi 氏