Amazon EC2 Trn1 インスタンス

コムキャスト、コンデナストをはじめ、フォーチュン 500 企業の 50% 以上を含む世界中の 10,000 を超える組織が、データ、分析、AI の統合に Databricks を活用しています。

「何千ものお客様が AWS に Databricks を実装しており、MosaicML を使用してさまざまなユースケースの基礎モデルを事前トレーニング、微調整、提供できるようになりました。AWS Trainium は、Mosaic MPT モデルのトレーニングに必要なスケールと高いパフォーマンスを低コストで提供してくれます。次世代のMosaic MPTモデルをトレーニングすることで、Trainium2はモデルをさらに高速に構築できるようになり、これまでにない規模とパフォーマンスをお客様に提供できるようになり、お客様が独自のジェネレーティブAIアプリケーションをより迅速に市場に投入できるようになります。」

データブリックス生成 AI 担当副社長、Naveen Rao 氏

ストックマークは、「価値創造の仕組みを再発明し、人間性を高める」という使命のもと、最先端の自然言語処理技術を提供することで、多くの企業が革新的なビジネスを創造し、構築できるよう支援しています。

「AWS Trainiumチップを搭載したAmazon EC2 Trn1インスタンスの16ノードを使用して、Stockmark-13bを開発してリリースしました。Stockmark-13bは、日本の2200億トークンのコーパスでゼロから事前トレーニングされた、130億のパラメータを持つ大規模な言語モデルです。コーパスには、2023 年 9 月までの最新のビジネスドメインテキストが含まれています。このモデルは、JGLUE (日本語一般言語理解評価) ベンチマークで、他の同等のモデルと比較して最高の JSQuAD スコア（0.813）を達成しました。Hugging Face Hub で入手でき、MIT ライセンスがあれば商用利用も可能です。Trn1 インスタンスにより、同等の GPU インスタンスと比較してトレーニングコストを 20% 削減できました。」

ストックマーク株式会社 CTO、有馬耕介氏

RICOH は、企業間の情報の流れを管理および最適化するように設計されたワークプレイスソリューションとデジタルトランスフォーメーションサービスを提供しています。

「Trn1 インスタンスへの移行は非常に簡単でした。13B パラメータモデルのトレーニングはわずか 8 日で完了することができました。この成功を踏まえて、Trainiumでの70Bパラメーターモデルの開発とトレーニングを楽しみにしています。また、これらのインスタンスがモデルのトレーニングをより迅速かつ費用対効果の高い方法で行う可能性に期待しています。」

RICOH デジタル技術開発センター所長、梅津良昭

「Helixonでは、タンパク質ベースの治療薬向けの次世代AIソリューションを構築しています。私たちは、タンパク質の機能と相互作用を解読し、大規模なゲノムデータセットを照会してターゲットを特定し、抗体や細胞治療などの治療法を設計する科学者を支援する AI ツールを開発することを目指しています。現在、私たちは FSDP のような学習分散ライブラリを使用して、多数の GPU ベースのサーバーでモデルトレーニングを並列化していますが、それでも 1 つのモデルをトレーニングするのに数週間かかっています。AWS で利用可能な最高のネットワーク帯域幅 (800 Gbps) を備えた Amazon EC2 Trn1 インスタンスを利用して、分散型トレーニングジョブのパフォーマンスを向上させ、モデルトレーニング時間を短縮すると同時に、トレーニングコストを削減できることを嬉しく思います。」

Helixon、CEO、Jian Peng 氏

マネーフォワード社は、オープンでフェアな金融プラットフォームで、企業や個人にサービスを提供しています。

「Amazon EC2 Inf1 インスタンスで大規模な AI チャットボットサービスを開始したところ、コストも削減しながら、同等の GPU ベースのインスタンスと比べて推論レイテンシーが 97% 短縮されました。カスタマイズされた NLP モデルを定期的に微調整し続けるため、モデルトレーニングの時間とコストを削減することも重要です。Inf1 インスタンスでの推論ワークロードの移行が成功した経験と、AWS Trainium ベースの EC2 Trn1 インスタンスでの初期作業から得た経験から、Trn1 インスタンスは、エンドツーエンドの ML パフォーマンスとコストを改善する上でさらなる価値をもたらすと予想されます。」」

株式会社マネーフォワード、CTO、中出匠哉氏

Magic は、世界をより生産的にするために、同僚のように感じられる AI を開発する統合製品および研究会社です。 

「大規模な自己回帰トランスフォーマーベースのモデルのトレーニングは、私たちの仕事に欠かせない要素です。AWS Trainium 搭載の Trn1 インスタンスは、これらのワークロードに特化して設計されており、無限に近いスケーラビリティ、高速なノード間ネットワーク、16 ビットおよび 8 ビットデータ型への高度なサポートを提供します。Trn1 インスタンスにより、大規模なモデルをより速く、より低コストでトレーニングできるようになります。特に、TrainiumでBF16確率的丸めがネイティブにサポートされ、数値精度が完全精度と区別がつかないのにパフォーマンスが向上することを期待しています。」

Magic、共同創業者兼 CEO、Eric Steinberger 氏

CACTUS は、研究者や組織向けに、研究の資金調達、公開、通信、発見の方法を改善する、一連の製品とソリューションを提供しています。 

「Cactus Labsでは、自然言語処理、ランキングとレコメンデーション、会話型AI、大規模言語モデル、コンピュータービジョン、AR/VR、XAIに焦点を当てた研究でAIの力を活用しています。機械学習モデルの高速なトレーニングを可能にし、研究者がインフラストラクチャコストを管理しながら、より多くの実験を行えるようにするという私たちの探求に沿って、AWS Trainium を評価できたことを嬉しく思っています。XLA 最適化、マルチワーカーデータ並列トレーニング、グラフキャッシュなど、AWS Trainiumのすぐに使用できる機能は、トレーニング時間を短縮し、より多くの実験をより速く、より安価に実行するのに非常に役立ちます。」

Cactus Communications、CTO および新製品責任者、Nishchay Shah 氏

わたしはは、ユーモアを取り入れて、質問に対してその場で面白い答えを出す、革新的でインタラクティブな AI チャットボットサービス「OGIRI AI」を提供しています。 

「私たちはラージ・ランゲージ・モデルを使ってユーモアを取り入れ、AIサービスでお客様にとってより関連性の高い会話型の体験を提供しています。そのためには、これらのモデルを頻繁に事前トレーニングして微調整する必要があります。私たちはテンソルとデータの並列処理を活用し、EC2 Trn1.32xlarge インスタンスで GPT ベースの日本語モデルを事前にトレーニングしました。トレーニングは 28 日以内に完了し、以前の GPU ベースのインフラストラクチャよりもコストは 33% 削減しました。私たちのモデルは急速に複雑さを増し続けているので、より大きなモデルのトレーニングをスピードアップするために、Trn1の2倍のネットワーク帯域幅を持つTRN1nインスタンスを楽しみにしています。""

株式会社わたしは、最高技術責任者、Yohei Kobashi 氏

「PyTorchでは、機械学習を研究用プロトタイピングからお客様に提供できる量産まで加速させています。私たちは、AWS チームと広範囲なコラボレーションを行い、深層学習モデルのトレーニング専用に構築された新しい AWS Trainium 搭載の Amazon EC2 Trn1 インスタンスに PyTorch のネイティブサポートを提供しています。PyTorch モデルを構築するデベロッパーは、最小限のコード変更で Trn1 インスタンスでのトレーニングを開始することができます。さらに、OpenXLA コミュニティと協力し、GPU ベースのインスタンスから Trn1 インスタンスへのモデル移行を容易にする PyTorch 分散ライブラリを実現しました。より効率的なデータ型、ダイナミックシェイプ、カスタム演算子、ハードウェア最適化型の確率的な丸め処理、イーガーデバッグモードなど、Trn1 インスタンスが PyTorch コミュニティにもたらす革新に興奮しています。これらすべてにより、Trn1はPyTorch開発者による幅広い採用に適しており、トレーニングパフォーマンスをさらに最適化するためのPyTorchへの今後の共同貢献を楽しみにしています。」

PyTorch、応用 AI、エンジニアリングマネージャー、Geeta Chauhan 氏

「Hugging Faceの使命は、優れたMLを民主化して、世界中のML開発者が現実世界の問題を解決できるようにすることです。そのための鍵は、最新かつ最高のモデルを、クラウド内の最高の ML チップで可能な限り高速かつ効率的に実行できるようにすることです。私たちは Inferentia2 が、生成 AI モデルを大規模に展開するための新しい標準方法になる可能性があることに、非常に興奮しています。Inf1 では、従来の GPU ベースのインスタンスよりも最大 70％ のコスト削減を実現し、Inf2 では、BERT のようなトランスフォーマーのレイテンシーが Inferentia1 と比較して最大 8 倍低くなりました。Inferentia2により、私たちのコミュニティは、このパフォーマンスを100B以上のパラメータスケールのLLMだけでなく、最新のディフュージョンモデルやコンピュータービジョンモデルにも簡単にスケーリングできるようになります。」

「私たちは、顧客のショッピング体験を向上させるために、マルチモーダル（テキスト+画像）、多言語、マルチロケール、複数のタスクについて事前にトレーニングされ、複数のエンティティ（製品、クエリ、ブランド、レビューなど）にわたる大規模言語モデル（LLM）をトレーニングしています。Trn1 インスタンスは、他の加速機械学習ソリューションと比較して最高のパフォーマンス/ワットを提供することで、LLM をトレーニングするためのより持続可能な方法を提供し、低コストで高いパフォーマンスを実現します。トレーニングの効率と開発速度をさらに高めるために、新しい構成可能なFP8データ型と、ハードウェアアクセラレーションによる確率的四捨五入を検討する予定です。」

Amazon Search、VP、Trishul Chilimbi