AWS Inferentia をご利用のお客様

NetoAI は、TSLAM、ViNG、DigiTwin、NAPI を含む TelcoCore スイートを提供し、通信事業者が複雑なマルチドメイン運用と顧客ライフサイクル管理を自動化できるよう支援します。その基礎となるのが、この分野初のオープンソースの action-oriented モデル、TSLAM LLM です。これを構築するには、独自のデータセットの膨大な 20 億トークンでモデルを微調整する必要がありましたが、Amazon SageMaker と AWS Trainium trn1 インスタンスを使用することで、大幅なコスト削減を実現し、3 日以内にすべてのファインチューニングを完了しました。本番環境では、AWS Inferentia2 と Neuron SDK により、一貫して 300 ～ 600 ミリ秒の低い推論のレイテンシーが実現します。AWS 専用に構築された AWS AI チップ上のこのエンドツーエンドのソリューションは、通信業界全体に特殊で高性能な AI を提供するという当社の使命の鍵となります。

 

Ravi Kumar Palepu 氏 創設者兼 CEO

HummingLM 用の大規模な音声変換モデルのトレーニングには、計算負荷と反復処理が大量に発生します。トレーニングワークロードを AWS Trainium に移行し、Amazon SageMaker HyperPod で調整することで、モデルの正確性を維持しながら、トレーニングコストを 54% 削減し、トレーニングサイクルを 50% 高速化できました。また、Amazon FSx for Lustre を活用して、トレーニングデータとチェックポイントへの高スループット、低レイテンシーのアクセスを実現し、わずか 1 週間で 2 PB を超えるデータを Amazon S3 に移行しました。AWS Inferentia2 搭載の Inf2 インスタンスを使用すると、推論のレイテンシーを最大 10 倍削減でき、より高速で応答性の高いリアルタイムの音楽生成が可能になります。