AWS Inferentia

「地中レーダーの使用と視覚的な欠陥の検出は、通常、エキスパートである測量士が行う領域です。AWS のマイクロサービスベースのアーキテクチャにより、自動検査車や検査員が撮影した動画を処理することができます。自社で構築したモデルを従来の GPU ベースのインスタンスから Inferentia に移行することで、コストを 50% 削減することができました。さらに、G4dn GPU インスタンスとの時間を比較すると、パフォーマンスの向上を確認することができました。私たちのチームは、Inferentia ベースの Inf1 インスタンスでより多くのワークロードを実行することを楽しみにしています」。

Screening Eagle Technologies、クラウドおよび AI 担当最高責任者、Jesús Hormigo 氏

NTTPC コミュニケーションズは、日本のネットワークサービスおよび通信ソリューションプロバイダーであり、情報通信技術市場において新しい革新的な製品を導入する通信事業者のリーダーです。

「NTTPC は、高度な姿勢推定マシンラーニングモデルに基づいた動作分析 API プラットフォームサービス「AnyMotion」を開発しました。NTTPC は、Amazon Elastic Container Service (ECS) を利用して、Amazon EC2 Inf1 インスタンスに AnyMotion プラットフォームをデプロイし、フルマネージドコンテナオーケストレーションサービスを実現しました。NTTPC は、Amazon EC2 Inf1 に AnyMotion コンテナをデプロイすることで、現行の GPU ベースの EC2 インスタンスと比較して、全体で 4.5 倍、推論レイテンシーが 25% 短縮され、コストも 90% 削減できました。これらの優れた結果は、大規模環境での AnyMotion サービスの品質向上に貢献します」。

株式会社 NTT PC コミュニケーションズ、ソフトウェアエンジニア、Toshiki Yanagisawa 氏

Anthem は、米国を代表する医療保険会社の 1 つであり、数十州にわたり 4000 万人以上のメンバーの医療ニーズに対応しています。 

「デジタル医療プラットフォームの市場は目覚ましい速度で成長しています。この市場に関するインテリジェンスは、膨大な量の顧客の意見データと構造化されていないその性質のため、収集が困難です。当社のアプリケーションは、深層学習の自然言語モデル (トランスフォーマー) を介して顧客の意見から実用的な洞察を自動的に生成します。当社のアプリケーションは計算集約型であり、高性能な方法でデプロイする必要があります。AWS Inferentiaプロセッサを搭載した Amazon EC2 Inf1 インスタンスに深層学習推論ワークロードをシームレスにデプロイしました。新しい Inf1 インスタンスは、GPU ベースのインスタンスに 2 倍のスループットを提供し、推論ワークロードを合理化することができました」。

Anthem、PhD、プリンシパル AI/データサイエンティスト、Numan Laanait 氏
Anthem、PhD、プリンシパル AI/データサイエンティスト、Miro Mihaylov 氏

「Condé Nast のグローバルポートフォリオには、Wired、Vogue、Vanity Fair など 20 を超える主要なメディアブランドが含まれています。数週間で私たちのチームはレコメンデーションエンジンを AWS Inferentia チップと統合できました。この統合により SageMaker の Inf1 インスタンスで最先端の自然言語モデルの複数のランタイム最適化が可能になります。その結果、以前にデプロイされた GPU インスタンスよりも 72% のコスト削減が見られました」。

Condé Nast、プリンシパルエンジニア、AI インフラストラクチャ、Paul Fryzel 氏

「Ciao は、従来のセキュリティカメラを、人間の目と同等の機能を持つ高性能分析カメラに進化させました。当社のアプリケーションは、災害防止を進め、クラウドベースの AI カメラソリューションを使用して環境条件を監視し、災害が発生する前に警告を発します。このような警告により、発生した状況に対して事前に対応できます。物体検出に基づいて、従業員のいない実店舗のビデオから、入店する顧客の人数を推定することによって洞察を提供することもできます。Ciao Camera は、AWS Inferentia ベースの Inf1 インスタンスを商業的に採用し、YOLOv4 を搭載した G4dn よりも 40% 優れた価格性能比を実現しました。Inf1 がその大幅な費用対効率を活用して、より多くのサービスを提供できることを楽しみにしています」。

Shinji Matsumoto、ソフトウェアエンジニア、Ciao Inc.

「朝日新聞は、日本でポピュラーな日刊紙の 1 つです。当社の部門の 1 つとして設立された Media Lab は、最新の技術、特に AI を研究し、最先端の技術を新しいビジネスに結び付けることを目指しています。東京で AWS Inferentia ベースの Amazon EC2 Inf1 インスタンスがリリースされたので、これらのインスタンスで PyTorch ベースのテキスト要約 AI アプリケーションをテストしました。このアプリケーションは、大量のテキストを処理し、過去 30 年間の記事でトレーニングしたヘッドラインと要約文を生成します。Inferentia を使って、CPU ベースのインスタンスよりもコストを 1 桁削減しました。この劇的なコスト削減により、以前は経済的に実現可能ではないと考えていた極めて複雑なモデルを大規模にデプロイできるようになります」。

Hideaki Tamori 氏、PhD, Senior Administrator、Media Lab、朝日新聞社

「CS Disco は、弁護士が弁護士のために開発した AI ソリューションのリーディングプロバイダーとしてリーガルテクノロジーを改革しています。Disco AI は、計算量が多くコストがかかる複雑な Natural Language Processing モデルを活用することで、テラバイト単位のデータを効率的に処理し、レビュー時間を短縮し、レビューの精度を向上させます。Disco は、AWS Inferentia ベースの Inf1 インスタンスを現在の GPU インスタンスと比較して Disco AI の推論コストを少なくとも 35% 削減できることに気が付きました。Inf1 インスタンスを使用したこの良い結果の経験を元に、CS Disco は Inferentia への移行の機会を探っています」。

Alan Lockett 氏、Sr.Director of Research、CS Disco

「Talroo では、ユニークな求職者を引き付けて採用できるようにするデータ手動のプラットフォームをお客様に提供しています。最高の製品とサービスをお客様に提供できるよう、常に新しいテクノロジーを模索しています。Inferentia を使って、テキストデータのコーパスからインサイトを抽出し、AI を活用した検索と照合技術を強化しています。Talroo では Amazon EC2 Inf1 インスタンスを活用し、SageMaker で高スループットの自然言語理解モデルを作成しています。Talroo の最初のテストから、Amazon EC2 Inf1 インスタンスは G4dn GPU ベースのインスタンスと比較して、40％ 低い推論レイテンシーと 2 倍高いスループットを提供することがわかっています。これらの結果から、Talroo は AWS インフラストラクチャの一部として Amazon EC2 Inf1 インスタンスに期待しています」。

Janet Hu 氏、ソフトウェアエンジニア、Talroo

Digital Media Professional (DMP) は、AI (人工知能) に基づく ZIA™ プラットフォームで未来を可視化します。DMP の効率的なコンピュータビジョン分類テクノロジーを使用して、状態観察、犯罪防止、事故防止などの大量のリアルタイム画像データに関する洞察を構築します。画像セグメンテーションモデルは、GPU ベースの G4 インスタンスと比べ、AWS Inferentia ベースの Inf1 インスタンスで 4 倍高速で実行されることを認識しました。この高スループットと低コストにより、Inferentia を使用すると、車のドライブレコーダーのアプリケーションなど、AI ワークロードを大規模にデプロイすることができます」。

デジタルメディアプロフェッショナル、セールスおよびマーケティンググループディレクター兼ゼネラルマネージャー、Hiroyuki Umeda 氏

Hotpot.ai は、デザイナー以外のユーザーが魅力的なグラフィックを作成できるようにし、プロのデザイナーが重要なタスクを自動化できるようにします。 

「機械学習は戦略の中核であるため、AWS Inferentia ベースの Inf1 インスタンスを試すことができて嬉しいです。Inf1 インスタンスは、研究開発パイプラインに簡単に統合できることがわかりました。最も重要なのは、G4dn GPU ベースのインスタンスと比較して、印象的なパフォーマンスの向上が観察されたことです。最初のモデルで、Inf1 インスタンスは約 45% 高いスループットを実現し、推論あたりのコストをほぼ 50% 削減しました。AWS チームと緊密に連携して他のモデルを移植し、ML 推論インフラストラクチャのほとんどを AWS Inferentia に移行する予定です」。

Clarence Hu 氏、Founder、Hotpot.ai

「SkyWatch では、毎日、宇宙から送られる数百兆ピクセルもの地球観測データを処理しています。リアルタイムでのクラウド検出と画質のスコアリングに Amazon SageMaker を使った新しい AWS Inferentia ベースの Inf1 インスタンスの採用は、迅速かつ簡単でした。デプロイ設定でインスタンスタイプを切り替えるだけで済みました。インスタンスタイプを Inferentia ベースの Inf1 に切り替えることで、パフォーマンスが 40％ 向上し、全体のコストは 23％ 削減しました。大成功でした。これにより、エンジニアリングのオーバーヘッドを最小限に抑えて、高品質の衛星画像を提供しながら、全体的な運用コストを削減してきました。Inf1 インスタンスを使って、すべての推論エンドポイントとバッチ ML 処理を移行し、データの信頼性とカスタマーエクスペリエンスをさらに向上しようとしています」。

Adler Santos 氏、Engineering Manager、SkyWatch

マネーフォワード社は、オープンでフェアな金融プラットフォームで、企業や個人にサービスを提供しています。マネーフォワード社のグループ会社であるHiTTO社は、このプラットフォームの一環として、法人のお客様の多様なニーズに対応するために、オーダーメイドのNLPモデルを用いたAIチャットボットのサービスを提供しています。

「当社のAIチャットボットサービスをAmazon EC2 Inf1インスタンスに移行するのは簡単でした。2か月で移行を完了し、Amazon Elastic Container Service（ECS）を利用して、Inf1インスタンス上で大規模なサービスを開始しました。Inf1インスタンスあたり複数のモデルを提供することで、推論レイテンシーを97%削減し、推論コストを50%以上削減しました（同等のGPUベースのインスタンスと比較して）。InferentiaベースのInf1インスタンスでより多くのワークロードを実行することを楽しみにしています」。

株式会社マネーフォワード、CTOオフィス、テクニカルリード、あだち けんと氏