Codeway、Amazon EC2 G5 インスタンスを使用して生成 AI のコンピューティングコストを 48% 節約

トルコのイスタンブールに拠点を置く Codeway は、生成 AI を始めとする最先端テクノロジーを活用したモバイルアプリケーションとゲームを開発しています。その Wonder アプリケーションは単語をデジタル画像に変換します。ユーザーが単語や文章を入力すると、Wonder は AWS 上の PyTorch をベースにした画像生成用の安定した拡散モデルをデプロイすることで、それらの入力をアートワークに変換します。サブスクリプションに応じて、ユーザーは画像の高品質バージョンまたは低品質バージョンをダウンロードできます。

Wonder は 2,830 万人以上のユーザーにダウンロードされているため、Codeway はコンピューティングと GPU 機能を最大限に活用するよう努めています。Wonder のインフラストラクチャは、複数の地域のさまざまなクラウドプロバイダーに分散されています。人工知能 (AI) 推論ワークロードでは、Codeway はこれらのプロバイダーのいずれかでホストされている NVIDIA A100 Tensor コア GPU を使用していました。しかし、パフォーマンスに影響する GPU 容量の問題が発生しました。

「これらのワークロードには、非常に集約的に GPU を使用するハードウェアが必要です。また、毎月数百万人のユーザーが追加されているため、GPU の需要は増加の一途をたどっています」と Codeway の Lead DevOps Engineer である Ugur Arpaci 氏は言います。「数百台の GPU の管理から数千台の GPU の管理に移行するにあたり、コストとパフォーマンスを最適化し、スケーラビリティのための優れた戦略を見つけたいと考えていました」。

Amazon EC2 には、600 を超えるインスタンスと、最新のプロセッサ、ストレージ、ネットワーク、オペレーティングシステム、購入モデルのオプションなど、幅広く奥行きのあるコンピューティングポートフォリオが用意されており、顧客のワークロードのニーズに最適に対応します。Codeway は自社のコンピューティングを最適化する方法を模索していましたが、理想的なソリューションを見つけました。それは、NVIDIA A10G Tensor コア GPU を搭載した Amazon EC2 G5 インスタンスです。Codeway は他のクラウドプロバイダーと同様の GPU を選択していましたが、それは AWS と同じ可用性とスケーラビリティを提供してはいませんでした。

「AWS チームは、NVIDIA A10G Tensor コア GPU を搭載した Amazon EC2 G5 インスタンスを採用することで、コストパフォーマンスの目標を達成できると提案してくれました」と Arpaci 氏は言います。「これをテストし始めたところ、良い結果が得られました」。

Amazon EC2 G5 インスタンスの価格パフォーマンスを分析した後、Codeway は AWS チームと緊密に連携してオンボーディングプロセスを完了しました。「私たちは常に AWS の専門家と連絡を取り合っていました」と Arpaci 氏は言います。「私たちは彼らの指導に従い、テストを行い、私たち側でコストを計算しました。特定のモデルでは、Amazon EC2 G5 インスタンスにアプリケーションをデプロイすることで最大のメリットが得られることに気付きました。その後、結果を共有し、非常にポジティブなフィードバックループを確立しました」。

オンボーディングプロセスは迅速かつシームレスで、3.5 か月以内に Codeway は AWS 上で Wonder のプロダクションワークロードを実行するようになりました。現在では、A10G GPU を搭載した Amazon EC2 G5 インスタンスを使用して、無料バージョンの Wonder のほぼすべての AI 推論ワークロードをデプロイしています。有料サブスクライバー向けにフルハイビジョン画像を生成するために、Codeway はより強力な A100 GPU を使用しています。これにより、より短時間で高品質のコンテンツが生成されます。A10G と A100 を使用することで、同社は出力時間に関するすべてのサービスレベル契約を遵守できます。

「A10G は A100 ほど強力ではないことはわかっていましたが、ワークロードによってはそれほど GPU パフォーマンスを必要としないものもあります」と Arpaci 氏は言います。「今では、これらのワークロードの多くを、より強力な GPU からオフロードできるようになりました。これらの GPU は、高品質の画像生成などのプレミアムユーザー機能でのみ機能しています」。

コスト効率とパフォーマンスをさらに向上させるため、Codeway は Amazon Elastic Kubernetes Service (Amazon EKS) のクラスターを採用しました。これは、AWS クラウドとオンプレミスのデータセンターで Kubernetes を実行するマネージドサービスであり、Amazon EC2 G5 インスタンスを必要に応じて動的にスピンアップおよびスピンダウンできるようにしています。カスタムの自動スケーリングソリューションが各 Amazon EKS クラスターにデプロイされており、必要に応じて追加のインスタンスをインテリジェントにリクエストします。

Codeway はインスタンスを管理するために、オープンソースのノードプロビジョニングソリューションである Karpenter を利用しています。このサービスは、Codeway のニーズに基づいて適切なインスタンスタイプを効果的に判断して使用します。「Karpenter は実際に必要な数のインスタンスを選択してデプロイし、その上に必要なワークロードをデプロイします」と Arpaci 氏は言います。「プロセス全体が自動化されているため、運用の観点から多くの要素が簡素化されます」。