Discover Financial Services が AWS で生成 AI ソリューションを構築し、意思決定と市場投入までの時間を短縮

シカゴを拠点とするデジタルバンキングおよび決済サービス企業である Discover は、人々がより賢く支出し、債務をより適切に管理し、より多く節約できるようサポートすることを目指しています。Discover は、意思決定、信用およびポートフォリオのリスク管理を含むさまざまな事業分野において、サービスを迅速に提供開始できるようにするという課題に直面していました。Discover の AI/ML Expert Platform Engineer の Rahul Gupta 氏は次のように述べています。「私たちは、お客様への対応をより迅速に行えるように、より迅速に意思決定を行い、より迅速にインサイトを得たいと考えていました」。

この銀行は、生成 AI と ML を使用してデータを分析し、インサイトを得たいと考えていました。また、大規模言語モデルをより迅速にトレーニングし、計算能力を最適に使って市場投入までの時間を短縮する方法も模索していました。Discover は、データサイエンスソリューションを Amazon Elastic Compute Cloud (Amazon EC2) 上で実行することを決定しました。Amazon EC2 は、事実上あらゆるワークロードに安全でサイズ変更可能なコンピューティング容量を提供します。

Amazon EC2 は AWS AI インフラストラクチャの一部であり、AI イノベーションの加速に役立ちます。企業やデベロッパーは、包括的で安全で費用対効果の高いインフラストラクチャを使用して、コンピューティング、ネットワーキング、ストレージにわたる幅広く専門性の高い AI および ML 機能を備えた AI アプリケーションを構築できます。

Discover は Amazon EC2 上に分析ワークベンチを構築しました。また、同社のデータサイエンティストが AI/ML アプリケーションの実行または処理、最大 6 TB のメモリを必要とする大規模なサンプルサイズのモデルのトレーニング、コア GPU を使用したクラウドでのハイパフォーマンスコンピューティング (HPC) の実現に使用できる統合データサイエンスワークベンチを構築しました。「オンデマンドの HPC スケーリングを行えるクラウドスケールのデータウェアハウスを弊社のサイエンティストに提供し、分析の革新を加速させました」と Gupta 氏は言います。

Discover は Amazon EC2 P3 インスタンスを使用して、マルチ GPU セットアップを必要とするタスク用の強力な GPU で ML および HPC アプリケーションを高速化します。また、 Amazon EC2 P4 インスタンスを使用して、クラウド内の ML および HPC アプリケーションのパフォーマンスを向上させています。チームはアーキテクチャの最適化とベストプラクティスの実施にかなりの時間を費やして、分析を高速化してインサイトをよりj迅速に得られるようにしました。「自社のインフラストラクチャ、特にコンピューティングのランタイムを最適化したかったのです」と、Discover の Data and AI Platforms Engineering 部門のディレクターである Will Hinton 氏は言います。

例えば、チームはさまざまなモデルとコードを使用してベンチマークテストを実施し、カスタマーサービスエージェントと顧客間のやり取りを記録して転記した 20,000 行のデータの処理速度を評価しました。16 個の CPU を使用した場合の処理には 6.5～7 時間かかっていたのに対し、1 個の GPU セットアップでは 23 分かかりました。複数の GPU を使用すると、処理時間が 4 分に短縮されましたが、コストも増加しました。これにより、Discover チームはユースケースの要件とコストに基づいてさまざまな GPU 設定を選択できました。

Discover は Amazon Simple Storage Service (Amazon S3) を使用してモデルアーティファクトを保存します。Amazon S3 はどこからでも任意の量のデータを取得できるように構築されたオブジェクトストレージです。これらのアーティファクトやデータをさまざまなエンジニアリングチームや事業部門と共有するために、Discover はサーバーレスで完全に伸縮自在なストレージを提供する Amazon Elastic File System (Amazon EFS) を使用しています。このソリューションは、Discover のオブザーバビリティツール、データウェアハウス、およびソースコードリポジトリに接続されています。

このソリューションは使いやすく、データサイエンティストがセルフサービスで使えるように設計されています。「データサイエンティストは、ソリューション自動化ツールを利用してテンプレートを選択し、要件 (マルチ GPU、シングル GPU、またはメモリ上の制約があるアプリケーション) に基づいてコンピューティングと Amazon EC2 インスタンスを選択できます」と Gupta 氏は言います。「選択してクリックするだけで完了します」。

このソリューションにより、Discover はインサイトを得るまでの時間を短縮できました。機能を埋め込むことで、チームは市場投入までの時間を数時間から数分に短縮しました。利用可能な高い計算能力を並列モデルトレーニングに使用することで、3,000 万レコードの処理時間を数日から数時間に短縮しました。センチメント分析 (例えば、カスタマーサービス担当者と話した後に顧客が満足したか不満を感じたかを分析するため) では、このソリューションにより、57,000 件のレコードからなるデータセットの処理時間が数時間から数分に短縮されました。

Discover チームは、このソリューションを同行の「連絡不可」モデルを管理するユースケースに応用しました。マーケティングなどの目的で同行の担当者に連絡してほしくない顧客のために、チームはそのような顧客を分類するモデルを作成しました。このソリューションでは、これらの顧客をほぼリアルタイムで分類し、関連するデータをカスタマーケア担当者が利用できるようにしました。これにより、エージェントは連絡すべきではない顧客を特定でき、顧客満足度の向上に役立ちました。

「チームはスピードとリスクをうまく調整してくれました」と、Discover の EVP CIO である Jason Strle 氏は言います。「生成 AI がヒューマンインザループのシナリオに役立つと、リスクが軽減され、遂行スピードが上がります。これは、生成 AI ソリューションが顧客と自律的にやり取りしたり、ビジネス上の意思決定を行ったりするシナリオとは対照的です。このような場合、本番稼働までのリスクステップが増えます。

Discover チームは現在、Amazon S3 を使用してイベントベースのアクティベーションを追加し、さらなる自動化を図りたいと考えています。現在、スケジューラーを使用して、顧客の識別や分類などの日常的なタスクの予定を組んでいます。さらに、Discover は、他の生成 AI のユースケースにコンピューティングを再利用するために、キューイングメカニズムを備えたイベントベースのアクティベーションを検討しています。これにより、生成 AI ユースケースの計算コストをさらに削減できます。

「GPU を搭載した Amazon EC2 インスタンスをベースにしたこのソリューションは、リスクの軽減とカスタマーエクスペリエンスの向上に役立っています」と Gupta 氏は言います。