Discover Financial Services 在 AWS 上建置生成式 AI 解決方案，以加快決策並縮短上市時間

總部位於芝加哥的 Discover 是一間數位銀行和支付服務公司，旨在協助人們更明智地消費、妥善地管理債務，並節省更多金錢。Discover 在其各個業務領域，包括決策與信貸和投資組合風險管理，都面臨了確保能夠快速推出服務的嚴峻挑戰。「我們希望更快地做出決策並獲得洞察，以便更快地回應客戶。」Discover 的 AI / ML 專家平台工程師 Rahul Gupta 表示。

該銀行希望使用生成式 AI 和 ML 來分析資料並產生洞察。他們還正在尋求一些方式，以便更快地訓練大型語言模型，並以最佳方式使用運算容量來縮短上市時間。Discover 決定在 Amazon 彈性運算雲 (Amazon EC2) 上執行其資料科學解決方案，該解決方案可為幾乎任何工作負載提供安全且可調整大小的運算容量。

Amazon EC2 是 AWS AI 基礎架構的一部分，可協助加速人工智慧創新。企業和開發人員可以使用這種全面、安全且具價格效能的基礎設施，跨越運算、網路和儲存建置具有廣泛且深入的 AI 和 ML 功能集的 AI 應用程式。

Discover 建置了基於 Amazon EC2 的分析工作台，以及統一的資料科學工作台，供其資料科學家用來執行或處理 AI / ML 應用程式、訓練大樣本大小的模型 (需要多達 6 TB 記憶體)，以及使用核心 GPU 在雲端提供高效能運算 (HPC)。「我們為科學家提供了具有隨需 HPC 擴展功能的雲端規模資料倉儲，並加快了分析創新速度。」Gupta 表示。

Discover 使用 Amazon EC2 P3 執行個體，利用強大的 GPU 加速 ML 和 HPC 應用程式，進行需要多重 GPU 設定的工作。它還使用 Amazon EC2 P4 執行個體來為雲端中的 ML 和 HPC 應用程式提供高效能。團隊花了大量時間來最佳化架構和實作最佳實務，以協助加快分析速度，更快地提供洞察。「我們希望確保已針對基礎設施 (尤其是運算) 最佳化執行時期。」Discover 資料和 AI 平台工程總監 Will Hinton 表示。

例如，團隊使用不同的模型和程式碼執行基準測試，評估從客服與客戶之間的互動記錄中，轉錄的 20,000 行資料的處理速度。使用 16 個 CPU，處理過程需要 6.5–7 小時，而單一 GPU 設定只需要 23 分鐘。使用多個 GPU 將處理時間縮短至 4 分鐘，但也增加了成本。這有助於 Discover 團隊根據使用案例需求和成本，選擇不同的 GPU 設定。

Discover 使用 Amazon Simple Storage Service (Amazon S3) 來儲存模型成品，這是專為從任何位置擷取任何數量的資料而建置的物件儲存服務。為了與不同的工程團隊和業務領域共享這些文件和資料，Discover 使用 Amazon Elastic 檔案系統 (Amazon EFS)，該系統提供無伺服器、完全彈性的儲存空間。此解決方案與 Discover 的可觀測性工具、資料倉儲和原始程式碼儲存庫相連。

該解決方案易於使用，並且旨在為資料科學家提供自助式服務。「資料科學家可以前往解決方案自動化工具，選擇範本，並根據其需求選擇運算和 Amazon EC2 執行個體 (多重 GPU、單一 GPU 或記憶體綁定應用程式)。」Gupta 表示，「他們只需選取、按一下，即可大功告成。」

該解決方案協助 Discover 縮短了獲取洞察的時間。使用功能嵌入，團隊將上市時間從數小時縮短至幾分鐘。利用可用的高運算能力進行平行模型訓練，將 3000 萬筆記錄的處理時間從數天縮短至幾小時。用於情緒分析 (例如，分析客戶在與客服交談後感到滿意還是不滿意) 時，該解決方案協助將一個 57,000 筆記錄的資料集的處理時間，從數小時縮短至幾分鐘。

Discover 團隊將該解決方案運用於一個管理銀行的「免聯絡」模型的使用案例。對於不希望銀行代表出於行銷和類似目的與他們聯絡的客戶，團隊建立了一個模型來對此類客戶進行分類。該解決方案近乎即時地對這些客戶進行分類，並將相關資料提供給客服。因此，客服可以識別不應聯絡的客戶，有助於提高客戶滿意度。

「團隊在根據風險調整和匹配速度方面表現不錯，」Discover 資深副總裁兼資訊長 Jason Strle 表示，「當生成式 AI 在人員參與迴圈場景中提供協助時，可以降低風險並提高交付速度。這可以與生成式 AI 解決方案自主與客戶互動，或以其他方式做出商務決策的場景進行對比。在這些情況下，有更多的風險步驟進入到生產之中。」

Discover 團隊現在希望探索使用 Amazon S3 來新增以事件為基礎的啟用，實現進一步的自動化。目前其使用排程器來排定日常工作，例如客戶識別和分類。此外，Discover 希望藉由具有佇列機制的事件型啟用項目，將運算重新用於其他生成式 AI 使用案例。這將有助於進一步降低其生成式 AI 使用案例的運算成本。

「這個解決方案以 GPU 支援的 Amazon EC2 執行個體為基礎，有助於我們降低風險並改善客戶體驗。」Gupta 表示。