Discover Financial Services Membangun Solusi AI Generatif di AWS untuk Pengambilan Keputusan dan Waktu Masuk ke Pasar yang Lebih Cepat

Lembaga keuangan perlu merespons dengan cepat ketika situasi berubah, dan pelanggan mengandalkan lembaga ini untuk analisis yang akurat serta respons yang cepat. Bank digital, Discover Financial Services (Discover), ingin meningkatkan layanan pelanggannya dengan mempercepat analitik, wawasan, dan pengambilan keputusan. Discover Financial Services menggunakan Amazon Web Services (AWS) untuk membuat solusi ilmu data yang dapat digunakan para ilmuwan dan analisnya untuk beban kerja machine learning (ML) serta kecerdasan buatan (AI) generatif. Solusi ini membantu mempercepat waktu masuk ke pasar, memitigasi risiko, dan meningkatkan pengalaman pelanggan.

Discover membangun workbench analitik di Amazon EC2 dan workbench ilmu data terpadu yang dapat digunakan ilmuwan datanya untuk menjalankan atau memproses aplikasi AI/ML, melatih model dengan ukuran sampel besar—yang membutuhkan memori hingga 6 TB—serta menghadirkan komputasi beperforma tinggi (HPC) di cloud menggunakan GPU core. "Kami telah menyediakan gudang data skala cloud kepada ilmuwan dengan penskalaan HPC sesuai permintaan, dan kami telah mempercepat inovasi analitik," tutur Gupta.

Discover menggunakan Instans P3 Amazon EC2 untuk mempercepat aplikasi ML dan HPC dengan GPU yang kuat untuk tugas yang memerlukan banyak GPU. Discover juga menggunakan Instans P4 Amazon EC2 guna mendapatkan performa tinggi untuk aplikasi ML dan HPC di cloud. Tim menghabiskan banyak waktu untuk mengoptimalkan arsitektur dan menerapkan praktik terbaik guna membantu mempercepat analitik serta memberikan wawasan dengan lebih cepat. "Kami ingin memastikan bahwa kami telah mengoptimalkan runtime untuk infrastruktur, terutama komputasi," tutur Will Hinton, director of data and AI platforms engineering di Discover.

Misalnya, tim menjalankan tes tolok ukur menggunakan berbagai model dan kode untuk menilai kecepatan pemrosesan 20.000 baris data, yang ditranskripsikan dari interaksi yang dicatat antara agen layanan pelanggan dan pelanggan. Menggunakan 16 CPU, pemrosesan memerlukan waktu 6,5–7 jam, sementara GPU tunggal memerlukan waktu 23 menit. Menggunakan banyak GPU menurunkan waktu pemrosesan menjadi 4 menit, tetapi juga meningkatkan biaya. Hal ini membantu tim Discover memilih menggunakan GPU yang berbeda-beda berdasarkan persyaratan kasus penggunaan dan biaya.

Discover menggunakan Amazon Simple Storage Service (Amazon S3)—penyimpanan objek yang dibuat untuk mengambil data dalam jumlah berapa saja dari mana saja—untuk menyimpan artefak model. Untuk berbagi artefak dan data ini dengan tim rekayasawan serta lini bisnis lain, Discover menggunakan Amazon Elastic File System (Amazon EFS), yang menyediakan penyimpanan nirserver dan sepenuhnya elastis. Solusi ini terhubung ke alat observabilitas Discover, gudang data, dan repositori kode sumber.

Solusinya mudah digunakan dan didesain agar dapat dimanfaatkan secara mandiri oleh para ilmuwan data. "Ilmuwan data dapat membuka alat otomatisasi solusi, memilih templat, dan memilih komputasi serta instans Amazon EC2 berdasarkan persyaratannya—multi-GPU, GPU tunggal, atau aplikasi terikat memori," tutur Gupta. "Ilmuwan data tinggal memilih, mengklik, dan selesai."

Solusi tersebut membantu Discover mengurangi waktu untuk mendapatkan wawasan. Menggunakan penyematan fitur, tim mengurangi waktu masuk ke pasar dari hitungan jam menjadi menit. Daya komputasi tinggi yang tersedia digunakan untuk pelatihan model paralel, yang mengurangi waktu pemrosesan 30 juta catatan dari hitungan hari menjadi jam. Untuk analisis sentimen—misalnya, untuk menganalisis apakah pelanggan puas atau tidak puas setelah berbicara dengan agen layanan pelanggan—solusi ini membantu mengurangi waktu pemrosesan set data yang terdiri dari 57.000 catatan dari hitungan jam menjadi menit.

Tim Discover menerapkan solusi untuk kasus penggunaan guna mengelola model "tanpa kontak" bank. Untuk pelanggan yang tidak ingin perwakilan bank menghubungi mereka untuk tujuan pemasaran dan serupa, tim membuat model untuk mengklasifikasikan pelanggan tersebut. Solusi ini mengklasifikasikan pelanggan tersebut secara hampir waktu nyata dan membuat data yang relevan tersedia untuk agen layanan pelanggan. Dengan demikian, agen dapat mengidentifikasi pelanggan yang tidak boleh dihubungi, yang membantu meningkatkan kepuasan pelanggan.

"Tim melakukan pekerjaan yang hebat dalam mengadaptasi dan mencocokkan kecepatan dengan risiko," tutur Jason Strle, EVP CIO di Discover. "Ketika AI generatif membantu dalam skenario keterlibatan manusia, hal itu mengurangi risiko dan memungkinkan kecepatan yang lebih tinggi dalam pengiriman. Hal ini dapat dibandingkan dengan skenario ketika solusi AI generatif berinteraksi secara mandiri dengan pelanggan atau membuat keputusan bisnis. Dalam kasus ini, ada lebih banyak langkah risiko untuk mencapai produksi."

Tim Discover sekarang ingin menjelajahi penggunaan Amazon S3 guna menambahkan aktivasi berbasis peristiwa untuk otomatisasi lebih lanjut. Tim Discover saat ini menggunakan penjadwal untuk menjadwalkan tugas harian, seperti mengidentifikasi dan mengklasifikasikan pelanggan. Selain itu, Discover mencari aktivasi berbasis peristiwa dengan mekanisme antrean untuk menggunakan kembali komputasi untuk kasus penggunaan AI generatif lainnya. Hal ini akan membantu lebih mengurangi biaya komputasi untuk kasus penggunaan AI generatifnya.

"Solusi ini, yang menggunakan instans Amazon EC2 bertenaga GPU, membantu kami mengurangi risiko dan meningkatkan pengalaman pelanggan," tutur Gupta.