Discover Financial Services Membangun Solusi AI Generatif di AWS untuk Pengambilan Keputusan dan Waktu Masuk ke Pasar yang Lebih Cepat

Discover yang berbasis di Chicago, sebuah perusahaan layanan perbankan dan pembayaran digital, memiliki tujuan untuk membantu orang membelanjakan uang secara lebih cerdas, mengelola utang dengan lebih baik, dan menabung lebih banyak. Dalam berbagai lini bisnisnya, termasuk keputusan serta manajemen risiko kredit dan portofolio, Discover menghadapi tantangan untuk memastikan bahwa mereka dapat meluncurkan layanannya dengan cukup cepat. "Kami ingin membuat keputusan dan mendapatkan wawasan dengan lebih cepat, sehingga kami dapat merespons pelanggan dengan lebih cepat," tutur Rahul Gupta, AI/ML expert platform engineer di Discover.

Bank ingin menggunakan AI dan ML generatif untuk menganalisis data serta menghasilkan wawasan. Bank juga mencari cara untuk melatih model bahasa besar lebih cepat dan menggunakan kapasitas komputasi secara optimal untuk mengurangi waktu masuk ke pasar. Discover memutuskan untuk menjalankan solusi ilmu data di Amazon Elastic Compute Cloud (Amazon EC2), yang menyediakan kapasitas komputasi yang aman dan dapat diubah ukurannya untuk hampir semua beban kerja.

Amazon EC2 adalah bagian dari infrastruktur AI AWS , yang membantu mempercepat inovasi AI. Korporasi dan developer dapat menggunakan infrastruktur yang komprehensif, aman, dan memiliki performa harga yang baik untuk membangun aplikasi AI, dengan serangkaian kemampuan AI serta ML yang luas dan mendalam di seluruh komputasi, jaringan, serta penyimpanan.

Discover membangun workbench analitik di Amazon EC2 dan workbench ilmu data terpadu yang dapat digunakan ilmuwan datanya untuk menjalankan atau memproses aplikasi AI/ML, melatih model dengan ukuran sampel besar—yang membutuhkan memori hingga 6 TB—serta menghadirkan komputasi beperforma tinggi (HPC) di cloud menggunakan GPU core. "Kami telah menyediakan gudang data skala cloud kepada ilmuwan dengan penskalaan HPC sesuai permintaan, dan kami telah mempercepat inovasi analitik," tutur Gupta.

Discover menggunakan Instans Amazon EC2 P3 untuk mempercepat aplikasi ML dan HPC dengan GPU yang kuat untuk tugas yang memerlukan pengaturan multi-GPU. Ini juga menggunakan Instans Amazon EC2 P4 untuk mendapatkan kinerja tinggi untuk aplikasi ML dan HPC di cloud. Tim menghabiskan banyak waktu untuk mengoptimalkan arsitektur dan menerapkan praktik terbaik guna membantu mempercepat analitik serta memberikan wawasan dengan lebih cepat. "Kami ingin memastikan bahwa kami telah mengoptimalkan runtime untuk infrastruktur, terutama komputasi," tutur Will Hinton, director of data and AI platforms engineering di Discover.

Misalnya, tim menjalankan tes tolok ukur menggunakan berbagai model dan kode untuk menilai kecepatan pemrosesan 20.000 baris data, yang ditranskripsikan dari interaksi yang dicatat antara agen layanan pelanggan dan pelanggan. Menggunakan 16 CPU, pemrosesan memerlukan waktu 6,5–7 jam, sementara GPU tunggal memerlukan waktu 23 menit. Menggunakan banyak GPU menurunkan waktu pemrosesan menjadi 4 menit, tetapi juga meningkatkan biaya. Hal ini membantu tim Discover memilih menggunakan GPU yang berbeda-beda berdasarkan persyaratan kasus penggunaan dan biaya.

Discover menggunakan Amazon Simple Storage Service (Amazon S3)—penyimpanan objek yang dibuat untuk mengambil data dalam jumlah berapa saja dari mana saja—untuk menyimpan artefak model. Untuk berbagi artefak dan data ini dengan tim teknik dan lini bisnis yang berbeda, Discover menggunakan Amazon Elastic File System (Amazon EFS), yang menyediakan penyimpanan tanpa server dan sepenuhnya elastis. Solusi ini terhubung ke alat observabilitas Discover, gudang data, dan repositori kode sumber.

Solusinya mudah digunakan dan didesain agar dapat dimanfaatkan secara mandiri oleh para ilmuwan data. "Ilmuwan data dapat membuka alat otomatisasi solusi, memilih templat, dan memilih komputasi serta instans Amazon EC2 berdasarkan persyaratannya—multi-GPU, GPU tunggal, atau aplikasi terikat memori," tutur Gupta. "Ilmuwan data tinggal memilih, mengklik, dan selesai."

Solusi tersebut membantu Discover mengurangi waktu untuk mendapatkan wawasan. Menggunakan penyematan fitur, tim mengurangi waktu masuk ke pasar dari hitungan jam menjadi menit. Daya komputasi tinggi yang tersedia digunakan untuk pelatihan model paralel, yang mengurangi waktu pemrosesan 30 juta catatan dari hitungan hari menjadi jam. Untuk analisis sentimen—misalnya, untuk menganalisis apakah pelanggan puas atau tidak puas setelah berbicara dengan agen layanan pelanggan—solusi ini membantu mengurangi waktu pemrosesan set data yang terdiri dari 57.000 catatan dari hitungan jam menjadi menit.

Tim Discover menerapkan solusi untuk kasus penggunaan guna mengelola model "tanpa kontak" bank. Untuk pelanggan yang tidak ingin perwakilan bank menghubungi mereka untuk tujuan pemasaran dan serupa, tim membuat model untuk mengklasifikasikan pelanggan tersebut. Solusi ini mengklasifikasikan pelanggan tersebut secara hampir waktu nyata dan membuat data yang relevan tersedia untuk agen layanan pelanggan. Dengan demikian, agen dapat mengidentifikasi pelanggan yang tidak boleh dihubungi, yang membantu meningkatkan kepuasan pelanggan.

"Tim melakukan pekerjaan yang hebat dalam mengadaptasi dan mencocokkan kecepatan dengan risiko," tutur Jason Strle, EVP CIO di Discover. "Ketika AI generatif membantu dalam skenario keterlibatan manusia, hal itu mengurangi risiko dan memungkinkan kecepatan yang lebih tinggi dalam pengiriman. Hal ini dapat dibandingkan dengan skenario ketika solusi AI generatif berinteraksi secara mandiri dengan pelanggan atau membuat keputusan bisnis. Dalam kasus ini, ada lebih banyak langkah risiko untuk mencapai produksi."

Tim Discover sekarang ingin menjelajahi penggunaan Amazon S3 guna menambahkan aktivasi berbasis peristiwa untuk otomatisasi lebih lanjut. Tim Discover saat ini menggunakan penjadwal untuk menjadwalkan tugas harian, seperti mengidentifikasi dan mengklasifikasikan pelanggan. Selain itu, Discover mencari aktivasi berbasis peristiwa dengan mekanisme antrean untuk menggunakan kembali komputasi untuk kasus penggunaan AI generatif lainnya. Hal ini akan membantu lebih mengurangi biaya komputasi untuk kasus penggunaan AI generatifnya.

"Solusi ini, yang menggunakan instans Amazon EC2 bertenaga GPU, membantu kami mengurangi risiko dan meningkatkan pengalaman pelanggan," tutur Gupta.