Mengoptimalkan Biaya dan Performa untuk AI Generatif Menggunakan Amazon SageMaker dengan Forethought Technologies

Rangkaian solusi layanan pelanggan Forethought didukung oleh AI generatif, sejenis AI yang dapat membuat konten dan ide baru, termasuk percakapan, cerita, gambar, video, dan musik. Inti dari produk Forethought adalah teknologi SupportGPT, yang menggunakan model bahasa besar dan sistem pencarian informasi untuk mendukung lebih dari 30 juta interaksi pelanggan tiap tahunnya. Melalui otomatisasi, perusahaan ini mengurangi beban tim dukungan pelanggan dengan membantu pengguna menggunakan AI percakapan. Banyak pelanggan Forethought menggunakan produknya selama periode sibuk, seperti hari libur atau musim pajak, untuk menangani lebih banyak masalah pelanggan dengan lebih sedikit agen dukungan pelanggan. Forethought menawarkan model ML yang sangat dipersonalisasi untuk pelanggannya, kerap melatih beberapa model per pelanggan untuk memenuhi kasus penggunaan individual.

Forethought didirikan pada tahun 2017 di Amerika Serikat dan awalnya menggunakan beberapa penyedia cloud untuk meng-host produknya, menggunakan Amazon SageMaker untuk melatih model ML. Dalam 2 tahun pertama, perusahaan ini membangun solusi untuk inferensi ML-nya menggunakan Amazon Elastic Kubernetes Service (Amazon EKS), layanan Kubernetes terkelola untuk menjalankan Kubernetes di AWS Cloud dan on premise. Seiring dengan pertumbuhan perusahaan dan perolehan pelanggan baru, perusahaan ingin meningkatkan ketersediaan solusi dan mengurangi biaya.

Untuk memenuhi kebutuhan skalabilitas, ketersediaan, dan optimisasi biaya, Forethought memilih untuk memigrasikan inferensi ML-nya ke Amazon SageMaker, dan perusahaan mulai menggunakan fitur tambahan Amazon SageMaker untuk meningkatkan produknya. Dalam proses ini, Forethought mendesain alurnya untuk mendapatkan manfaat dari peningkatan latensi dan ketersediaan yang dapat dicapai dengan menggunakan Amazon SageMaker. “Dari tim Amazon SageMaker dan secara keseluruhan, untuk segala hal yang kami butuhkan, mereka menghubungkan kami dengan orang yang tepat sehingga kami bisa sukses menggunakan AWS,” kata Jad Chamoun, director of core engineering di Forethought.

Forethought memigrasikan inferensi ML-nya dari Amazon EKS ke titik akhir multimodel Deployment Model Amazon SageMaker, solusi yang dapat diskalakan dan hemat biaya untuk melakukan deployment model dalam jumlah besar. Salah satu contoh penerapan fitur ini dalam solusi Forethought adalah melengkapi kata berikutnya dalam kalimat secara otomatis saat pengguna mengetik. Perusahaan menggunakan titik akhir multimodel Amazon SageMaker untuk menjalankan beberapa model ML pada satu titik akhir inferensi. Hal ini meningkatkan skalabilitas dan efisiensi sumber daya perangkat keras seperti GPU. Perusahaan juga mengurangi biaya dengan menggunakan titik akhir multimodel Amazon SageMaker. “Dengan menggunakan Amazon SageMaker, kami dapat mendukung pelanggan dengan biaya per pelanggan yang lebih rendah,” kata Chamoun. “Dengan bermigrasi ke titik akhir multimodel Amazon SageMaker, kami mengurangi biaya hingga 66 persen sekaligus memberikan latensi yang lebih baik dan waktu respons yang lebih baik bagi pelanggan.”

Forethought juga menggunakan inferensi nirserver Amazon SageMaker, opsi inferensi yang dibuat khusus, untuk melakukan deployment dan menskalakan model ML tanpa mengonfigurasi atau mengelola infrastruktur apa pun yang mendasarinya. Penggunaan Inferensi Nirserver Amazon SageMaker oleh Forethought terutama adalah pada model kecil dan pengklasifikasi yang disesuaikan dengan tiap kasus penggunaan pelanggan, seperti menentukan prioritas tiket dukungan secara otomatis. Dengan memigrasikan beberapa pengklasifikasinya ke Inferensi Nirserver Amazon SageMaker, Forethought menghemat sekitar 80 persen biaya cloud terkait.

Tim infrastruktur cloud di Forethought adalah tim yang terdiri dari tiga orang. Menjalankan dan mengelola semua model ML dan klaster Kubernetes terlalu membebani tim kecil. Dengan menggunakan Amazon SageMaker, perusahaan dapat meningkatkan skala sebanyak yang diinginkannya dengan orang-orang yang dimilikinya. “Kami menjalankan beberapa instans dalam titik akhir multimodel Amazon SageMaker,” kata Chamoun. “Kami dapat berbagi sumber daya secara lebih efisien sekaligus menyediakan ketersediaan yang lebih baik dibandingkan sebelumnya.”

Dengan menggunakan Amazon SageMaker, tim Forethought tidak perlu lagi khawatir tentang pengecualian atau ketersediaan memori, masalah yang jika tidak ditangani oleh ketiga teknisi tersebut akan menghabiskan banyak waktu. Karena perusahaan menyiapkan alur otomatis untuk model bahasa menggunakan Amazon SageMaker, tim di Forethought dan pelanggannya dapat berinteraksi dengan data yang ingin mereka latih dan mengirimnya. “Tidak perlu terlibat ketika segala sesuatunya dilatih, dilakukan deployment, dan ditingkatkan skalanya adalah kunci bagi kami untuk mengerjakan hal-hal lain yang lebih berdampak bagi perusahaan,” kata Chamoun. Forethought kini menjalankan lebih dari 80 persen inferensi GPU di Amazon SageMaker antara titik akhir multimodel Amazon SageMaker dan Inferensi Nirserver Amazon SageMaker.