Perplexity Mempercepat Pelatihan Model Fondasi Sebesar 40% dengan Amazon SageMaker HyperPod

Tidak seperti mesin pencari tradisional yang sering meningkatkan iklan dan kata kunci tertentu daripada hasil yang relevan, solusi Perplexity dioptimalkan untuk menghubungkan pengguna dengan pengetahuan yang mereka cari. Sekitar 10 juta pengguna aktif bulanan mengandalkan Perplexity untuk mempelajari konsep baru, memecahkan tantangan, dan menemukan jawaban.

“Menggunakan model bahasa besar, kami dapat menggabungkan pemahaman bahasa manusia dan kemampuan penalaran menjadi satu model. Langkah ini, dikombinasikan dengan fakta di internet, telah membantu kami membangun mesin jawaban kami,” kata Aravind Srinivas, CEO dan salah satu pendiri Perplexity. “Pada dasarnya, kami menggabungkan indeks pencarian tradisional (mesin fakta) dan mesin penalaran (model bahasa besar) menjadi satu untuk membangun mesin jawaban percakapan pertama di dunia.”

Sejak diluncurkan pada tahun 2022, Perplexity telah menggunakan layanan AWS inti, seperti Amazon Elastic Compute Cloud (Amazon EC2) yang menyediakan kapasitas komputasi yang aman dan dapat diubah ukurannya untuk hampir semua beban kerja, guna mendukung komponen backend, front end, dan pencarian pada produknya. Seiring dengan makin matangnya Perplexity dan bertambahnya jumlah model ML-nya, perusahaan tersebut membutuhkan kekuatan komputasi yang sangat besar untuk melayani pengguna.

Perplexity berkonsultasi dengan pakar AWS dan mendapatkan informasi bahwa Amazon SageMaker HyperPod, infrastruktur yang dibangun khusus untuk pelatihan terdistribusi dalam skala besar, dapat memenuhi kebutuhannya terkait pelatihan model skala besar. Amazon SageMaker HyperPod telah dikonfigurasi sebelumnya dengan pustaka pelatihan terdistribusi Amazon SageMaker yang dioptimalkan untuk menjalankan data kustom paralel yang sangat mudah diskalakan dan hemat biaya serta memodelkan pekerjaan pelatihan deep learning paralel dengan kecepatan interkoneksi yang melebihi 1.600 Gbps. Amazon SageMaker HyperPod juga mencegah gangguan pada pelatihan model fondasi dengan menyimpan pos pemeriksaan secara berkala. Jika kegagalan perangkat keras terjadi selama pelatihan, layanan AWS akan secara otomatis mendeteksi kegagalan, memperbaiki atau mengganti instans yang rusak, dan melanjutkan pelatihan dari pos pemeriksaan terakhir yang disimpan. Langkah ini mendukung pelatihan model tanpa gangguan selama berminggu-minggu atau berbulan-bulan dalam lingkungan terdistribusi.

AWS menawarkan uji coba satu bulan kepada Perplexity untuk menunjukkan kemampuan pelatihan terdistribusi, dan selama uji coba tersebut Perplexity menemukan berbagai keunggulan penggunaan AWS. Misalnya, Perplexity memperoleh fleksibilitas yang lebih besar dalam hal alokasi sumber daya menggunakan berbagai jenis instans Amazon EC2 dan GPU yang disesuaikan untuk tugas tertentu.

Untuk melatih model ML, Perplexity membutuhkan memori dalam jumlah besar sehingga dapat menjalankan data dalam jumlah yang sangat besar dan menyimpan gradien yang berbeda. Perplexity memilih Instans P4de Amazon EC2, yang memberikan performa tertinggi untuk pelatihan ML dan aplikasi komputasi performa tinggi, untuk menjalankan tugas pelatihan agar dapat memenuhi persyaratan memori dan bandwidth. Menggunakan Amazon SageMaker HyperPod, Perplexity mentransfer data di antara GPU yang berbeda dengan jauh lebih cepat sehingga mengurangi waktu pelatihan model ML hingga 40 persen.

“Data bawaan dan pustaka paralel model dari Amazon SageMaker HyperPod membantu kami mengoptimalkan waktu pelatihan pada GPU serta menggandakan throughput pelatihan,” ungkap Srinivas. “Hasilnya, eksperimen pelatihan kami sekarang dapat berjalan dua kali lebih cepat, yang berarti developer kami dapat melakukan iterasi lebih cepat sehingga pengembangan pengalaman AI generatif baru untuk pelanggan kami juga makin cepat. Karena Amazon SageMaker HyperPod memantau kondisi klaster dan memperbaiki kegagalan GPU secara otomatis, developer kami dapat berfokus pada pembuatan model, alih-alih menghabiskan waktu untuk mengelola serta mengoptimalkan infrastruktur dasar.”

Perplexity bertujuan memberikan tanggapan cepat dan akurat terhadap kueri pengguna yang membutuhkan kemampuan inferensi mendekati waktu nyata. Menggunakan Instans P5 Amazon EC2 yang memberikan instans berbasis GPU dengan performa tertinggi untuk aplikasi deep learning, Perplexity dapat menghasilkan jawaban dengan throughput yang jauh lebih tinggi dibandingkan dengan sebelumnya. Bahkan, perusahaan dapat menangani periode lonjakan dengan 10.000 pengguna bersamaan dan lebih dari 100.000 kueri per jam tanpa mengorbankan latensi atau memengaruhi pengalaman pengguna. Perplexity juga melakukan hosting model Llama 2 yang tersedia untuk umum di Instans P5 Amazon EC2 dan menggunakan Amazon SageMaker HyperPod untuk menyempurnakan model sumber terbuka menggunakan datanya sendiri. Model penyempurnaan membantu meningkatkan akurasi dan relevansi respons sehingga dapat menyesuaikan model dengan kebutuhan mesin jawaban Perplexity.