Perplexity Membangun Mesin Pencari Canggih Menggunakan Claude 3 Anthropic di Amazon Bedrock

Diluncurkan pada bulan Desember 2022, Perplexity AI dapat mengukur konteks dan mempersonalisasi interaksi dengan mempelajari minat dan preferensi pengguna dari waktu ke waktu. Pengguna juga mendapatkan visibilitas terhadap kredibilitas informasi karena setiap hasil pencarian disertai dengan daftar sumber.

Sejak dimulainya layanan API publik mereka, Perplexity telah menggunakan Amazon SageMaker, layanan yang dikelola sepenuhnya yang menyatukan serangkaian alat untuk pembelajaran mesin (ML) berkinerja tinggi dan berbiaya rendah untuk hampir semua kasus penggunaan. Setelah mengevaluasi beberapa penyedia cloud, Perplexity memilih AWS untuk pelatihan dan inferensi modelnya guna melengkapi penggunaan Amazon Bedrock. “Dengan menggunakan AWS, kami memiliki akses ke GPU dan mendapatkan manfaat dari keahlian teknis tim AWS yang proaktif,” kata Denis Yarats, kepala petugas teknologi di Perplexity. Perusahaan menguji jenis instance dari Amazon Elastic Compute Cloud (Amazon EC2) —yang memberikan berbagai pilihan komputasi, jaringan hingga 3.200 Gbps, dan layanan penyimpanan yang dibuat khusus untuk mengoptimalkan kinerja harga untuk proyek ML. Secara khusus, Perplexity menggunakan Instans Amazon EC2 P4de, yang didukung oleh GPU NVIDIA A100 dan dioptimalkan untuk pelatihan terdistribusi, untuk menyempurnakan FM sumber terbuka.

Melalui Amazon Bedrock, pengguna Perplexity AI dapat memilih model dari keluarga model Claude 3 dari Anthropic, Mitra AWS. Model Claude 3 menampilkan pengetahuan ahli, akurasi, dan pemahaman kontekstual selain performa mutakhir. “Menggunakan layanan berkinerja tinggi seperti Amazon Bedrock berarti kami memanfaatkan model Anthropic yang hebat dengan cara yang memungkinkan tim kami menjaga keandalan dan latensi produk kami secara efektif” kata William Zhang, anggota tim teknis di Perplexity.

Karena Claude menyediakan informasi dalam bahasa yang ringkas dan alami, pengguna dapat memperoleh jawaban yang jelas dengan cepat. Pengguna juga dapat dengan cepat mengunggah dan menganalisis dokumen besar karena model Claude 3 memiliki jendela konteks 200.000 token, setara dengan sekitar 150.000 kata atau lebih dari 500 halaman. “Kemudahan penggunaan sangat penting untuk menjadikan sesuatu sebagai bagian dari produk kami,” kata Zhang. “Penggunaan Claude 3 di Amazon Bedrock telah menjadi bagian dari pengalaman pengembang yang hebat.”

Perplexity bertujuan agar setiap hasil pencarian akurat dan bermanfaat dengan mengurangi halusinasi—keluaran LLM yang tidak akurat. Model Anthropic sebelumnya, Claude 2.1, telah mengurangi tingkat halusinasi mereka hingga setengahnya. Anthropic membuat peningkatan lebih lanjut dalam mengurangi halusinasi dan meningkatkan akurasi dengan keluarga Claude 3, yang bahkan lebih meningkatkan akurasi dibandingkan Claude 2.1. Saat Anthropic berupaya menghilangkan halusinasi model hingga ke titik nol, Perplexity menggunakan anotator manusia untuk lebih memberikan informasi yang akurat, aman, dan dapat dipercaya kepada penggunanya. Selain itu, Perplexity mendapat manfaat dari komitmen Anthropic dan AWS terhadap AI yang bertanggung jawab. “Kami menghargai bahwa Amazon Bedrock memiliki filter konten bawaan untuk memperingatkan kami saat orang mencoba menggunakan solusi kami untuk tujuan yang tidak diinginkan,” kata Aarash Heydari, insinyur infrastruktur cloud di Perplexity. Sebagai perusahaan yang berfokus pada keamanan dan penelitian, Anthropic merupakan pemimpin pasar dalam memerangi “jailbreak”—yaitu upaya untuk menghasilkan respons yang berbahaya atau penyalahgunaan model.

Perplexity juga terus menyempurnakan model lain pada infrastruktur bertenaga AWS. Pada Agustus 2023, Perplexity menjadi penguji beta awal Amazon SageMaker HyperPod, yang menghilangkan beban berat yang tidak terdiferensiasi yang terlibat dalam membangun dan mengoptimalkan infrastruktur ML untuk melatih FM. Para teknisi Perplexity bekerja sama dengan arsitek solusi AWS untuk menciptakan infrastruktur berskala inovatif yang secara otomatis membagi beban kerja pelatihan di seluruh Instans P4de Amazon EC2 yang dipercepat dan memprosesnya secara paralel. Amazon SageMaker HyperPod telah dikonfigurasikan sebelumnya dengan pustaka pelatihan terdistribusi Amazon SageMaker, yang selanjutnya meningkatkan kinerja. “Kecepatan throughput pelatihan meningkat dua kali lipat,” kata Heydari. “Infrastrukturnya mudah dikelola, dan kegagalan terkait perangkat keras berkurang drastis.”

Untuk mempelajari lebih lanjut tentang bagaimana Perplexity mempercepat pelatihan model dasar hingga 40% dengan Amazon SageMaker HyperPod, baca studi kasus ini.

Setelah 2 bulan, Perplexity merilis API publik sehingga pengguna dapat mengakses model online miliknya, Sonar Small and Medium, yang dihosting di AWS dan disesuaikan menggunakan Mistral 7B dan Mixtral 8x7B. LLM daring ini mengutamakan pengetahuan dari internet dibandingkan data pelatihan untuk menjawab pertanyaan yang sensitif terhadap waktu. “Infrastruktur kami untuk pelatihan dan inferensi model semuanya didukung oleh Amazon SageMaker HyperPod, yang merupakan faktor penting bagi kami dalam memilih AWS,” kata Heydari. “Amazon SageMaker HyperPod telah berperan penting dalam mendorong inovasi AI kami.”

Perplexity AI terus menawarkan kepada pengguna pilihan model yang sesuai dengan kebutuhan mereka, secara otomatis mengakses iterasi terbaru Claude dan mendorong ketersediaan fitur baru bagi pengguna.

“Di AWS, kami memiliki pengalaman yang sangat andal dengan semua bagian infrastruktur yang perlu disatukan untuk membuat produk kompleks kami berfungsi,” kata Heydari. “Kami terus mengikuti perkembangan kemampuan AI, menggunakan model yang canggih, dan terbuka terhadap apa pun yang dapat meningkatkan pengalaman pengguna kami.”