Kisah Pelanggan / Perangkat Lunak dan Internet / Amerika Serikat

Perplexity Membangun Mesin Pencari Canggih Menggunakan Claude 3 Anthropic di Amazon Bedrock
Pelajari bagaimana mesin pencari bertenaga AI Perplexity menggunakan Amazon Bedrock dan Claude 3 dari Anthropic untuk jawaban yang akurat dan komprehensif atas pertanyaan pengguna.
Bongkar muat
manajemen infrastruktur ML
Menyediakan
beberapa pilihan LLM untuk pengguna
Menyederhanakan
akses ke model terbuka dan berhak milik
Menskalakan
untuk mengakomodasi model tambahan
Gambaran Umum
Perplexity ingin menawarkan alternatif hebat bagi mesin pencari daring tradisional, sehingga menciptakan pendamping pencarian interaktif yang menyediakan jawaban yang dipersonalisasi dan bersifat percakapan yang didukung oleh daftar sumber yang dikurasi. Pengguna dapat memilih di antara beberapa model bahasa besar (LLM) berkinerja tinggi untuk informasi yang relevan, akurat, dan dapat dipahami.
Untuk menyederhanakan akses ke model-model kepemilikan, seperti LLM mutakhir yang populer Claude dari Anthropic, dan untuk menyempurnakan LLM sumber terbuka, Perplexity membutuhkan infrastruktur global yang kuat untuk mesin pencarinya, Perplexity AI. Perusahaan tersebut memilih untuk membangun Perplexity AI di Amazon Web Services (AWS), yang menyediakan berbagai layanan yang menawarkan keamanan dan privasi tingkat perusahaan, akses ke model fondasi (FM) terdepan di industri, dan aplikasi yang didukung oleh kecerdasan buatan (AI) generatif. Selain menjalankan modelnya sendiri di AWS, Perplexity menawarkan kepada penggunanya akses ke Claude melalui Amazon Bedrock, layanan yang dikelola sepenuhnya yang menawarkan pilihan FM beperforma tinggi dari perusahaan AI terkemuka seperti AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI, dan Amazon melalui satu API, bersama dengan serangkaian kemampuan luas yang dibutuhkan organisasi untuk membangun aplikasi AI generatif dengan keamanan, privasi, dan AI yang bertanggung jawab.
Peluang | Membangun Mesin Pencari Percakapan Menggunakan AWS
Diluncurkan pada bulan Desember 2022, Perplexity AI dapat mengukur konteks dan mempersonalisasi interaksi dengan mempelajari minat dan preferensi pengguna dari waktu ke waktu. Pengguna juga mendapatkan visibilitas terhadap kredibilitas informasi karena setiap hasil pencarian disertai dengan daftar sumber.
Sejak dimulainya layanan API publik mereka, Perplexity telah menggunakan Amazon SageMaker, layanan terkelola sepenuhnya yang menyatukan serangkaian alat luas untuk machine learning (ML) berkinerja tinggi dan berbiaya rendah untuk hampir semua kasus penggunaan. Setelah mengevaluasi beberapa penyedia cloud, Perplexity memilih AWS untuk pelatihan dan inferensi modelnya guna melengkapi penggunaan Amazon Bedrock. “Dengan menggunakan AWS, kami memiliki akses ke GPU dan mendapatkan manfaat dari keahlian teknis tim AWS yang proaktif,” kata Denis Yarats, kepala petugas teknologi di Perplexity. Perusahaan menguji jenis instans dari Amazon Elastic Compute Cloud (Amazon EC2)—yang memberikan pilihan komputasi yang luas, jaringan hingga 3.200 Gbps, dan layanan penyimpanan yang dibuat khusus untuk mengoptimalkan kinerja harga untuk proyek ML. Secara khusus, Perplexity menggunakan Instans P4de Amazon EC2, yang didukung oleh GPU NVIDIA A100 dan dioptimalkan untuk pelatihan terdistribusi, untuk menyempurnakan FM sumber terbuka.
Melalui Amazon Bedrock, pengguna Perplexity AI dapat memilih model dari keluarga model Claude 3 dari Anthropic, Partner AWS. Model Claude 3 menampilkan pengetahuan ahli, akurasi, dan pemahaman kontekstual selain performa mutakhir. “Menggunakan layanan berkinerja tinggi seperti Amazon Bedrock berarti kami memanfaatkan model Anthropic yang hebat dengan cara yang memungkinkan tim kami menjaga keandalan dan latensi produk kami secara efektif” kata William Zhang, anggota tim teknis di Perplexity.

Menggunakan layanan berkinerja tinggi seperti Amazon Bedrock berarti kami memanfaatkan model Anthropic yang hebat dengan cara yang memungkinkan tim kami menjaga keandalan dan latensi produk kami secara efektif.”
William Zhang
Technical Team Member, Perplexity
Solusi | Meningkatkan Pengalaman Pencarian yang Bertanggung Jawab dan Akurat Menggunakan Amazon Bedrock dan Claude 3 dari Anthropic
Karena Claude menyediakan informasi dalam bahasa yang ringkas dan alami, pengguna dapat memperoleh jawaban yang jelas dengan cepat. Pengguna juga dapat dengan cepat mengunggah dan menganalisis dokumen besar karena model Claude 3 memiliki jendela konteks 200.000 token, setara dengan sekitar 150.000 kata atau lebih dari 500 halaman. “Kemudahan penggunaan sangat penting untuk menjadikan sesuatu sebagai bagian dari produk kami,” kata Zhang. “Penggunaan Claude 3 di Amazon Bedrock telah menjadi bagian dari pengalaman pengembang yang hebat.”
Perplexity bertujuan agar setiap hasil pencarian akurat dan bermanfaat dengan mengurangi halusinasi—keluaran LLM yang tidak akurat. Model Anthropic sebelumnya, Claude 2.1, telah mengurangi tingkat halusinasi mereka hingga setengahnya. Anthropic membuat peningkatan lebih lanjut dalam mengurangi halusinasi dan meningkatkan akurasi dengan keluarga Claude 3, yang bahkan lebih meningkatkan akurasi dibandingkan Claude 2.1. Saat Anthropic berupaya menghilangkan halusinasi model hingga ke titik nol, Perplexity menggunakan anotator manusia untuk lebih memberikan informasi yang akurat, aman, dan dapat dipercaya kepada penggunanya. Selain itu, Perplexity mendapat manfaat dari komitmen Anthropic dan AWS terhadap AI yang bertanggung jawab. “Kami menghargai bahwa Amazon Bedrock memiliki filter konten bawaan untuk memperingatkan kami saat orang mencoba menggunakan solusi kami untuk tujuan yang tidak diinginkan,” kata Aarash Heydari, insinyur infrastruktur cloud di Perplexity. Sebagai perusahaan yang berfokus pada keamanan dan penelitian, Anthropic merupakan pemimpin pasar dalam memerangi “jailbreak”—yaitu upaya untuk menghasilkan respons yang berbahaya atau penyalahgunaan model.
Perplexity juga terus menyempurnakan model lain pada infrastruktur bertenaga AWS. Pada bulan Agustus 2023, Perplexity menjadi penguji beta awal Amazon SageMaker HyperPod, yang menghilangkan pekerjaan berat yang tidak terdiferensiasi yang terlibat dalam membangun dan mengoptimalkan infrastruktur ML untuk melatih FM. Para teknisi Perplexity bekerja sama dengan arsitek solusi AWS untuk menciptakan infrastruktur berskala inovatif yang secara otomatis membagi beban kerja pelatihan di seluruh Instans P4de Amazon EC2 yang dipercepat dan memprosesnya secara paralel. Amazon SageMaker HyperPod telah dikonfigurasikan sebelumnya dengan pustaka pelatihan terdistribusi Amazon SageMaker, yang selanjutnya meningkatkan kinerja. “Kecepatan throughput pelatihan meningkat dua kali lipat,” kata Heydari. “Infrastrukturnya mudah dikelola, dan kegagalan terkait perangkat keras berkurang drastis.”
Untuk mempelajari lebih lanjut tentang bagaimana Perplexity mempercepat pelatihan model dasar hingga 40% dengan Amazon SageMaker HyperPod, baca studi kasus ini.
Setelah 2 bulan, Perplexity merilis API publik sehingga pengguna dapat mengakses model daring miliknya, Sonar Small dan Medium, yang di-host di AWS dan disempurnakan menggunakan Mistral 7B dan Mixtral 8x7B. LLM daring ini mengutamakan pengetahuan dari internet dibandingkan data pelatihan untuk menjawab pertanyaan yang sensitif terhadap waktu. “Infrastruktur kami untuk pelatihan dan inferensi model semuanya didukung oleh Amazon SageMaker HyperPod, yang merupakan faktor penting bagi kami dalam memilih AWS,” kata Heydari. “Amazon SageMaker HyperPod telah berperan penting dalam mendorong inovasi AI kami.”
Hasil | Memberikan Pengguna Akses ke Inovasi Terbaru dalam Penelusuran
Perplexity AI terus menawarkan kepada pengguna pilihan model yang sesuai dengan kebutuhan mereka, secara otomatis mengakses iterasi terbaru Claude dan mendorong ketersediaan fitur baru bagi pengguna.
“Di AWS, kami memiliki pengalaman yang sangat andal dengan semua bagian infrastruktur yang perlu disatukan untuk membuat produk kompleks kami berfungsi,” kata Heydari. “Kami terus mengikuti perkembangan kemampuan AI, menggunakan model yang canggih, dan terbuka terhadap apa pun yang dapat meningkatkan pengalaman pengguna kami.”
Tentang Perplexity
Perplexity AI adalah mesin pencari dan chatbot bertenaga AI yang menggunakan teknologi canggih seperti pemrosesan bahasa alami dan Amazon Bedrock untuk memberikan jawaban yang akurat dan komprehensif atas pertanyaan dari lebih dari 10 juta pengguna bulanan.
Layanan AWS yang Digunakan
Amazon Bedrock
Amazon Bedrock adalah layanan terkelola penuh yang menawarkan pilihan model fondasi (FM) beperforma tinggi dari perusahaan AI terkemuka seperti AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI, dan Amazon melalui satu API, bersama dengan serangkaian kemampuan luas yang Anda butuhkan untuk membangun aplikasi AI generatif dengan keamanan, privasi, dan AI yang bertanggung jawab.
Amazon SageMaker HyperPod
AmazonSageMaker HyperPod menghilangkan pekerjaan berat yang tidak terdiferensiasi dalam membangun dan mengoptimalkan infrastruktur machine learning (ML) untuk melatih model fondasi (FM) sehinggga mengurangi waktu pelatihan hingga 40%.
Amazon EC2
Amazon Elastic Compute Cloud (Amazon EC2) menawarkan platform komputasi terluas dan terdalam, dengan lebih dari 750 instans dan pilihan prosesor, penyimpanan, jaringan, sistem operasi, serta model pembelian terbaru untuk membantu Anda menyesuaikan dengan kebutuhan beban kerja.
Mulai
Organisasi dalam berbagai ukuran di semua industri mentransformasi bisnis mereka dan mewujudkan misi mereka setiap hari menggunakan AWS. Hubungi ahli kami dan mulai perjalanan AWS Anda sendiri sekarang juga.