Meeting.ai tingkatkan kualitas ringkasan meeting dan kepuasan pelanggan dengan menggunakan Amazon Bedrock

Meeting.ai adalah sebuah perusahaan startup yang menyediakan layanan Software as a Service (SaaS) untuk membantu pelanggan merekam, mentranskripsi, dan mendapatkan insight dari pertemuan atau meeting. Diluncurkan pada tahun 2023, meeting.ai dapat menghasilkan transkrip, poin-poin penting, dan rangkuman dari sebuah pertemuan dengan akurasi transkrip mencapai 97% untuk Bahasa Indonesia. Layanan ini telah membantu lebih dari 70 ribu pengguna dalam meningkatkan produktivitas dan efisiensi dari meeting yang mereka lakukan. Meeting.ai dapat terintegrasi dengan berbagai layanan meeting populer seperti Google Meet, Zoom, dan Microsoft Teams, serta dapat digunakan untuk meeting offline. Untuk meningkatkan kualitas ringkasan meeting dan kepuasan pelanggan, meeting.ai memanfaatkan Large Language Model (LLM) Claude 3 Haiku dan Sonnet yang tersedia di Amazon Bedrock.

Artikel ini menjelaskan alasan mengapa meeting.ai memilih menggunakan layanan Amazon Bedrock, serta LLM Claude 3 Haiku dan Sonnet untuk mengembangkan dan meningkatkan kualitas dari produk utama mereka.

Gambaran Umum Solusi

Diagram arsitektur meeting.ai

Dari sudut pandang teknis, arsitektur meeting.ai di atas dapat dibagi menjadi tiga komponen utama:

• Layanan yang menghadap Pengguna (User-Facing Services): komponen ini mencakup API yang digunakan untuk integrasi dan aplikasi web bagi pengguna untuk berinteraksi dengan platform meeting.ai.
• Bot Engine Cluster: komponen yang bertanggung jawab untuk mensimulasikan kehadiran virtual di dalam meeting online dan berguna untuk merekam dan menangkap semua aktivitas meeting.
• AI Workers: servis yang terdiri dari beberapa grup AI Workers untuk memproses data rekaman meeting. Servis ini akan membuat transkrip percakapan dan mengidentifikasi pembicara menggunakan in-house AI model yang memerlukan GPU untuk mempertahankan transkripsi yang cepat dan akurat. Tim meeting.ai memilih Amazon Elastic Compute Cloud (EC2) G4 instances sebagai primary node pool untuk AI workers karena terdapat NVIDIA T4 yang bagus dari segi price-per-performance. AI Workers juga memanfaatkan model LLM Claude 3 Haiku dan Sonnet yang tersedia di Bedrock untuk menghasilkan ringkasan dan poin penting dalam meeting.

Semua layanan meeting.ai di-deploy di atas Amazon Elastic Kubernetes Service (EKS) dengan arsitektur microservices yang menyederhanakan scaling per servis berdasarkan permintaan pengguna. Untuk kebutuhan penyimpanan, meeting.ai menggunakan PostgreSQL yang tersedia pada Amazon Relational Database Service (Amazon RDS) sebagai database utama dan Amazon ElastiCache for Redis untuk caching. Untuk penyimpanan media, meeting.ai menggunakan Amazon Simple Storage Service (S3). Kemudian, sebagai jembatan komunikasi antar servis, meeting.ai menggunakan Amazon Managed Streaming for Apache Kafka (MSK).

Ringkasan Meeting dengan Claude 3 di Amazon Bedrock

Meeting.ai sebelumnya telah mengimplementasikan fitur ringkasan menggunakan layanan LLM lain, namun mereka belum puas dengan kualitasnya. Ketika Claude 3 tersedia di Amazon Bedrock, mereka dengan cepat melakukan uji coba kualitas Haiku dan Sonnet pada meeting.ai.

Proses uji coba di Amazon Bedrock sangat sederhana untuk dilakukan. Tim meeting.ai tidak perlu mengubah prompt yang digunakan (menggunakan prompt yang sama dengan LLM sebelumnya) dan proses implementasi hanya membutuhkan waktu sekitar 3 minggu, melibatkan 2 orang developer yang fokus mengerjakan integrasi model LLM tersebut.

Tim meeting.ai menggunakan metode human evaluation untuk menilai kualitas ringkasan yang dihasilkan. Mereka mengumpulkan sampel dataset untuk pengujian yang terdiri dari rekaman beberapa meeting internal perusahaan dan video podcast yang tersedia di Youtube. Sampel data ini kemudian diproses menggunakan model LLM sebelumnya, Claude 3 Haiku, dan Sonnet.

Dari pengujian yang dilakukan, meeting.ai menemukan bahwa model Claude 3 Haiku menghasilkan ringkasan yang bagus bagi mayoritas pelanggan mereka. Oleh karena itu, Haiku menjadi pilihan utama untuk digunakan oleh meeting.ai.

Selain Haiku, meeting.ai juga memanfaatkan model Claude 3 Sonnet untuk beberapa kasus yang spesifik, misalnya meringkas performa kerja dari meeting 1-on-1 antara karyawan dan pimpinan. Sonnet menunjukkan hasil yang lebih baik untuk kasus-kasus khusus seperti ini.

“Claude 3 di Amazon Bedrock memungkinkan kami untuk membuat produk jauh lebih baik tetapi tetap menjaga biaya rendah.” Fathur, CTO meeting.ai

Keuntungan yang didapat

Dari hasil pengujian, meeting.ai menemukan bahwa Model Claude 3 Haiku dapat menghasilkan ringkasan dan poin penting meeting yang jauh lebih baik dibandingkan dengan LLM sebelumnya.

Bila dibandingkan dengan layanan LLM yang sebelumnya digunakan, Claude 3 di Amazon Bedrock memberikan beberapa keuntungan signifikan bagi meeting.ai. Dari segi biaya, meeting.ai dapat menghemat lebih dari 33% dengan menggunakan Haiku dibandingkan dengan saat menggunakan LLM sebelumnya.

Selain itu, dengan context length yang lebih panjang (200K), Claude 3 dapat menghasilkan ringkasan meeting yang jauh lebih akurat dan detail tanpa kehilangan nuansa pembicaraan. Secara kognitif, model ini juga mampu membedakan bagian-bagian penting dalam sebuah meeting, misalnya dapat membedakan antara obrolan santai dan pembahasan topik krusial terutama dalam Bahasa Indonesia, hal yang membuat model LLM sebelumnya kesulitan.

Manfaat lain dari konteks yang lebih panjang adalah pelanggan akan mendapatkan hasil yang jauh lebih cepat sampai dengan 1200%. Untuk transkrip meeting berdurasi 2 jam, meeting.ai hanya membutuhkan 1 LLM API request dibandingkan dengan model LLM sebelumnya yang membutuhkan sekitar 12 LLM API request untuk melakukan ringkasan.

Terakhir, Claude 3 lebih penurut dan konsisten dalam mengikuti instruksi. Sebagai contoh, Claude 3 Haiku dan Sonnet mampu secara konsisten memberikan respons dalam format JSON ketika diminta. Model ini dapat diandalkan untuk memberikan respons sesuai format tersebut. Sejauh ini, meeting.ai belum menemukan masalah terkait ketidaksesuaian respons dari Claude 3 Haiku maupun Sonnet.

Kesimpulan

Artikel ini menunjukkan keberhasilan meeting.ai dalam mengimplementasikan layanan LLM Claude 3 di Amazon Bedrock untuk meningkatkan kualitas ringkasan meeting. Dengan berpindah dari layanan LLM sebelumnya ke Claude 3, meeting.ai berhasil menghasilkan ringkasan meeting yang lebih akurat, detail, dan bermanfaat bagi pengguna. Proses migrasi dilakukan dengan cepat dan tanpa perlu mengubah prompt yang digunakan.

Menggunakan Claude 3 di Amazon Bedrock memberikan berbagai keuntungan bagi meeting.ai, seperti peningkatan kualitas ringkasan, penghematan biaya lebih dari 33%, pemrosesan yang jauh lebih cepat, dan konsistensi yang lebih baik dalam mengikuti instruksi. Keberhasilan meeting.ai menunjukkan bahwa solusi ini dapat menjadi pilihan yang efektif bagi perusahaan lain yang ingin mengimplementasikan model LLM pada layanan mereka. Anda juga bisa melakukannya, mulailah dengan mencoba Claude 3 di Amazon Bedrock.