AI21 Labs Mempercepat Adopsi Model AI Generatif Menggunakan Amazon SageMaker

Didirikan pada tahun 2017, AI21 menawarkan kepada bisnis akses ke model bahasa miliknya dengan AI21 Studio, yang digunakan oleh lebih dari 30.000 pengembang untuk membangun aplikasi AI generatif mereka sendiri. Perusahaan ini juga menawarkan asisten penulisan dan pembacaan yang didukung AI bernama Wordtune, yang membantu puluhan juta pengguna di seluruh dunia dalam keterlibatan dengan bahasa tertulis.

Pada bulan Agustus 2021, AI21 merilis model bahasa Jurassic-1 miliknya dalam dua ukuran: model Besar yang cepat dan hemat biaya dengan 7,5 miliar parameter, dan model Jumbo yang menawarkan output teks berkualitas lebih tinggi pada biaya lebih tinggi dengan 178 miliar parameter. Meskipun model yang lebih besar menawarkan kualitas tertinggi, biaya pengoperasiannya dalam skala besar mungkin mahal dan kurang gesit untuk dioperasikan. Untuk membantu pelanggannya mengoptimalkan kompromi antara biaya dan kualitas saat beroperasi dalam skala besar, AI21 melakukan pralatih serta merilis model ketiganya yang bernama Grande dengan 17 miliar parameter menggunakan Amazon SageMaker pada bulan Desember 2022.

AI21 dengan cepat menyelesaikan proyek itu dalam waktu kurang dari 2 bulan sejak memulainya, membutuhkan waktu kurang dari 20 hari untuk melakukan pralatih model tersebut. Karena LLM adalah jaringan neural besar dengan miliaran parameter, pelatihan merupakan proyek yang menantang dan memakan waktu, yang membutuhkan sumber daya komputasi yang besar. Dengan menggunakan Amazon SageMaker, AI21 mengalami proses pelatihan model yang lebih sederhana serta lebih efisien, dan perusahaan dapat menskalakan tugas pelatihan terdistribusi ke sebanyak mungkin GPU yang dibutuhkan. “Arsitek solusi di AWS responsif dan interaktif, sehingga kami dapat memecahkan masalah serta menyelesaikan proyek tepat waktu,” kata Dan Padnos, vice president of Platform di AI21.

Perusahaan sudah memiliki pengalaman dalam menggunakan AWS dan memilih Amazon SageMaker karena hemat biaya, mudah digunakan, dan terkelola sepenuhnya. AI21 juga dapat terus menggunakan tumpukan perangkat lunak pelatihan miliknya yang sudah ada, memulai serta menjalankannya dengan cepat, yang mana hal itu penting ketika perusahaan sedang membangun bisnisnya. Untuk melakukan pelatihan awal model Grande dalam waktu kurang dari 20 hari, AI21 perlu menggunakan 256 GPU A100, yang tersebar di 32 instans. Pelatihan dalam skala besar membutuhkan alat yang dapat mengatur alokasi simpul, menjadikan pencatatan log tersedia di lokasi pusat, dan mengurangi pengawasan manual. “Ketika Anda menjalankan tugas pelatihan terdistribusi dalam skala ini, segala macam tantangan teknis yang mungkin tampak sepele atau biasa-biasa saja dapat menjadi hal yang memusingkan,” kata Padnos. “Amazon SageMaker memiliki fitur yang dapat Anda gunakan untuk mengelola kompleksitas tersebut serta mengurangi jumlah upaya yang diperlukan tim Anda dalam detail kompleksitas tersebut.” Misalnya, Amazon SageMaker memiliki fitur seperti pemeriksaan kondisi dan pencatatan log terpusat yang dapat digunakan perusahaan untuk meningkatkan efisiensi.

Dengan menggunakan Amazon SageMaker, AI21 merilis model baru dengan cepat. Perusahaan memperkirakan penghematan waktu beberapa minggu dibandingkan dengan metode pelatihan sebelumnya. “Karena Amazon SageMaker menangani kegagalan simpul, memulai ulang dengan elegan, dan mengatur proses terdistribusi yang besar, tim yang bekerja pada prapelatihan model dapat berfokus pada tugas-tugas inti,” kata Padnos. “Alih-alih mengatasi tantangan teknis, mereka dapat menilai bagaimana kinerja model dan bagaimana pelatihan mengalami kemajuan.”

Linimasa yang dipercepat merupakan hal penting karena kemampuan model Grande lebih baik dalam memenuhi kebutuhan mayoritas pelanggan AI21. Pelanggan dengan kasus penggunaan untuk konsumen, seperti pengonsepan email otomatis, menghargai migrasi dari model Jumbo ke model Grande karena skala mereka yang besar membutuhkan efisiensi biaya. Hanya dalam beberapa bulan setelah memperkenalkan model Grande, model tersebut menyumbang sekitar dua pertiga dari lalu lintas perusahaan. “Kami telah melihat adopsi yang cepat dan sangat senang dengan hasilnya,” kata Padnos. “Pengalaman kami dalam menggunakan Amazon SageMaker sangat positif. Kami mencapai hasil yang kami harapkan secara tepat waktu, sesuai anggaran, dan tanpa tantangan yang tak terduga.”

Pertimbangan utama untuk aplikasi AI generatif adalah latensi inferensi yang rendah karena pengalaman pengguna harus lancar. Saat pengguna membuat draf konten menggunakan alat seperti Wordtune, mereka ingin AI berfungsi sebagai referensi cepat tanpa memperlambat proses berpikir mereka. Dengan menggunakan Amazon SageMaker, AI21 mencapai latensi inferensi yang rendah dengan model Grande untuk memenuhi kebutuhan pelanggan dengan sebaik-baiknya, mengurangi latensi hingga empat kali lipat untuk salah satu klien besarnya. Hasilnya, pelanggan AI21 dapat melayani jutaan pengguna setiap harinya hampir secara waktu nyata tanpa mengurangi pengalaman pengguna. “Salah satu klien berskala besar kami telah melihat peningkatan yang signifikan dalam metrik kepuasan pengguna, yang dikaitkan dengan pengurangan latensi secara besar-besaran saat bermigrasi dari model Jumbo ke model Grande,” kata Padnos.

Perilisan model Grande juga berkontribusi terhadap pertumbuhan AI21 dan pelanggannya. “Setelah merilis model Grande, yang dilatih menggunakan Amazon SageMaker, kami telah melihat peningkatan pada lalu lintas kami secara keseluruhan,” kata Padnos. “Klien individu yang telah bermigrasi ke model Grande juga telah meningkatkan lalu lintas mereka.”

Model Grande (kini disebut Mid) tersedia di Amazon SageMaker JumpStart, hub ML dengan algoritme bawaan, model dasar, dan solusi ML prabangun yang dapat digunakan pengguna Amazon SageMaker untuk melakukan deployment dengan beberapa klik. Siklus hidup data terdapat dalam lingkungan pengguna untuk menjaga privasi, dan organisasi dapat menerapkan model bahasa ke data miliknya tanpa menulis kode atau memerlukan playground kode. Seri model fondasi generasi berikutnya AI21 yang bernama Jurassic-2, serta model khusus tugas juga tersedia di Amazon SageMaker JumpStart.

AI21 sangat antusias dengan peningkatan adopsi AI generatif di seluruh dunia dalam beberapa bulan dan tahun mendatang. Dengan menggunakan layanan AWS, perusahaan secara aktif bekerja di LLM yang akan menjadi lebih cepat serta lebih akurat, andal, dan hemat biaya. “Kami memiliki hubungan yang sangat baik dengan tim AWS,” kata Padnos. “Anggota tim telah mendalami detail teknis bersama kami dan berkolaborasi dalam tugas-tugas yang menantang. Sepanjang proses, tim AWS memiliki sifat kreatif dan memiliki kesadaran mengenai tantangan dan tujuan kami.”

Untuk mempelajari selengkapnya, buka https://aws.amazon.com/sagemaker.