LG AI Research Mengembangkan Model Dasar Menggunakan Amazon SageMaker

Konglomerat Korea Selatan, LG Group, mengumpulkan sejumlah besar data dari perusahaannya, yang meliputi peralatan rumah tangga, telekomunikasi, baterai, dan farmasi. Pilar utama transformasi digital dari grup tersebut adalah dengan mengembangkan teknologi AI dan mengintegrasikan AI ke dalam produk dan layanannya. Grup ini kemudian membentuk LG AI Research untuk memanfaatkan kekuatan AI dalam strategi transformasi digital-nya, mengembangkan pengalaman pelanggan yang lebih baik, dan menyelesaikan tantangan industri umum.

Ketika LG AI Research memutuskan untuk mengembangkan model dasar generasi berikutnya, yang mengambil inspirasi dari cara otak manusia bekerja dan memiliki kapasitas canggih untuk belajar dan membuat penilaian, pusat penelitian tersebut mencari platform machine learning (ML) yang paling efisien untuk menangani sejumlah besar data, serta pelatihan inferensi berskala besar Model dasar diperlukan untuk melatih puluhan terabita data untuk membuat kesimpulan layaknya manusia, serta memahami teks dan gambar. Selain itu, proyek ini membutuhkan infrastruktur komputasi performa tinggi dan fleksibilitas untuk meningkatkan jumlah parameter menjadi miliaran selama pelatihan.

Otomatisasi alur kerja juga penting karena beberapa model atau pekerjaan hilir perlu diselesaikan secara bersamaan. Untuk memenuhi persyaratan ini, lembaga tersebut mempertimbangkan infrastruktur on-premise, tetapi biayanya terlalu tinggi, dan akan membutuhkan 20 karyawan untuk mengonfigurasi dan memelihara perangkat keras on-premise tersebut. Hal ini juga memerlukan pemutakhiran GPU setiap tahun dan menambahkan lebih banyak GPU untuk mendukung lonjakan beban kerja. Mempertimbangkan semua tantangan dalam solusi on-premise, LG AI Research memutuskan bahwa Amazon SageMaker adalah yang paling tepat untuk proyek ini.

LG AI Research berhasil menerapkan model dasarnya, EXAONE, untuk produksi dalam satu tahun. EXAONE, yang merupakan singkatan dari “expert AI for everyone” (ahli AI untuk semua orang), adalah model multimodal dengan 300 miliar parameter yang menggunakan gambar dan data teks.

LG AI Research menggunakan Amazon SageMaker untuk melatih model dasar berskala besar dan Amazon FSx for Lustre untuk mendistribusikan data ke instans guna mempercepat pelatihan model. Dengan membangun di AWS, LG AI Research mampu menyelesaikan masalah, mengimplementasikan titik pemeriksaan, menyempurnakan, dan berhasil menerapkan model ke produksi.

Gwang-mo Song dari LG AI Research menjelaskan, “Dengan menggunakan infrastruktur pelatihan terdistribusi performa tinggi dari Amazon SageMaker, para peneliti dapat fokus hanya pada pelatihan model alih-alih mengelola infrastruktur. Selain itu, dengan memanfaatkan pustaka data paralel dari Amazon SageMaker, kami dapat memperoleh hasil pelatihan dengan cepat setelah jumlah GPU dan parameter model meningkat.”

LG AI Research mengurangi biaya sekitar 35 persen dengan menghilangkan kebutuhan akan tim manajemen infrastruktur yang terpisah. Hal ini juga meningkatkan kecepatan pemrosesan data sekitar 60 persen menggunakan pustaka paralel data terdistribusi dari Amazon SageMaker.

Menggunakan EXAONE, LG AI Research mengembangkan seniman virtual AI bernama Tilda. Kekuatan fundamental dari kualitas artistik Tilda berasal dari EXAONE, yang dilatih menggunakan 600 miliar karya seni dan 250 juta gambar resolusi tinggi disertai dengan teks. Seniman virtual ini menciptakan 3.000 gambar dan pola untuk perancang busana Yoon-hee Park, yang merancang lebih dari 200 pakaian untuk New York Fashion Week 2022 menggunakan gambar dan pola milik Tilda.

Karya Park dengan LG AI Research menunjukkan potensi memperluas teknologi AI ke industri seni, menumbuhkan ekosistem AI, dan mendorong kolaborasi lintas industri. Perusahaan tersebut baru-baru ini mengumumkan kemitraan dengan Parsons School of Design di Kota New York untuk melakukan penelitian bersama tentang teknologi AI canggih guna memaksimalkan keuntungan di industri mode.

Dengan Tilda, EXAONE telah menunjukkan bagaimana model dasar dapat digunakan untuk mengubah berbagai sektor, mulai dari manufaktur dan penelitian hingga pendidikan dan keuangan. LG AI Research melanjutkan pekerjaannya untuk membuat kehidupan manusia lebih bernilai menggunakan model dasarnya dan berharap dapat memiliki kolaborasi yang erat dengan AWS dalam proyek-proyek mendatang.