Codeway Menghemat 48% Biaya Komputasi untuk AI Generatif Menggunakan Instans G5 Amazon EC2

Berbasis di Istanbul, Turki, Codeway mengembangkan aplikasi dan gim seluler yang didukung oleh teknologi mutakhir, khususnya AI generatif. Aplikasi Wonder-nya mengubah kata-kata menjadi gambar digital; pengguna memasukkan kata atau kalimat, dan Wonder mengubah input tersebut menjadi karya seni dengan melakukan deployment model difusi yang stabil untuk pembuatan gambar berdasarkan PyTorch di AWS. Tergantung dari langganan mereka, pengguna kemudian dapat mengunduh versi gambar berkualitas tinggi atau rendah.

Karena Wonder telah diunduh oleh lebih dari 28,3 juta pengguna, Codeway berupaya memaksimalkan kemampuan komputasi dan GPU-nya. Infrastruktur Wonder didistribusikan ke berbagai penyedia cloud di berbagai wilayah. Untuk beban kerja inferensi kecerdasan buatan (AI), Codeway menggunakan GPU NVIDIA A100 Tensor Core yang di-hosting di salah satu penyedia ini. Namun, ada masalah kapasitas GPU yang memengaruhi performa.

“Beban kerja ini memerlukan perangkat keras yang sangat bergantung pada GPU. Kami juga menambahkan jutaan pengguna tiap bulannya, jadi permintaan kami terhadap GPU akan terus meningkat,” kata Ugur Arpaci, Lead DevOps Engineer di Codeway. “Saat kami bertransisi dari mengelola ratusan GPU menjadi ribuan, kami ingin mengoptimalkan biaya dan performa serta menemukan strategi yang baik untuk skalabilitas.”

Amazon EC2 menawarkan portofolio komputasi yang luas dan mendalam, dengan lebih dari 600 instans dan pilihan prosesor, penyimpanan, jaringan, sistem operasi, dan opsi model pembelian terbaru untuk membantu pelanggan menyesuaikan dengan kebutuhan beban kerja mereka. Saat Codeway mencari cara untuk mengoptimalkan komputasinya, Codeway menemukan solusi ideal: Instans G5 Amazon EC2 yang didukung oleh GPU NVIDIA A10G Tensor Core. Meskipun Codeway memiliki pilihan GPU serupa dengan penyedia cloud lainnya, mereka tidak memberikan ketersediaan dan skalabilitas yang sama seperti AWS.

“Tim AWS menyarankan agar kami dapat mencapai sasaran performa harga dengan mengadopsi Instans G5 Amazon EC2 yang didukung oleh GPU NVIDIA A10G Tensor Core,” kata Arpaci. “Kami mulai mencobanya, dan kami melihat hasil yang bagus.”

Setelah menganalisis performa harga Instans G5 Amazon EC2, Codeway bekerja sama dengan tim AWS untuk menyelesaikan proses orientasi. “Kami selalu berhubungan dengan para ahli di AWS,” kata Arpaci. “Kami mengikuti panduan mereka, lalu melakukan tes dan menghitung biaya di pihak kami. Untuk model tertentu, kami menyadari bahwa kami dapat memperoleh manfaat maksimal dengan melakukan deployment aplikasi kami di Instans G5 Amazon EC2. Kami kemudian membagikan hasil kami dan membangun umpan balik yang sangat positif.”

Proses orientasinya cepat serta lancar, dan dalam waktu 3,5 bulan, Codeway menjalankan beban kerja produksi untuk Wonder di AWS. Kini Codeway menggunakan Instans G5 Amazon EC2 dengan GPU A10G untuk melakukan deployment hampir semua beban kerja inferensi AI untuk Wonder versi gratis. Untuk menghasilkan gambar definisi tinggi penuh bagi pelanggan berbayar, Codeway menggunakan GPU A100 yang lebih bertenaga, yang menghasilkan konten berkualitas lebih tinggi dalam waktu lebih singkat. Dengan menggunakan A10G dan A100, perusahaan dapat mematuhi semua perjanjian tingkat layanan untuk waktu output.

“Kami tahu bahwa A10G kurang bertenaga dibandingkan A100, tetapi beberapa beban kerja tidak memerlukan performa GPU sebanyak itu,” kata Arpaci. “Sekarang, kami dapat mengalihkan sebagian besar beban kerja ini dari GPU kami yang lebih bertenaga, yang saat ini hanya tersedia pada fitur pengguna premium, seperti pembuatan gambar berkualitas tinggi.”

Untuk lebih meningkatkan efisiensi biaya dan performa, Codeway telah mengadopsi klaster di Amazon Elastic Kubernetes Service (Amazon EKS)—layanan terkelola untuk menjalankan Kubernetes di AWS Cloud dan pusat data on-premise—untuk menaikkan dan menurunkan Instans G5 Amazon EC2 secara dinamis sesuai kebutuhan. Solusi penskalaan otomatis kustom telah dilakukan deployment pada setiap klaster Amazon EKS, yang secara cerdas meminta instans tambahan ketika permintaan muncul.

Untuk mengelola instans, Codeway mengandalkan Karpenter, solusi penyediaan simpul sumber terbuka. Layanan ini secara efektif menentukan dan menggunakan tipe instans yang sesuai berdasarkan kebutuhan Codeway. “Karpenter sebenarnya memilih jumlah instans yang diperlukan untuk kami dan melakukan deployment, lalu, lalu kami menambah deployment beban kerja yang diperlukan,” kata Arpaci. “Seluruh proses dilakukan secara otomatis, sehingga menyederhanakan banyak faktor dari sudut pandang operasional.”