Instans Trn1 Amazon EC2

“Di PyTorch, kami mempercepat machine learning dari pembuatan prototipe riset ke siap produksi untuk pelanggan. Kami telah bekerja sama sangat erat dengan tim AWS untuk menyediakan dukungan PyTorch native untuk instans Amazon EC2 Trn1 yang didukung AWS Trainium yang dibangun khusus untuk melatih model deep learning. Developer yang membangun model PyTorch dapat memulai pelatihan di instans Trn1 dengan perubahan kode minimal. Selain itu, kami telah bekerja sama dengan komunitas OpenXLA untuk mengaktifkan pustaka PyTorch Terdistribusi untuk migrasi model mudah dari instans berbasis GPU ke instans Trn1. Kami sangat bersemangat mengenai inovasi yang instans Trn1 bawa ke komunitas PyTorch, termasuk tipe data yang lebih efisien, bentuk dinamis, operator kustom, pembulatan stokastik perangkat keras yang dioptimalkan, dan mode debug yang bersemangat. Semua ini membuat Trn1 sangat cocok untuk adopsi luas oleh developer PyTorch dan kami tidak sabar ingin berkontribusi bersama dengan PyTorch di masa mendatang untuk makin mengoptimalkan performa pelatihan.”

Geeta Chauhan, AI Terapan, Manajer Teknik (Applied AI, Engineering Manager)

“Di HeliXon, kami membangun solusi AI generasi berikutnya untuk terapi berbasis protein. Kami bertujuan untuk mengembangkan alat AI yang memberdayakan ilmuwan untuk menguraikan fungsi dan interaksi protein, menyelidiki set data genomik skala besar untuk identifikasi target, serta mendesain terapi seperti terapi antibodi dan terapi sel. Saat ini, kami menggunakan pustaka distribusi pelatihan seperti FSDP untuk memparalelkan pelatihan model dibandingkan banyak server berbasis GPU, tetapi melatih satu model masih memakan waktu beberapa minggu. Kami sangat bersemangat dapat memanfaatkan instans Amazon EC2 Trn1, yang menghadirkan bandwith jaringan tertinggi (800 Gbps) yang tersedia di AWS untuk meningkatkan performa tugas pelatihan terdistribusi kami dan mengurangi waktu pelatihan model, sekaligus mengurangi biaya pelatihan kami.”

Jian Peng, CEO, Helixon

Money Forward, Inc. melayani bisnis dan perorangan dengan platform keuangan yang terbuka dan adil.

“Kami meluncurkan layanan chatbot AI skala besar di instans Amazon EC2 Inf1 dan mengurangi latensi inferensi sebesar 97% dibandingkan instans berbasis GPU sejenisnya sekaligus mengurangi biaya. Saat kami meneruskan menyetel model NLP yang disesuaikan secara berkala, mengurangi waktu dan biaya pelatihan model juga penting. Berdasarkan pengalaman kami dari migrasi beban kerja inferensi yang sukses di instans Inf1 dan pekerjaan awal kami di instans EC2 Trn1 berbasis AWS Trainium, kami mengharapkan instans Trn1 akan menyediakan nilai tambah dalam meningkatkan performa dan biaya ML menyeluruh.”

Takuya Nakade, CTO, Money Forward, Inc.

Magic adalah perusahaan produk dan riset terintegrasi yang mengembangkan AI yang terasa seperti kolega untuk menjadikan dunia lebih produktif.

“Melatih mode berbasis Transformer autoregresif adalah komponen esensial pekerjaan kami. Instans Trn1 yang didukung oleh AWS Trainium didesain khusus untuk beban kerja ini, menawarkan skalabilitas hampir tidak terhingga, jaringan inter-simpul cepat, dan dukungan lanjutan untuk tipe data 16 dan 18 bit. Instans Trn1 akan membantu kami melatih model besar lebih cepat, dengan biaya lebih rendah. Kami sangat bersemangat dengan dukungan native untuk pembulatan stokastik BF16 di Trainium, meningkatkan performa sekaligus akurasi numerik sama seperti presisi penuh.”

Eric Steinberger, Cofounder dan CEO, Magic

CACTUS memiliki rangkaian produk dan solusi untuk para peneliti, dan organisasi yang meningkatkan bagaimana riset mendapat dana, dipublikasikan, dikomunikasikan, dan ditemukan.

“DiLab Cactus, kami memanfaatkan keandalan AI, dengan riset yang berfokus pada pemrosesan bahasa alami, peringkat & rekomendasi, AI percakapan, model bahasa besar, penglihatan komputer, AR/VR, dan XAI. Selaras dengan perjalanan kami untuk memungkinkan pelatihan model machine learning yang lebih cepat serta memungkinkan peneliti kami menjalankan lebih banyak eksperimen sekaligus mengelola biaya infrastruktur, kami sangat senang dapat mengevaluasi AWS Trainium. Fitur andalan AWS Trainium seperti optimalisasi XLA, pelatihan paralel data multi pekerja, caching Grafis sangat berguna bagi kami untuk mengurangi waktu pelatihan dan membantu kami menjalankan lebih banyak eksperimen lebih cepat dan lebih murah.

Nishchay Shah - CTO (Chief Technology Officer) dan Kepala Produk Baru (Head of Emerging Products), Cactus Communication

Mesin pencarian produk Amazon mengindeks miliaran produk, melayani miliaran kueri pelanggan setiap harinya, dan merupakan salah satu layanan yang paling banyak digunakan di dunia.

“Kami melatih large language models (model bahasa besar/LLM) yang multi-modal (teks + gambar), multibahasa, multi- locale, dilatih sebelumnya mengerjakan beberapa tugas, dan menjangkau beberapa entitas (produk, kueri, merek, ulasan, dll.) untuk meningkatkan pengalaman belanja pelanggan. Instans Trn1 menyediakan cara yang lebih berkelanjutan untuk melatih LLM dengan menghadirkan performa/watt terbaik dibandingkan solusi machine learning terakselerasi lainnya dan menawarkan kepada kami performa tinggi dengan biaya terendah. Kami berencana mengeksplorasi tipe data FP8 baru yang dapat dikonfigurasi, dan pembulatan stokastik terakselerasi perangkat keras untuk makin meningkatkan efisiensi pelatihan dan kecepatan pengembangan kami.”

Trishul Chilimbi, VP Amazon Search