Instans Trn1 Amazon EC2

“Ribuan pelanggan telah menerapkan Databricks di AWS, yang memberi mereka kemampuan untuk menggunakan MosaicML untuk melakukan pralatih, menyempurnakan, dan menyajikan model fondasi untuk berbagai kasus penggunaan. AWS Trainium memberi kami skala dan performa tinggi yang dibutuhkan untuk melatih model MPT Mosaic kami, dan dengan biaya rendah. Saat kami melatih model MPT Mosaic generasi berikutnya, Trainium2 akan mewujudkan pembangunan model yang lebih cepat sehingga kami dapat menyediakan skala dan performa yang belum pernah ada sebelumnya bagi pelanggan kami sehingga mereka dapat membawa aplikasi AI generatif mereka sendiri ke pasar lebih cepat.”

Naveen Rao, VP of Generative AI, Databricks

Kosuke Arima, CTO, Stockmark Co., Ltd.

Yoshiaki Umetsu, Director, Digital Technology Development Center, RICOH

“Di HeliXon, kami membangun solusi AI generasi berikutnya untuk terapi berbasis protein. Kami bertujuan untuk mengembangkan alat AI yang memberdayakan ilmuwan untuk menguraikan fungsi dan interaksi protein, menyelidiki set data genomika skala besar untuk identifikasi target, serta mendesain terapi seperti antibodi dan terapi sel. Saat ini, kami menggunakan pustaka distribusi pelatihan seperti FSDP untuk memparalelkan pelatihan model di banyak server berbasis GPU, tetapi ini masih membutuhkan waktu berminggu-minggu bagi kami untuk melatih satu model. Kami sangat senang dapat memanfaatkan instans Amazon EC2 Trn1, yang menghadirkan bandwith jaringan tertinggi (800 Gbps) yang tersedia di AWS untuk meningkatkan performa tugas pelatihan terdistribusi kami dan mengurangi waktu pelatihan model, sekaligus mengurangi biaya pelatihan kami."

Jian Peng, CEO, Helixon

Money Forward, Inc. melayani bisnis dan perorangan dengan platform keuangan yang terbuka dan adil.

“Kami meluncurkan layanan chatbot AI skala besar di instans Amazon EC2 Inf1 dan mengurangi latensi inferensi sebesar 97% dibandingkan instans berbasis GPU sejenisnya sekaligus mengurangi biaya. Saat kami meneruskan menyetel model NLP yang disesuaikan secara berkala, mengurangi waktu dan biaya pelatihan model juga penting. Berdasarkan pengalaman kami dari migrasi beban kerja inferensi yang sukses di instans Inf1 dan pekerjaan awal kami di instans EC2 Trn1 berbasis AWS Trainium, kami mengharapkan instans Trn1 akan menyediakan nilai tambah dalam meningkatkan performa dan biaya ML menyeluruh.”

Takuya Nakade, CTO, Money Forward, Inc.

Magic adalah perusahaan produk dan riset terintegrasi yang mengembangkan AI yang terasa seperti kolega untuk menjadikan dunia lebih produktif.

“Melatih model berbasis Transformer autoregresif besar adalah komponen penting dari pekerjaan kami. Instans Trn1 yang didukung AWS Trainium didesain khusus untuk beban kerja ini, menawarkan skalabilitas yang hampir tak terbatas, jaringan antar-simpul cepat, serta dukungan lanjutan untuk tipe data 16 dan 18 bit. Instans Trn1 akan membantu kami melatih model besar lebih cepat, dengan biaya lebih rendah. Kami sangat bersemangat dengan dukungan native untuk pembulatan stokastik BF16 di Trainium, meningkatkan performa sekaligus akurasi numerik sama seperti presisi penuh.”

Eric Steinberger, Cofounder dan CEO, Magic

CACTUS memiliki rangkaian produk dan solusi untuk peneliti, dan organisasi yang meningkatkan bagaimana riset mendapat dana, diterbitkan, dikomunikasikan, serta ditemukan.

“Di Lab Cactus, kami memanfaatkan kekuatan AI, dengan riset yang berfokus pada pemrosesan bahasa alami, pemeringkatan dan rekomendasi, AI percakapan, model bahasa besar, penglihatan komputer, AR/VR, dan XAI. Selaras dengan upaya kami untuk memungkinkan pelatihan model machine learning yang lebih cepat serta memungkinkan peneliti kami menjalankan lebih banyak eksperimen sekaligus mengelola biaya infrastruktur, kami sangat senang dapat mengevaluasi AWS Trainium. Fitur luar biasa dari AWS Trainium seperti optimisasi XLA, pelatihan paralel data multi-pekerja, dan caching grafis sangat berguna bagi kami untuk mengurangi waktu pelatihan serta membantu kami menjalankan lebih banyak eksperimen secara lebih cepat dan lebih murah.”

Nishchay Shah, CTO dan Head of Emerging Products, Cactus Communications

Watashiha menawarkan layanan chatbot AI yang inovatif dan interaktif, “OGIRI AI,” yang menggabungkan humor untuk memberikan jawaban lucu secara langsung untuk sebuah pertanyaan.

“Kami menggunakan Model Bahasa Besar untuk menggabungkan humor dan menawarkan pengalaman yang lebih relevan dan percakapan kepada pelanggan kami di layanan AI kami. Hal ini mengharuskan kami untuk sering melatih dan menyempurnakan model ini. Kami melatih sebelumnya model bahasa Jepang berbasis GPT di instans Trn1.32xlarge EC2, memanfaatkan tensor dan paralelisme data. Pelatihan ini diselesaikan dalam waktu 28 hari dengan pengurangan biaya 33% dibandingkan infrastruktur berbasis GPU kami sebelumnya. Karena model kami dengan cepat terus tumbuh dalam kompleksitas, kami menantikan instans Trn1n yang memiliki dua kali lipat bandwidth jaringan Trn1 untuk mempercepat pelatihan model yang lebih besar.”

Yohei Kobashi, CTO, Watashiha, K.K.

“Di PyTorch, kami mempercepat machine learning dari pembuatan prototipe riset ke siap produksi untuk pelanggan. Kami telah bekerja sama sangat erat dengan tim AWS untuk menyediakan dukungan PyTorch native untuk instans Amazon EC2 Trn1 yang didukung AWS Trainium yang dibangun khusus untuk melatih model deep learning. Developer yang membangun model PyTorch dapat memulai pelatihan di instans Trn1 dengan perubahan kode minimal. Selain itu, kami telah bekerja sama dengan komunitas OpenXLA untuk mengaktifkan pustaka Terdistribusi PyTorch untuk migrasi model mudah dari instans berbasis GPU ke instans Trn1. Kami sangat senang dengan inovasi yang dihadirkan instans Trn1 ke komunitas PyTorch, termasuk tipe data yang lebih efisien, bentuk dinamis, operator kustom, pembulatan stokastik perangkat keras yang dioptimalkan, dan mode debug yang disukai. Semua ini membuat Trn1 sangat cocok untuk diadopsi secara luas oleh developer PyTorch dan kami menantikan kontribusi bersama dengan PyTorch pada masa mendatang untuk makin mengoptimalkan performa pelatihan."

Geeta Chauhan, Applied AI, Engineering Manager, PyTorch

"Misi Hugging Face adalah mendemokratisasikan ML yang baik untuk membantu developer ML di seluruh dunia memecahkan masalah dunia nyata. Kunci untuk mewujudkan hal itu adalah memastikan model terbaru dan terhebat agar berjalan secepat dan seefisien mungkin pada akselerator ML terbaik di cloud. Kami sangat senang dengan potensi Inferentia2 untuk menjadi cara standar baru untuk melakukan deployment model AI generatif dalam skala besar. Dengan Inf1, kami melihat biaya hingga 70% lebih rendah daripada instans berbasis GPU tradisional, dan dengan Inf2, kami telah melihat latensi hingga 8x lebih rendah untuk transformer yang mirip BERT dibandingkan dengan Inferentia1. Dengan Inferentia2, komunitas kami akan dapat dengan mudah menskalakan performa ini ke LLM pada skala parameter 100B+, dan juga model difusi dan penglihatan komputer terbaru."

Mesin pencarian produk Amazon mengindeks miliaran produk, melayani miliaran kueri pelanggan setiap harinya, dan merupakan salah satu layanan yang paling banyak digunakan di dunia.

“Kami melatih large language models (model bahasa besar/LLM) yang multi-modal (teks + gambar), multibahasa, multi- locale, dilatih sebelumnya mengerjakan beberapa tugas, dan menjangkau beberapa entitas (produk, kueri, merek, ulasan, dll.) untuk meningkatkan pengalaman belanja pelanggan. Instans Trn1 menyediakan cara yang lebih berkelanjutan untuk melatih LLM dengan menghadirkan performa/watt terbaik dibandingkan solusi machine learning terakselerasi lainnya dan menawarkan performa tinggi dengan biaya terendah. Kami berencana untuk mengeksplorasi tipe data FP8 baru yang dapat dikonfigurasi, dan pembulatan stokastik yang diakselerasi perangkat keras untuk lebih meningkatkan efisiensi pelatihan dan kecepatan pengembangan kami.”

Trishul Chilimbi, VP, Amazon Search