Instans Trn1 Amazon EC2

Lebih dari 10.000 organisasi di seluruh dunia — termasuk Comcast, Condé Nast, dan lebih dari 50% dari Fortune 500 — mengandalkan Databricks untuk menyatukan data, analitik, dan AI mereka.

“Ribuan pelanggan telah menerapkan Databricks di AWS, memberi mereka kemampuan untuk menggunakan MosaicML untuk melakukan pra-pelatihan, menyempurnakan, dan melayani model dasar untuk berbagai kasus penggunaan. AWS Trainium memberi kami skala dan performa tinggi yang dibutuhkan untuk melatih model MPT Mosaic kami, dan dengan biaya rendah. Saat kami melatih model Mosaic MPT generasi berikutnya, Trainium2 akan memungkinkan untuk membangun model lebih cepat, memungkinkan kami untuk menyediakan pelanggan kami skala dan kinerja yang belum pernah terjadi sebelumnya sehingga mereka dapat membawa aplikasi AI generatif mereka sendiri ke pasar lebih cepat. “

Naveen Rao, VP of Generative AI, Databricks

Dengan misi “menemukan kembali mekanisme penciptaan nilai dan memajukan umat manusia”, Stockmark membantu banyak perusahaan menciptakan dan membangun bisnis inovatif dengan menyediakan teknologi pemrosesan bahasa alami yang mutakhir.

“Dengan 16 node instans Amazon EC2 Trn1 yang didukung oleh chip AWS Trainium, kami telah mengembangkan dan merilis stockmark-13b, model bahasa besar dengan 13 miliar parameter, pra-dilatih dari awal pada korpus 220B token Jepang. Korpus tersebut mencakup teks domain bisnis terbaru hingga September 2023. Model tersebut mencapai skor JSQuAD tertinggi (0,813) pada tolok ukur JGLUE (Japanese General Language Understanding Evaluation) dibandingkan dengan model setara lainnya. Model ini tersedia di Hugging Face Hub dan dapat digunakan secara komersial dengan lisensi MIT. Instans Trn1 membantu kami mencapai pengurangan biaya pelatihan 20% dibandingkan dengan instans GPU yang setara. “

Kosuke Arima, CTO, Stockmark Co., Ltd.

RICOH menawarkan solusi tempat kerja dan layanan transformasi digital yang didesain untuk mengelola serta mengoptimalkan alur informasi di seluruh bisnis.

“Migrasi ke instance Trn1 cukup mudah. Kami dapat menyelesaikan pelatihan model parameter 13B kami hanya dalam waktu 8 hari. Berdasarkan kesuksesan ini, kami berharap dapat mengembangkan dan melatih model parameter 70B kami di Trainium dan senang dengan potensi contoh ini dalam melatih model kami lebih cepat dan lebih hemat biaya. “

Yoshiaki Umetsu, Director, Digital Technology Development Center, RICOH

“Di HeliXon, kami membangun solusi AI generasi berikutnya untuk terapi berbasis protein. Kami bertujuan untuk mengembangkan alat AI yang memberdayakan ilmuwan untuk menguraikan fungsi dan interaksi protein, menyelidiki set data genomika skala besar untuk identifikasi target, serta mendesain terapi seperti antibodi dan terapi sel. Saat ini, kami menggunakan pustaka distribusi pelatihan seperti FSDP untuk memparalelkan pelatihan model di banyak server berbasis GPU, tetapi ini masih membutuhkan waktu berminggu-minggu bagi kami untuk melatih satu model. Kami sangat senang memanfaatkan instans Amazon EC2 Trn1, yang menampilkan bandwidth jaringan tertinggi (800 Gbps) yang tersedia di AWS untuk meningkatkan kinerja pekerjaan pelatihan terdistribusi kami dan mengurangi waktu pelatihan model kami, sekaligus mengurangi biaya pelatihan kami. “

Jian Peng, CEO, Helixon

Money Forward, Inc. melayani bisnis dan perorangan dengan platform keuangan yang terbuka dan adil.

“Kami meluncurkan layanan chatbot AI skala besar pada instans Amazon EC2 Inf1 dan mengurangi latensi inferensi kami sebesar 97% dibandingkan instans berbasis GPU yang sebanding sambil juga mengurangi biaya. Saat kami meneruskan menyetel model NLP yang disesuaikan secara berkala, mengurangi waktu dan biaya pelatihan model juga penting. Berdasarkan pengalaman kami dari keberhasilan migrasi beban kerja inferensi pada instans Inf1 dan pekerjaan awal kami pada instans EC2 Trn1 berbasis AWS Trainium, kami berharap instans Trn1 akan memberikan nilai tambahan dalam meningkatkan kinerja dan biaya ML end-to-end. “

Takuya Nakade, CTO, Money Forward, Inc.

Magic adalah perusahaan produk dan riset terintegrasi yang mengembangkan AI yang terasa seperti kolega untuk menjadikan dunia lebih produktif. 

“Melatih model berbasis Transformer autoregresif besar adalah komponen penting dari pekerjaan kami. Instans Trn1 yang didukung AWS Trainium didesain khusus untuk beban kerja ini, menawarkan skalabilitas yang hampir tak terbatas, jaringan antar-simpul cepat, serta dukungan lanjutan untuk tipe data 16 dan 8 bit. Instans Trn1 akan membantu kami melatih model besar lebih cepat, dengan biaya lebih rendah. Kami sangat senang dengan dukungan asli untuk pembulatan stokastik BF16 di Trainium, meningkatkan kinerja sementara akurasi numerik tidak dapat dibedakan dari presisi penuh. “

Eric Steinberger, Cofounder dan CEO, Magic

CACTUS memiliki rangkaian produk dan solusi untuk peneliti, dan organisasi yang meningkatkan bagaimana riset mendapat dana, diterbitkan, dikomunikasikan, serta ditemukan. 

“Di Cactus Labs, kami memanfaatkan kekuatan AI, dengan penelitian yang berfokus pada pemrosesan bahasa alami, peringkat dan rekomendasi, AI percakapan, model bahasa besar, visi komputer, AR/VR dan XAI. Selaras dengan upaya kami untuk memungkinkan pelatihan model machine learning yang lebih cepat serta memungkinkan peneliti kami menjalankan lebih banyak eksperimen sekaligus mengelola biaya infrastruktur, kami sangat senang dapat mengevaluasi AWS Trainium. Fitur luar biasa dari AWS Trainium seperti pengoptimalan XLA, pelatihan paralel data multi-pekerja, dan caching grafik sangat berguna bagi kami untuk mengurangi waktu pelatihan kami dan membantu kami menjalankan lebih banyak eksperimen lebih cepat dan lebih murah. “

Nishchay Shah, CTO dan Head of Emerging Products, Cactus Communications

Watashiha menawarkan layanan chatbot AI yang inovatif dan interaktif, “OGIRI AI,” yang menggabungkan humor untuk memberikan jawaban lucu secara langsung untuk sebuah pertanyaan. 

“Kami menggunakan Model Bahasa Besar untuk menggabungkan humor dan menawarkan pengalaman percakapan yang lebih relevan kepada pelanggan kami di layanan AI kami. Hal ini mengharuskan kami untuk sering melatih dan menyempurnakan model ini. Kami melatih sebelumnya model bahasa Jepang berbasis GPT di instans Trn1.32xlarge EC2, memanfaatkan tensor dan paralelisme data. Pelatihan ini diselesaikan dalam waktu 28 hari dengan pengurangan biaya 33% dibandingkan infrastruktur berbasis GPU kami sebelumnya. Karena model kami dengan cepat terus tumbuh dalam kompleksitas, kami menantikan instans Trn1n yang memiliki bandwidth jaringan dua kali lipat dari Trn1 untuk mempercepat pelatihan model yang lebih besar. “

Yohei Kobashi, CTO, Watashiha, K.K.

“Di PyTorch, kami mempercepat pembelajaran mesin dari pembuatan prototipe penelitian hingga produksi yang siap untuk pelanggan. Kami telah bekerja sama sangat erat dengan tim AWS untuk menyediakan dukungan PyTorch native untuk instans Amazon EC2 Trn1 yang didukung AWS Trainium yang dibangun khusus untuk melatih model deep learning. Developer yang membangun model PyTorch dapat memulai pelatihan di instans Trn1 dengan perubahan kode minimal. Selain itu, kami telah bekerja sama dengan komunitas OpenXLA untuk mengaktifkan pustaka Terdistribusi PyTorch untuk migrasi model mudah dari instans berbasis GPU ke instans Trn1. Kami sangat senang dengan inovasi yang dihadirkan instans Trn1 ke komunitas PyTorch, termasuk tipe data yang lebih efisien, bentuk dinamis, operator kustom, pembulatan stokastik perangkat keras yang dioptimalkan, dan mode debug yang disukai. Semua ini membuat Trn1 cocok untuk adopsi luas oleh pengembang PyTorch dan kami menantikan kontribusi bersama di masa depan untuk PyTorch untuk lebih mengoptimalkan kinerja pelatihan. “

Geeta Chauhan, Applied AI, Engineering Manager, PyTorch

“Misi Hugging Face adalah mendemokratisasi ML yang baik untuk membantu pengembang ML di seluruh dunia memecahkan masalah dunia nyata. Kunci untuk mewujudkan hal itu adalah dengan memastikan model-model terbaru dan terhebat dapat berjalan secepat dan seefisien mungkin pada cip ML terbaik di cloud. Kami sangat senang dengan potensi Inferentia2 untuk menjadi cara standar baru untuk melakukan deployment model AI generatif dalam skala besar. Dengan Inf1, kami melihat biaya hingga 70% lebih rendah daripada instans berbasis GPU tradisional, dan dengan Inf2, kami telah melihat latensi hingga 8x lebih rendah untuk transformer yang mirip BERT dibandingkan dengan Inferentia1. Dengan Inferentia2, komunitas kami akan dapat dengan mudah menskalakan kinerja ini ke LLM pada skala parameter 100B +, dan juga model difusi dan visi komputer terbaru. “

“Kami melatih model bahasa besar (LLM) yang multi-modal (teks + gambar), multibahasa, multi-lokal, pra-dilatih pada beberapa tugas, dan menjangkau beberapa entitas (produk, kueri, merek, ulasan, dll.) untuk meningkatkan pengalaman belanja pelanggan. Instans Trn1 menyediakan cara yang lebih berkelanjutan untuk melatih LLM dengan menghadirkan performa/watt terbaik dibandingkan solusi machine learning terakselerasi lainnya dan menawarkan performa tinggi dengan biaya terendah. Kami berencana untuk mengeksplorasi tipe data FP8 baru yang dapat dikonfigurasi, dan pembulatan stokastik yang dipercepat perangkat keras untuk lebih meningkatkan efisiensi pelatihan dan kecepatan pengembangan kami. “

Trishul Chilimbi, VP, Amazon Search