Pelanggan AWS Trainium

Di Anthropic, jutaan orang mengandalkan Claude setiap hari untuk melakukan pekerjaan mereka. Kami mengumumkan dua kemajuan besar dengan AWS: Pertama, "mode yang dioptimalkan untuk atensi" baru untuk Claude 3.5 Haiku yang berjalan 60% lebih cepat di Trainium2 melalui Amazon Bedrock. Kedua, Project Rainier, klaster baru dengan ratusan ribu chip Trainium2 yang menghasilkan ratusan exaflop, yang lebih dari lima kali ukuran klaster kami sebelumnya. Project Rainier akan membantu mendukung penelitian kami dan penskalaan generasi berikutnya. Artinya pelanggan kami dapat menikmati kecerdasan yang lebih banyak, harga yang lebih rendah, dan kecepatan yang lebih baik. Kami tidak hanya membangun AI yang lebih cepat, tetapi juga membangun AI tepercaya yang dapat ditingkatkan.

Mosaic AI Databricks memungkinkan organisasi untuk membangun dan menerapkan Sistem Agen yang berkualitas. Ini dibangun secara native di atas lakehouse data, yang memungkinkan pelanggan untuk dengan mudah dan aman menyesuaikan model dengan data perusahaan dan memberikan output yang lebih akurat dan spesifik domain. Berkat performa dan efektivitas biaya Trainium, pelanggan dapat menskalakan pelatihan model pada Mosaic AI dengan biaya rendah. Ketersediaan Trainium2 akan memberikan manfaat besar bagi Databricks dan pelanggannya karena permintaan Mosaic AI terus meningkat di semua segmen pelanggan dan di seluruh dunia. Databricks, salah satu perusahaan data dan AI terbesar di dunia, berencana menggunakan TRN2 untuk memberikan hasil yang lebih baik dan menurunkan TCO hingga 30% bagi pelanggannya.

Di poolside, kami siap untuk membangun dunia tempat AI akan mendukung sebagian besar pekerjaan yang berharga secara ekonomi dan kemajuan ilmiah. Kami percaya bahwa pengembangan perangkat lunak akan menjadi kemampuan utama yang pertama dalam jaringan neural yang mencapai kecerdasan tingkat manusia karena ini adalah domain yang memungkinkan kami menggabungkan pendekatan Pencarian dan Pembelajaran yang terbaik. Untuk mengaktifkannya, kami sedang membangun model dasar, API, dan Asisten untuk menghadirkan kekuatan AI generatif ke tangan developer (atau keyboard) Anda. Kunci utama untuk mengaktifkan teknologi ini adalah infrastruktur yang kami gunakan untuk membangun dan menjalankan produk. Dengan AWS Trainium2, pelanggan kami akan dapat meningkatkan penggunaan poolside dengan rasio performa sesuai harga yang tidak dapat ditandingi oleh akselerator AI lainnya. Selain itu, kami berencana untuk melatih model masa depan dengan UltraServers Trainium2 dengan penghematan yang diharapkan sebesar 40% dibandingkan dengan instans EC2 P5.

Kami telah menguji AWS Trainium dan Inferentia di berbagai tugas, mulai dari inferensi standar hingga aplikasi yang disempurnakan dengan baik. Kinerja chip AI ini telah memungkinkan kami meraih pencapaian penting dalam penelitian dan pengembangan kami. Untuk tugas inferensi batch dan online, kami melihat peningkatan throughput 7x dibandingkan dengan GPU. Peningkatan performa ini mendorong perluasan ke lebih banyak kasus penggunaan di seluruh organisasi. Generasi terbaru chip Trainium2 membuka fitur inovatif untuk GenAI dan membuka pintu untuk inovasi di Itau.

Kami sangat senang dengan peluncuran AWS TRN2 karena kami percaya AWS akan menawarkan performa sesuai biaya per token terbaik dan kecepatan tertinggi saat ini untuk model inti Ninja LLM kami yang didasarkan pada Llama 3.1 405B. Kami takjub mengetahui latensi rendah Trn2 ditambah dengan harga yang kompetitif dan ketersediaan sesuai permintaan. Kami tidak sabar menyambut kedatangan Trn2!

Migrasi ke instans Trn1 cukup mudah dan sederhana. Kami dapat melatih LLM parameter 13B kami hanya dalam 8 hari, menggunakan klaster 4.096 chip Trainium! Setelah kesuksesan yang kami capai dengan model yang lebih kecil, kami menyempurnakan LLM baru yang lebih besar berdasarkan Llama-3-Swallow-70B. Dengan memanfaatkan Trainium, kami dapat mengurangi biaya pelatihan hingga 50% dan meningkatkan efisiensi energi sebesar 25% dibandingkan dengan menggunakan mesin GPU terbaru di AWS. Kami sangat senang memanfaatkan Chip AI AWS generasi terbaru, Trainium2, untuk terus memberikan performa terbaik bagi pelanggan kami dengan biaya terendah.

Yang paling saya sukai dari pustaka AWS Neuron NxD Inference adalah betapa mulusnya pustaka itu terintegrasi dengan model PyTorch. Pendekatan NxD itu sederhana dan ramah pengguna. Tim kami mampu menyiapkan model HuggingFace PyTorch dengan perubahan kode minimal dalam jangka waktu singkat. Mengaktifkan fitur-fitur canggih, seperti Continuous Batching dan Speculative Decoding itu sangat mudah. Kemudahan penggunaan ini meningkatkan produktivitas developer, yang memungkinkan tim untuk lebih fokus pada inovasi bukan pada tantangan integrasi.

Pelanggan meraih kinerja hingga 20% lebih tinggi dan token 1,5x lebih tinggi per dolar dengan instans EC2 Inf2 dibandingkan dengan instans EC2 G5. Kemampuan penyempurnaan Refact.ai makin meningkatkan kemampuan pelanggan kami untuk memahami dan beradaptasi dengan basis kode dan lingkungan unik organisasi mereka. Kami juga senang menawarkan kemampuan Trainium2, yang akan membuat pemrosesan jadi lebih cepat dan lebih efisien dalam alur kerja kami. Teknologi canggih ini akan memungkinkan pelanggan kami untuk mempercepat proses pengembangan perangkat lunak, dengan meningkatkan produktivitas developer sekaligus mempertahankan standar keamanan yang ketat untuk basis kode mereka.

KARAKURI, membangun alat AI untuk meningkatkan efisiensi dukungan pelanggan berbasis web dan menyederhanakan pengalaman pelanggan. Alat-alat ini termasuk chatbot AI yang dilengkapi dengan fungsi AI generatif, alat sentralisasi FAQ, dan alat respons email, yang semuanya meningkatkan efisiensi dan kualitas dukungan pelanggan. Dengan memanfaatkan AWS Trainium, kami berhasil melatih KARAKURI LM 8x7B Chat v0.1. Untuk perusahaan rintisan, seperti kami, kami perlu mengoptimalkan waktu untuk membangun dan biaya yang diperlukan untuk melatih LLM. Dengan dukungan AWS Trainium dan AWS Team, kami dapat mengembangkan LLM tingkat praktis dalam waktu singkat. Selain itu, dengan mengadopsi AWS Inferentia, kami dapat membangun layanan inferensi yang cepat dan hemat biaya. Kami bersemangat menyambut Trainium2 karena ini akan merevolusi proses pelatihan kami, yakni mengurangi waktunya kami hingga 2x dan mendorong efisiensinya ke tingkat yang baru!

Dengan misi “menemukan kembali mekanisme penciptaan nilai dan memajukan umat manusia”, Stockmark membantu banyak perusahaan menciptakan dan membangun bisnis inovatif dengan menyediakan teknologi pemrosesan bahasa alami yang mutakhir. Layanan analisis dan pengumpulan data baru Stockmark yang disebut Anews dan SAT, layanan penataan data yang secara drastis meningkatkan penggunaan AI generatif dengan mengatur semua bentuk informasi yang disimpan dalam suatu organisasi, mengharuskan kami untuk memikirkan kembali cara kami membangun dan melakukan deployment model untuk mendukung produk ini. Dengan 256 akselerator Trainium, kami telah mengembangkan dan merilis stockmark-13b, model bahasa besar dengan 13 miliar parameter yang dilatih sejak awal pada set data korpus Jepang 220B token. Instans Trn1 membantu kami mengurangi biaya pelatihan hingga 20%. Dengan memanfaatkan Trainium, kami berhasil mengembangkan LLM yang dapat menjawab pertanyaan kritis bisnis untuk para profesional dengan akurasi dan kecepatan yang belum pernah dicapai sebelumnya. Pencapaian ini sangat penting mengingat tantangan luas yang dihadapi perusahaan dalam menjamin sumber daya komputasi yang memadai untuk pengembangan model. Dengan kecepatan dan pengurangan biaya instans Trn1 yang mengesankan, kami senang melihat manfaat tambahan yang akan dibawa Trainium2 ke alur kerja dan pelanggan kami.