AWS Trainium

Trn3 UltraServers menghadirkan inovasi terbaru dalam teknologi UltraServer yang ditingkatkan, dengan NeuronSwitch-v1 untuk kolektif all-to-all yang lebih cepat di hingga 144 chip Trainium3. Trn3 UltraServer menyediakan HBM3e hingga 20,7 TB, bandwidth memori 706 Tb/s, dan 362 MXFP8 PFLOP, memberikan performa hingga 4,4x lebih tinggi dan efisiensi energi 4x lebih baik daripada UltraServers Trn2. Trn3 memberikan performa tertinggi dengan biaya terendah untuk pelatihan dan inferensi dengan model MoE dan tipe penalaran parameter 1T+ terbaru, dan mendorong throughput yang jauh lebih tinggi untuk layanan GPT-OSS dalam skala besar dibandingkan dengan instans berbasis Trainium2.

UltraServers Trn2 tetap menjadi pilihan beperforma tinggi dan hemat biaya untuk pelatihan AI generatif dan inferensi model hingga parameter 1T. Instans Trn2 menghadirkan hingga 16 chip Trainium2, dan UltraServers Trn2 menghadirkan hingga 64 chip Trainium2 yang terhubung dengan NeuronLink, interkoneksi antar-chip eksklusif.

Instans Trn1 menghadirkan hingga 16 chip Trainium dan memberikan hingga 3 FP8 PFLOP, 512 GB HBM dengan bandwidth memori 9,8 TB/s, dan jaringan EFA hingga 1,6 Tbps.

AWS Neuron SDK membantu Anda mengeluarkan performa penuh instans Trn3, Trn2, dan Trn1 sehingga Anda dapat fokus pada pembuatan dan deployment model, serta mempercepat waktu masuk pasar. AWS Neuron terintegrasi secara native dengan PyTorch Jax dan pustaka penting, seperti Hugging Face, vLLM, PyTorch Lightning, dan banyak lagi. Ini mengoptimalkan model secara langsung untuk pelatihan dan inferensi terdistribusi, sekaligus memberikan wawasan mendalam untuk pembuatan profil dan debugging. AWS Neuron terintegrasi dengan layanan, seperti Amazon SageMaker, Amazon SageMaker Hyerpod, Amazon Elastic Kubernetes Service (Amazon EKS), Amazon Elastic Container Service (Amazon ECS), AWS ParallelCluster, dan AWS Batch, serta layanan pihak ketiga, seperti Ray (Anyscale), Domino Data Lab, dan Datadog.

Untuk memberikan performa tinggi sekaligus memenuhi tujuan akurasi, AWS Trainium mendukung berbagai tipe data
presisi campuran, seperti BF16, FP16, FP8, MXFP8, dan MXFP4. Untuk mendukung laju inovasi yang cepat dalam AI generatif,
Trainium2 dan Trainium3 memberikan pengoptimalan perangkat keras untuk 4x ketersebaran (16:4), penskalaan mikro, pembulatan
stokastik, dan mesin kolektif khusus.

Neuron memungkinkan developer untuk mengoptimalkan beban kerja menggunakan Antarmuka Kernel Neuron (NKI) untuk pengembangan kernel. NKI mengekspos Trainium ISA lengkap, memungkinkan kontrol penuh atas pemrograman tingkat instruksi, alokasi memori, dan penjadwalan eksekusi. Selagi membangun kernel Anda, developer dapat menggunakan Pustaka Kernel Neuron, yang bersumber terbuka, dan siap untuk menerapkan kernel yang dioptimalkan. Terakhir, Neuron Explore menyediakan visibilitas tumpukan penuh, menghubungkan kode developer ke mesin di perangkat keras.