Instans Trn1 Amazon EC2

Performa harga terbaik untuk melatih model deep learning di cloud

Instans Trn1 Amazon Elastic Compute Cloud (Amazon EC2) akan memberikan performa dengan harga terbaik untuk melatih model deep learning di cloud untuk kasus penggunaan seperti pemrosesan bahasa alami (NLP), penglihatan komputer, pencarian, rekomendasi, peringkat, dan masih banyak lagi. Instans Trn1 didukung oleh AWS Trainium, chip machine learning (ML) kedua yang dibuat oleh AWS yang dioptimalkan untuk pelatihan deep learning performa tinggi.

Instans Trn1 mendukung hingga 16 akselerator AWS Trainium, 800 Gbps bandwidth jaringan Elastic Fabric Adapter (EFA), dan 768 GB/s konektivitas NeuronLink dengan kecepatan yang sangat tinggi.

Instans Trn1 di-deploy di UltraClusters Amazon EC2 yang terdiri atas puluhan ribu akselerator Trainium untuk secara cepat melatih model deep learning yang paling kompleks sekalipun dengan triliunan parameter.

Developer dapat memulai instans Trn1 secara cepat dengan menggunakan AWS Neuron SDK dan dengan mudah melatih model menggunakan kerangka kerja ML terkemuka.

Instans Trn1 Amazon EC2 Baru | Amazon Web Services (1:11)

Manfaat

Performa harga terbaik untuk pelatihan model

Instans Trn1 didukung oleh akselerator AWS Trainium yang dibuat khusus untuk pelatihan ML guna menghasilkan performa harga terbaik untuk melatih model deep learning di cloud.

Mengurangi waktu pelatihan model dari hitungan bulan menjadi hari

Melakukan deployment instans Trn1 di EC2 UltraClusters untuk menskalakan pelatihan model ke 10.000+ akselerator yang saling terhubung dengan jaringan skala petabit untuk pelatihan ML tercepat di Amazon EC2.

Kemudahan penggunaan

Anda dapat secara mudah memulai instans Trn1 dengan menggunakan AWS Neuron SDK yang terintegrasi dengan kerangka kerja ML terkemuka seperti PyTorch dan TensorFlow, serta terus menggunakan alur kerja ML yang ada dengan perubahan kode minimal.

Pemaksimalan efisiensi sumber daya

Instans Trn1 dibangun di AWS Nitro System, suatu kombinasi perangkat keras khusus dan hypervisor ringan yang memberi Anda beragam kumpulan blok penyusun yang fleksibel untuk merakit sumber daya komputasi, penyimpanan, memori, dan jaringan yang Anda butuhkan untuk mendapatkan performa dan keamanan yang lebih baik.

Fitur

Akselerator AWS Trainium

Instans Trn1 didukung hingga 16 akselerator AWS Trainium yang memiliki mesin matematika khusus untuk pemrosesan algoritme DL, sehingga membuat akselerator menjadi lebih efisien daripada GPU tujuan umum untuk pelatihan model deep learning. Setiap akselerator menghasilkan hingga 210 triliun operasi per detik (TOPS) atas daya komputasi, medukung 32 GB memori bandwidth tinggi (HBM2e), dan menampilkan NeuronLink, sebuah interkoneksi tanpa blok antarinstans yang sangat tinggi sebesar 768 GB/s.

Jaringan dan penyimpanan dengan performa tinggi

Instans Trn1 menghasilkan hingga 800 Gbps jaringan performa tinggi. Instans tersebut juga mendukung Elastic Fabric Adapter (EFA), sebuah antarmuka jaringan kustom yang didesain oleh AWS guna meningkatkan efisiensi penskalaan dan menghasilkan latensi rendah untuk pelatihan yang lebih cepat. Setiap instans Trn1 juga mendukung hingga 8 TB penyimpanan NVMe SSD lokal untuk akses beban kerja yang cepat ke set data yang besar.

Amazon EC2 UltraClusters

Instans Trn1 di-deploy di Amazon EC2 UltraClusters yang terdiri atas puluhan ribu akselerator Trainium yang saling terhubung dengan jaringan skala petabit tanpa blok penuh. Developer dapat mengakses penyimpanan dengan skala petabita, throughput tinggi, dan latensi rendah menggunakan Amazon FSx for Lustre.

AWS Neuron SDK

Mulai menggunakan instans Trn1 Amazon EC2 secara mudah dengan AWS Neuron SDK. Neuron SDK terdiri atas kompiler, ekstensi kerangka kerja, pustaka waktu aktif, serta alat developer yang terintegrasi secara native dengan kerangka kerja ML, seperti TensorFlow dan PyTorch. Anda dapat menggunakan pustaka pelatihan terdistribusi, seperti Megatron-ML dan DeepSpeed untuk mendapatkan pelatihan model terdistribusi yang efisien. Neuron SDK mendukung operator dalam jumlah besar untuk model pemrosesan bahasa alami dan penglihatan komputer terkini. Developer lanjutan dapat menerapkan operator kustom dengan C++.

Dibuat di AWS Nitro System

Instans Trn1 dibuat di AWS Nitro System, yang memindahkan banyak fungsi virtualisasi tradisional ke perangkat keras dan perangkat lunak khusus untuk menghasilkan performa tinggi, ketersediaan tinggi, dan keamanan tinggi sekaligus mengurangi overhead virtualisasi.

Pelanggan

Anthropic
"Di Anthropic, kami membangun sistem AI yang andal, dapat diinterpretasikan, dan dapat diarahkan yang memiliki banyak peluang untuk menciptakan nilai secara komersial dan bermanfaat bagi publik. Perhatian penelitian kami menjangkau banyak area termasuk bahasa alami, umpan balik manusia, hukum penskalaan, pembelajaran penguatan, pembuatan kode, dan interpretabilitas. Kunci utama kesukesan kami adalah akses ke infrastruktur modern yang memungkinkan kami untuk membuat armada akselerator deep learning performa tinggi yang sangat besar. Kami berharap dapat menggunakan AWS Trainium, karena kemampuannya untuk menskalakan ke puluhan ribu simpul dan bandwidth jaringan yang lebih tinggi yang belum pernah ada sebelumnya akan memungkinkan kami untuk melakukan iterasi lebih cepat sembari menjaga kendali biaya."

Tom Brown, Co-founder di Anthropic

Sprinklr
"Model pemrosesan bahasa alami dan penglihatan komputer ML milik Sprinklr menganalisis format data berbeda yang bersumber dari postingan media, postingan blog, konten video, dan konten publik lainnya yang ada di domain publik di lebih dari 30 kanal. Berdasarkan nilai kami saat menggunakan AWS Inferentia, kami ingin sekali mencoba AWS Trainium untuk meningkatkan waktu pelatihan dan menurunkan biaya pelatihan model kami. Kami berharap dapat mengembangkan model kami di instans pelatihan performa tinggi dengan biaya yang terjangkau tersebut.”

Vasant Srinivasan, Wakil Presiden Senior Rekayasa Produk (Senior Vice President of Product Engineering) di Sprinklr

Mulai menggunakan AWS

Mendaftar akun AWS

Mendaftar akun AWS

Dapatkan akses secara instan ke AWS Tingkat Gratis.

Pelajari dengan tutorial sederhana

Pelajari dengan tutorial 10 menit

Jelajahi dan pelajari dengan tutorial sederhana.

Mulai membangun dengan EC2 di konsol

Mulai membangun di konsol

Mulai membangun dengan panduan langkah demi langkah untuk membantu Anda meluncurkan proyek AWS.