Amazon EKS sekarang mendukung hingga 100.000 simpul pekerja per klaster
Hari ini, Amazon EKS mengumumkan dukungan hingga 100.000 simpul pekerja dalam sebuah klaster, memungkinkan Anda menjalankan pelatihan AI/ML skala ultra dan beban kerja inferensi dalam satu klaster. Dengan tipe instans komputasi terakselerasi generasi baru Amazon EC2, 100.000 simpul pekerja mendukung hingga 1,6 juta chip Trainium dengan instans Trn2 dan 800.000 GPU NVIDIA dengan instans P5 dan P6 dalam satu klaster. Ini memungkinkan Anda menjalankan beban kerja AI/ML skala ultra yang mengharuskan semua akselerator komputasi tersedia dalam satu klaster, karena beban kerja ini tidak dapat dengan mudah didistribusikan ke beberapa klaster.
Model AI paling canggih dengan triliunan parameter menunjukkan kemampuan yang ditingkatkan secara signifikan dalam memahami konteks, penalaran, dan menyelesaikan tugas-tugas kompleks. Untuk membangun dan mengoperasikan model yang semakin kuat ini, organisasi memerlukan akses ke sejumlah besar akselerator komputasi dalam satu klaster. Akses terkonsolidasi ke kumpulan akselerator komputasi yang begitu besar memberikan manfaat penting: memungkinkan organisasi untuk membangun dan men-deploy model AI yang lebih kuat daripada sebelumnya, mengurangi biaya dengan berbagi akselerator komputasi secara efisien antara beban kerja pelatihan dan inferensi, dan memungkinkan penggunaan tanpa batas alat dan kerangka kerja AI/ML yang ada yang tidak dirancang untuk bekerja di seluruh klaster.
Untuk mempelajari lebih lanjut, lihat blog peluncuran.