Amazon SageMaker HyperPod sekarang mendukung penskalaan otomatis menggunakan Karpenter
Amazon SageMaker HyperPod kini mendukung penskalaan otomatis simpul terkelola menggunakan Karpenter, memungkinkan pelanggan untuk secara otomatis menskalakan klaster mereka untuk memenuhi permintaan inferensi dan pelatihan dinamis. Beban kerja inferensi real-time memerlukan penskalaan otomatis untuk mengatasi pola lalu lintas yang tidak dapat diprediksi dan mempertahankan perjanjian tingkat layanan, sambil mengoptimalkan biaya. Namun, organisasi sering berjuang dengan overhead operasional untuk menginstal, mengonfigurasi, dan memelihara solusi penskalaan otomatis yang kompleks. Penskalaan otomatis simpul yang dikelola HyperPod menghilangkan beban berat yang tidak terdiferensiasi dari pengaturan dan pemeliharaan Karpenter, sambil memberikan ketahanan terintegrasi dan kemampuan toleransi kesalahan.
Penskalaan otomatis pada HyperPod dengan Karpenter memungkinkan pelanggan mencapai penyediaan just-in-time yang dengan cepat menyesuaikan komputasi GPU untuk lonjakan lalu lintas inferensi. Pelanggan dapat menskalakan hingga nol simpul selama periode permintaan rendah tanpa mempertahankan infrastruktur pengontrol khusus dan mendapatkan keuntungan dari pemilihan simpul yang sadar beban kerja yang mengoptimalkan jenis dan biaya instans. Untuk beban kerja inferensi, ini menyediakan penskalaan kapasitas otomatis untuk menangani ledakan lalu lintas produksi, pengurangan biaya melalui konsolidasi simpul cerdas selama periode idle, dan integrasi tanpa batas dengan autoscaler pod yang digerakkan oleh peristiwa seperti KEDA. Beban kerja pelatihan juga mendapat manfaat dari pengoptimalan sumber daya otomatis selama siklus pengembangan model. Anda dapat mengaktifkan penskalaan otomatis di HyperPod menggunakan UpdateCluster API dengan mode AutoScaling diatur ke "Aktifkan" dan AutoScalerType disetel ke "Karpenter".
Fitur ini tersedia di semua AWS Region di mana klaster SageMaker HyperPod EKS didukung. Untuk mempelajari selengkapnya tentang penskalaan otomatis di SageMaker HyperPod dengan Karpenter, lihat panduan pengguna dan blog.