Amazon SageMaker HyperPod sekarang mendukung grup instans fleksibel
Amazon SageMaker HyperPod kini mendukung grup instans fleksibel, memungkinkan pelanggan menentukan beberapa jenis instans dan beberapa subnet dalam satu grup instans. Pelanggan yang menjalankan beban kerja pelatihan dan inferensi di HyperPod sering perlu menjangkau beberapa jenis instans dan zona ketersediaan untuk ketahanan kapasitas, pengoptimalan biaya, dan pemanfaatan subnet, tetapi sebelumnya harus membuat dan mengelola grup instans terpisah untuk setiap jenis instans dan kombinasi availability zone, menghasilkan overhead operasional di seluruh konfigurasi klaster, penskalaan, patching, dan monitoring.
Dengan grup instans fleksibel, Anda dapat menentukan daftar tipe instans yang berurutan menggunakan parameter InstanceRequirements baru dan menyediakan beberapa subnet di seluruh availability zone dalam satu grup instans. HyperPod menyediakan instans yang menggunakan tipe prioritas tertinggi terlebih dahulu dan secara otomatis kembali ke tipe prioritas rendah ketika kapasitas tidak tersedia, sehingga pelanggan tidak perlu mencoba lagi secara manual di seluruh grup instans individual. Pelatihan pelanggan mendapat manfaat dari distribusi multi-subnet dalam availability zone untuk menghindari kehabisan subnet. Pelanggan inferensi yang melakukan penskalaan secara manual mendapatkan fallback berbasis prioritas otomatis di seluruh jenis instans tanpa perlu mencoba lagi setiap grup instans secara individual, sementara mereka yang menggunakan penskalaan otomatis Karpenter dapat mereferensikan satu grup instans fleksibel. Karpenter secara otomatis mendeteksi jenis instans yang didukung dari grup instans fleksibel dan menyediakan tipe optimal dan availability zone berdasarkan persyaratan pod. Anda dapat membuat grup instans fleksibel menggunakan API CreateCluster dan UpdateCluster, AWS CLI, atau Konsol Manajemen AWS.
Grup instans fleksibel tersedia untuk klaster SageMaker HyperPod menggunakan orkestrator EKS di semua AWS Region tempat SageMaker HyperPod didukung. Untuk mempelajari selengkapnya, lihat Grup instans fleksibel.