Amazon SageMaker HyperPod sekarang mendukung Instans Spot
Amazon SageMaker HyperPod kini mendukung Instans Spot, memungkinkan pelanggan mengurangi biaya komputasi GPU hingga 90% dibandingkan dengan instans sesuai permintaan di HyperPod. Seiring bertambahnya beban kerja AI, mengoptimalkan biaya infrastruktur menjadi semakin penting. Integrasi Spot SageMaker HyperPod mengatasi hal ini dengan memungkinkan pelanggan memanfaatkan kapasitas EC2 cadangan secara otomatis dengan diskon signifikan, sambil memberikan pengalaman AI terkelola yang dinikmati pelanggan di HyperPod.
Dengan Instans Spot, organisasi dapat menjalankan beban kerja toleran kesalahan secara hemat biaya dalam skala besar. Anda dapat menggabungkan Spot dengan instans sesuai permintaan untuk menyeimbangkan pengoptimalan biaya dengan ketersediaan yang terjamin. Fitur ini tersedia di klaster HyperPod EKS dan terintegrasi dengan Karpenter untuk penskalaan otomatis cerdas, secara otomatis menemukan kapasitas Spot yang tersedia dan menangani gangguan instans.
Anda dapat mengaktifkan Instans Spot saat membuat grup instans melalui CreateCluster API atau Konsol AWS. Fitur ini mendukung semua jenis instans yang tersedia di HyperPod, termasuk CPU dan GPU. Ketersediaan kapasitas tergantung pada pasokan dari EC2 dan bervariasi menurut region dan jenis instans. Dukungan instans spot tersedia di semua region tempat SageMaker HyperPod saat ini tersedia. Untuk mempelajari lebih lanjut, silakan lihat dokumentasi.