Amazon SageMaker HyperPod kini mendukung instans G7e dan r5d.16xlarge
Amazon SageMaker HyperPod kini mendukung instans G7e dan r5d.16xlarge. SageMaker HyperPod adalah infrastruktur yang dibangun khusus untuk mengembangkan, melatih, dan menerapkan model dasar dalam skala besar. Infrastruktur ini menyediakan lingkungan yang tangguh dan berperforma tinggi dengan toleransi kesalahan bawaan, pemulihan klaster otomatis, dan pustaka pelatihan terdistribusi yang dioptimalkan, sehingga mengurangi beban berat yang tidak terdiferensiasi dalam mengelola infrastruktur AI/ML skala besar.
Instans G7e didukung oleh GPU NVIDIA RTX PRO 6000 Blackwell Server Edition dan memberikan performa inferensi hingga 2,3x lebih baik daripada instans G6e, sehingga Anda dapat memproses lebih banyak permintaan per detik sekaligus mengurangi latensi. Dengan total memori GPU hingga 768 GB, instans G7e memungkinkan Anda menerapkan model bahasa yang lebih besar atau menjalankan beberapa model di satu titik akhir. Anda dapat menggunakan instans ini untuk menerapkan LLM, AI agentik, AI generatif multimodal, dan model AI fisik. Instans G7e juga cocok untuk penyempurnaan simpul tunggal yang hemat biaya atau pelatihan NLP, visi komputer, dan model AI generatif yang lebih kecil, dengan TFLOP hingga 1,27x dan bandwidth GPU-ke-GPU hingga 4x dibandingkan dengan G6e. Selain itu, HyperPod kini juga mendukung r5d.16xlarge. Instans r5d.16xlarge menyediakan 64 vCPU, memori 512 GB, dan penyimpanan instans SSD NVMe 5 x 600 GB, didukung oleh prosesor Intel Xeon Platinum seri 8000 dengan frekuensi turbo all-core berkelanjutan hingga 3,1 GHz. Instans ini sangat cocok untuk prapemrosesan data pelatihan terdistribusi terutama dengan kerangka kerja seperti Ray, rekayasa fitur skala besar, dan menjalankan layanan orkestrasi yang membutuhkan banyak memori bersamaan dengan komputasi GPU.
Instans G7e tersedia di AS Timur (Virginia Utara), AS Timur (Ohio), Asia Pasifik (Tokyo), dan AS Barat (Oregon) dan r5d.16xlarge tersedia di semua wilayah tempat Amazon SageMaker HyperPod tersedia.