Amazon SageMaker AI mengumumkan ketersediaan instans P5e dan G6e untuk Inferensi
Kami dengan bangga mengumumkan ketersediaan umum instans G6e yang dioptimalkan untuk inferensi (didukung oleh GPU NVIDIA L40S Tensor Core) dan P5e (didukung oleh GPU NVIDIA H200 Tensor Core) di Amazon SageMaker.
Dengan memori GPU bandwidth tinggi sebesar 1128 GB di 8 GPU NVIDIA H200, penyimpanan SSD NVMe lokal sebesar 30 TB, 192 vCPU, dan memori sistem sebesar 2 TiB, instans ml.p5e.48xlarge dapat memberikan performa yang luar biasa untuk beban kerja inferensi AI yang membutuhkan komputasi intensif seperti model bahasa besar dengan parameter 100B+, model pondasi multi-modal, pembuatan data sintetis, dan aplikasi AI generatif yang kompleks termasuk tanya jawab, pembuatan kode, video, dan pembuatan gambar.
Didukung oleh 8 GPU NVIDIA L40s Tensor Core dengan memori 48 GB per GPU dan prosesor AMD EPYC generasi ketiga, instans ml.g6e dapat memberikan kinerja hingga 2,5x lebih baik dibandingkan dengan instans ml.g5. Pelanggan dapat menggunakan instans ml.g6e untuk menjalankan Inferensi AI untuk model bahasa besar (LLM) dengan hingga 13B parameter dan model difusi untuk menghasilkan gambar, video, dan audio.
Instans ml.p5e dan ml.g6e sekarang tersedia untuk digunakan pada SageMaker di AS Timur (Ohio) dan AS Barat (Oregon). Untuk memulai, cukup minta peningkatan batas melalui AWS Service Quotas. Untuk informasi harga pada instans ini, silakan kunjungi halaman harga kami. Untuk informasi lebih lanjut tentang penerapan model dengan SageMaker, lihat gambaran umum di sini dan dokumentasi di sini. Untuk mempelajari lebih lanjut mengenai instans ini secara umum, silakan kunjungi halaman produk P5e dan G6e.