Mengumumkan perluasan region untuk instans G7e pada inferensi AI SageMaker
Dengan senang hati kami mengumumkan ketersediaan instans Amazon EC2 G7e di Asia Pasifik (Seoul), Eropa (London), dan Asia Pasifik (Tokyo) untuk inferensi Amazon SageMaker AI. Instans G7e memiliki hingga 8 GPU NVIDIA RTX PRO 6000 Blackwell Server Edition dengan memori 96 GB per GPU, prosesor Intel Xeon Generasi ke-5, dan bandwidth jaringan Elastic Fabric Adapter hingga 1.600 Gbps, memberikan kinerja inferensi hingga 2,3x dibandingkan dengan instans G6e generasi sebelumnya.
Dengan perluasan region ini, Anda sekarang dapat menerapkan titik akhir inferensi pada instans G7e lebih dekat ke pengguna akhir Anda di Asia dan Eropa, mengurangi latensi untuk beban kerja AI generatif. Instans G7e menyediakan hingga 768 GB total memori GPU pada satu instans, memungkinkan Anda untuk melayani model bahasa berukuran sedang hingga besar hingga 70 miliar parameter dengan presisi FP8 tanpa konfigurasi multi-simpul. Instans ini sangat cocok untuk inferensi LLM, pembuatan gambar dan video, komputasi spasial, dan beban kerja komputasi ilmiah yang membutuhkan kapasitas memori GPU dan bandwidth yang tinggi.
Instans G7e untuk inferensi AI SageMaker kini tersedia di Asia Pasifik (Seoul), Eropa (London), dan Asia Pasifik (Tokyo), selain region yang sebelumnya didukung. Untuk informasi harga tentang instans ini, silakan kunjungi halaman harga kami.