Amazon SageMaker AI sekarang mendukung kapasitas Rencana Pelatihan Fleksibel untuk Inferensi
Rencana Pelatihan Fleksibel (FTP) Amazon SageMaker AI sekarang mendukung titik akhir inferensi, memberikan pelanggan kapasitas GPU yang terjamin untuk evaluasi yang direncanakan dan puncak produksi. Sekarang, pelanggan dapat memesan jenis instans yang tepat yang mereka butuhkan dan mengandalkan SageMaker AI untuk menampilkan titik akhir inferensi secara otomatis, tanpa melakukan manajemen infrastruktur apa pun sendiri.
Ketika pelanggan merencanakan siklus pengembangan ML mereka, mereka perlu keyakinan bahwa GPU yang diperlukan untuk evaluasi model dan pengujian pra-produksi akan tersedia pada tanggal yang tepat yang mereka butuhkan. FTP memudahkan pelanggan untuk mengakses kapasitas GPU untuk menjalankan beban kerja ML. Dengan dukungan FTP untuk titik akhir inferensi, Anda memilih jenis instans pilihan, persyaratan komputasi, panjang reservasi, dan tanggal mulai untuk beban kerja inferensi Anda. Saat membuat titik akhir, Anda cukup mereferensikan reservasi ARN dan SageMaker AI secara otomatis menyediakan dan menjalankan titik akhir pada kapasitas yang dijamin untuk seluruh durasi paket. Ini menghilangkan upaya pengelolaan infrastruktur dan penjadwalan selama berminggu-minggu, memungkinkan Anda menjalankan inferensi secara dapat diprediksi sambil memfokuskan waktu Anda untuk meningkatkan kinerja model.
Dukungan Rencana Pelatihan Fleksibel untuk Inferensi AI SageMaker tersedia di region berikut: AS Timur (Virginia Utara), AS Barat (Oregon), AS Timur (Ohio).
Untuk mempelajari lebih lanjut tentang menggunakan reservasi FTP untuk titik akhir inferensi, kunjungi referensi API Inferensi AI SageMaker di sini.