Sesuaikan versi perangkat lunak dan driver deployment model Amazon SageMaker Anda
Anda sekarang dapat memilih versi perangkat lunak dan driver yang digunakan oleh instans yang paling sesuai dengan kebutuhan Anda saat menerapkan model di SageMaker. Amazon SageMaker mempermudah melakukan deployment model ML termasuk model fondasi (FM) untuk membuat permintaan inferensi dengan performa harga terbaik untuk setiap kasus penggunaan.
Sebelumnya, pelanggan harus menggunakan perangkat lunak preset dan versi driver yang ditentukan oleh SageMaker pada instans terkelola di belakang titik akhir. Sekarang pelanggan dapat menentukan parameter “InferenceAmiVersion” saat mengonfigurasi titik akhir untuk memilih kombinasi versi perangkat lunak dan driver (seperti driver Nvidia dan versi CUDA) yang paling memenuhi persyaratan mereka. Ini memungkinkan Anda menyesuaikan lingkungan hosting Anda untuk memenuhi kinerja, kompatibilitas, skalabilitas, dan persyaratan operasional aplikasi ML Anda. Dengan menggunakan parameter ini, Anda juga dapat menurunkan versi driver dan meningkatkan versi driver untuk titik akhir sesuai jadwal Anda sendiri.
Fitur ini tersedia di semua region di mana SageMaker tersedia. Anda dapat mempelajari lebih lanjut tentang men-deploy model di SageMaker di sini dan lebih lanjut tentang fitur ini di dokumentasi kami.