Amazon SageMaker Inference kini mendukung pembaruan bergulir untuk titik akhir komponen inferensi
Amazon SageMaker Inference kini mendukung pembaruan bergulir untuk titik akhir komponen inferensi (IC). Hal ini memungkinkan pelanggan untuk memperbarui titik akhir IC yang sedang berjalan tanpa gangguan lalu lintas sembari menggunakan instans tambahan yang minimal, alih-alih memerlukan instans ganda seperti sebelumnya. SageMaker Inference memudahkan penerapan model ML, termasuk model fondasi (FM). Sebagai kemampuan SageMaker Inference, IC memungkinkan pelanggan untuk menyebarkan beberapa FM pada titik akhir yang sama dan mengontrol alokasi akselerator untuk setiap model.
Kini, pembaruan bergulir memungkinkan pelanggan memperbarui IC dalam titik akhir secara batch, tidak lagi sekaligus seperti metode pembaruan biru/hijau sebelumnya. Pembaruan biru/hijau memerlukan penyediaan armada IC baru dengan model yang diperbarui sebelum mengalihkan lalu lintas dari armada lama ke armada baru, yang secara efektif menggandakan jumlah instans yang diperlukan. Dengan pembaruan bergulir, IC baru dibuat dalam batch yang lebih kecil, sehingga secara signifikan mengurangi jumlah instans tambahan yang dibutuhkan selama pembaruan. Hal ini membantu pelanggan meminimalkan biaya dari kapasitas ekstra dan mempertahankan persyaratan buffer yang lebih kecil dalam reservasi kapasitas mereka.
Pembaruan bergulir untuk IC tersedia di semua region tempat IC didukung: Asia Pasifik (Tokyo, Seoul, Mumbai, Singapura, Sydney, Jakarta), Kanada (Pusat), Eropa (Frankfurt, Stockholm, Irlandia, London), Timur Tengah (UEA), Amerika Selatan (Sao Paulo), AS Timur (Virginia Utara, Ohio), dan AS Barat (California Utara, Oregon). Untuk mempelajari lebih lanjut, lihat dokumentasi.