Amazon SageMaker AI artık otomatik bulut sunucusu geri dönüşü ile kapasiteye duyarlı çıkarımı destekliyor
Amazon SageMaker AI çıkarım uç noktaları artık önceliklendirilmiş bir bulut sunucusu türleri listesi genelinde esnek sağlamayı destekliyor. Tercih ettiğiniz bulut sunucusu türü yetersiz kapasiteye sahipse SageMaker AI, listenizdeki bir sonraki kullanılabilir seçeneğe otomatik olarak geçer, böylece uç nokta oluşturma ve otomatik ölçeklendirme, manuel müdahale olmaksızın sorunsuz çalışır. Bu, üretimde yapay zeka/ML modelleri dağıtan ekiplere kapasite kısıtlamalarını sorunsuz biçimde karşılama esnekliği sağlar, uç noktaların güvenilir biçimde devreye girmesini ve talep üzerine ölçeklendirilmesini güvence altına alır.
Bulut sunucusu havuzu desteğiyle önceliklendirilmiş bir bulut sunucusu türleri listesi tanımlarsınız, SageMaker AI ise listenizi sırayla işleyerek kapasiteyi otomatik olarak sağlar. Bu işlem uç nokta oluşturma, güncelleştirme ve ölçeklendirme için geçerlidir. Ölçeği küçültürken SageMaker AI, en düşük öncelikli bulut sunucularını önce kaldırır, böylece filo daralırken tercih ettiğiniz altyapı korunur. Bu işlev, sıfıra ölçeklendirilen uç noktalar dahil Tek Model Uç Noktaları, Çıkarım Bileşeni tabanlı uç noktalar ve Zaman Uyumsuz Çıkarım uç noktaları için çalışır. Sıfıra ölçeklendirilen uç noktalarda SageMaker AI, ölçeği büyütürken mevcut en yüksek öncelikli havuzdan tedarik eder.
Geri dönüş bulut sunucusu türleri GPU belleği ve işlem kapasitesi açısından farklılık gösterdiğinden, öncelik listenizdeki her bulut sunucusu türü için farklı bir optimize edilmiş model belirleyebilirsiniz. Bu yapıtları kendiniz hazırlayabilir veya bulut sunucusu türü başına donanıma özgü optimize edilmiş yapılandırmaları otomatik olarak oluşturan SageMaker AI çıkarım önerilerinden yararlanabilirsiniz. Bulut sunucusu türü başına CloudWatch ölçümleri, ayrıca tek bir uç nokta içinde donanım türüne göre gecikme süresi, aktarım hızı, GPU kullanımı ve bulut sunucusu sayısına ilişkin görünürlük sağlar.
Bu özellik bugün şu bölgelerde kullanılabilir: ABD Doğu (Kuzey Virginia), ABD Doğu (Ohio), ABD Batı (Oregon), Kanada (Orta), Güney Amerika (São Paulo), Avrupa (İrlanda), Avrupa (Londra), Avrupa (Frankfurt), Avrupa (Stokholm), Avrupa (Zürih), Asya Pasifik (Tokyo), Asya Pasifik (Seul), Asya Pasifik (Singapur), Asya Pasifik (Sidney), Asya Pasifik (Mumbai) ve Asya Pasifik (Cakarta). Daha fazla bilgi edinmek için SageMaker AI belgelerini ziyaret edin.