Amazon SageMaker AI, otomatik container görüntüsü önbelleğe alma ile üretken yapay zeka çıkarımı ölçeklendirme süresini yarıya kadar kısaltır
Amazon SageMaker Çıkarım artık container görüntüsü önbelleğe almayı destekleyerek, ölçeklendirme olayları sırasında üretken yapay zeka modelleri için 2 kata kadar daha hızlı uçtan uca ölçeklendirme olanağı sağlıyor. Hizmet, uç noktanızın ölçeği genişletildiğinde container imajınızı önbelleğe alır, böylece yeni bulut sunucuları büyük container görüntülerinin Amazon ECR'den çekilmesini beklemeden trafiği daha hızlı sunmaya başlayabilir.
Üretken yapay zeka iş yükleri, derin öğrenme çerçeveleri ve model sunumu için genellikle büyük container görüntüleri (10 GB veya daha fazla) kullanır. Önceden, ölçeklendirme sırasında başlatılan her yeni bulut sunucusu, ECR'den tam görüntüyü çekmek zorundaydı ve bu birkaç dakika hazırlıksız başlangıç gecikmesine sebep oluyordu. Container görüntüsü önbelleğe alma, görüntüyü önceden çekerek bu darboğazı ortadan kaldırır, böylece yeni bulut sunucuları yerel olarak halihazırda mevcut olan container ile başlatılır. Müşterilerin herhangi bir değişiklik yapmasına gerek yoktur. Hizmet, uç nokta veya çıkarım bileşeni yapılandırmanızda belirtilen görüntü URI'sini otomatik olarak önbelleğe alır. Bu özellik hızlandırıcı bulut sunucusu türlerini, tek model uç noktalarını ve çıkarım bileşeni tabanlı uç noktalarını destekler.
Bu lansmanla birlikte SageMaker Çıkarım artık üretken yapay zeka için kapsamlı bir ölçeklendirme optimizasyon paketi sunuyor: 6 kata kadar daha hızlı yük algılama için dakika altı eş zamanlılık ölçümleri, mevcut bulut sunucularında daha hızlı ölçeklendirme için bulut sunucusu deposu container önbelleğe alma ve yeni bunut sunucularında 2 kata kadar daha hızlı ölçeklendirme için container görüntüsü önbelleğe alma.
Container görüntüsü önbelleğe alma, SageMaker Çıkarım'ın desteklendiği tüm AWS ticari bölgelerinde kullanılabilir. Daha fazla bilgi için lansman blogunu ziyaret edin.