Amazon SageMaker AI reduziert die Zeit für das Skalieren generativer KI-Inferenzen durch automatisches Container-Image-Caching um bis zu die Hälfte
Amazon SageMaker Inference unterstützt jetzt Container-Image-Caching und ermöglicht so eine bis zu zweimal schnellere End-to-End-Skalierung für generative KI-Modelle bei Skalierereignissen. Wenn Ihr Endpunkt skaliert wird, speichert der Service Ihr Container-Image vorab im Cache, sodass neue Instances den Datenverkehr schneller bereitstellen können, ohne darauf warten zu müssen, dass große Container-Images aus Amazon ECR abgerufen werden.
Generative KI-Workloads verwenden in der Regel große Container-Images (10 GB oder mehr) für Deep Learning-Frameworks und die Bereitstellung von Modellen. Bisher musste jede neue Instance, die während der Skalierung gestartet wurde, das vollständige Image aus ECR abrufen, was zu mehreren Minuten Kaltstartlatenz führte. Durch das Container-Image-Caching wird dieser Engpass behoben, indem das Image vorab abgerufen wird, sodass neue Instances gestartet werden, wobei der Container bereits lokal verfügbar ist. Kunden müssen keine Änderungen vornehmen. Der Service speichert automatisch die Image-URI, die in Ihrer Endpunkt- oder Inferenzkomponentenkonfiguration angegeben ist. Diese Funktion unterstützt Accelerator-Instance-Typen, Einzelmodell-Endpunkte und Endpunkte, die auf Inferenzkomponenten basieren.
Mit dieser Markteinführung bietet SageMaker Inference nun eine umfassende Suite zur Skalierungsoptimierung für generative KI: Parallelitätsmetriken unter einer Minute für eine bis zu 6-mal schnellere Lasterkennung, Instance-Store-Container-Caching für eine schnellere Skalierung auf bestehenden Instances und Container-Image-Caching für eine bis zu 2-mal schnellere Skalierung auf neuen Instances.
Container-Image-Caching ist in allen AWS-Marktregionen verfügbar, in denen SageMaker Inference unterstützt wird. Weitere Informationen finden Sie im Blog zur Markteinführung.