Ankündigung von Sticky-Session-Routing für Amazon SageMaker Inference
Heute kündigen wir die Verfügbarkeit von Sticky-Session-Routing auf Amazon SageMaker Inference an, mit dessen Hilfe Kunden die Performance und das Benutzererlebnis ihrer generativen KI-Anwendungen durch die Nutzung bereits aufbereiteter Daten steigern. Amazon SageMaker erleichtert die Bereitstellung von ML-Modellen einschließlich Basismodellen (FMs), um Inferenzanfragen zum besten Preis-Leistungs-Verhältnis für jeden Anwendungsfall zu stellen.
Durch die Aktivierung von Sticky Sessions werden alle Anfragen für dieselbe Sitzung an dieselbe Instance weitergeleitet, Ihre ML-Anwendung ist damit in der Lage bereits aufbereitete Daten wiederverwenden, um die Latenz zu reduzieren und das Benutzererlebnis zu steigern. Dies ist besonderes nützlich, wenn Kunden größere Datennutzlasten verarbeiten möchten oder nahtlose interaktive Erlebnisse benötigen. Nun können Kunden von diesem Feature profitieren und frühere Inferenzanfragen nutzen, um innovative zustandsabhängige KI-Anwendungen auf SageMaker zu erstellen. Dazu müssen Kunden eine Sitzungs-ID mir ihrer ersten Anfrage erstellen und dann mithilfe dieser Sitzungs-ID angeben, dass SageMaker alle nachfolgenden Anfragen an dieselbe Instance weiterleiten soll. Nach Abschluss der Sitzungen können diese auch gelöscht werden, um Ressourcen für neue Sitzungen freizugeben.
Dieses Feature ist in allen Regionen verfügbar, in denen SageMaker verfügbar ist. Hier erfahren Sie mehr über die Bereitstellung von Modellen auf SageMaker. Weitere Informationen über dieses Feature erhalten Sie in unserer Dokumentation.