Veröffentlicht am: May 10, 2023
Wir freuen uns, heute die allgemeine Verfügbarkeit der Unterstützung von bereitgestellter Nebenläufigkeit für Amazon SageMaker Serverless Inference bekannt zu geben. Die bereitgestellte Nebenläufigkeit ermöglicht Ihnen die Bereitstellung von Modellen auf Serverless-Endpunkten mit vorhersehbarer Leistung und hoher Skalierbarkeit. Sie können Ihren Serverless-Endpunkten bereitgestellte Nebenläufigkeit hinzufügen. SageMaker sorgt dann für die vordefinierte Menge an bereitgestellter Nebenläufigkeit dafür, dass die Endgeräte aktiv bleiben und sofort auf Anfragen reagieren können. Die bereitgestellte Nebenläufigkeit ist ideal für Kunden mit vorhersehbarem Datenverkehr und geringem Durchsatz.
Bei On-Demand-Serverless-Endpunkten kann es einige Zeit dauern, bis Ihr Endpunkt die Rechenressourcen zur Verarbeitung der Anfragen hochgefahren hat, wenn Ihr Endpunkt eine Weile lang keinen Datenverkehr empfängt und dann plötzlich neue Anforderungen erhält. Dies wird als „Kaltstart“ bezeichnet. Ein Kaltstart kann auch auftreten, wenn Ihre nebenläufige Anforderungen die aktuelle Auslastung für nebenläufige Anforderungen überschreiten. Um die Variabilität in Ihrem Latenzprofil zu verringern, können Sie optional bereitgestellte Nebenläufigkeit für Ihre Serverless-Endpunkte aktivieren. Mit bereitgestellter Nebenläufigkeit sind Ihre Serverless-Endpunkte immer einsatzbereit und können sofort Datenverkehrsschübe bis zu der für die bereitgestellte Nebenläufigkeit konfigurierten Anzahl bewältigen, ohne dass es zu Kaltstarts kommt.
Sie können die bereitgestellte Nebenläufigkeit für Serverless-Endpunkte über die AWS-Konsole, AWS SDKs oder die AWS Command Line Interface (AWS CLI) aktivieren. Die bereitgestellte Nebenläufigkeit für SageMaker Serverless Inference ist in allen AWS-Regionen allgemein verfügbar, in denen SageMaker Serverless Inference allgemein verfügbar ist.
Sehen Sie sich zum Einstieg die folgenden Links an: