Möglichkeit zur Anpassung der Modellbereitstellungssoftware und Treiberversionen in Amazon SageMaker
Sie können jetzt die von den Instances verwendeten Software- und Treiberversionen auswählen, die Ihren Anforderungen bei der Bereitstellung von Modellen auf SageMaker am besten entsprechen. Amazon SageMaker erleichtert die Bereitstellung von ML-Modellen einschließlich Basismodellen (FMs), um Inferenzanfragen zum besten Preis-Leistungs-Verhältnis für jeden Anwendungsfall zu stellen.
Bisher mussten Kunden auf den verwalteten Instances hinter einem Endpunkt voreingestellte Software- und Treiberversionen verwenden, die von SageMaker definiert wurden. Jetzt können Kunden bei der Konfiguration von Endpunkten den Parameter „InferenceAmiVersion“ angeben, um die Kombination aus Software- und Treiberversionen (wie Nvidia-Treiber und CUDA-Version) auszuwählen, die ihren Anforderungen am besten entspricht. Auf diese Weise können Sie Ihre Hosting-Umgebung an die Leistungs-, Kompatibilitäts-, Skalierbarkeits- und Betriebsanforderungen Ihrer ML-Anwendungen anpassen. Mithilfe dieses Parameters können Sie auch Treiberversionen für Ihre Endgeräte nach Ihrem eigenen Zeitplan herabstufen und aktualisieren.
Dieses Feature ist in allen Regionen verfügbar, in denen SageMaker verfügbar ist. Hier erfahren Sie mehr über die Bereitstellung von Modellen auf SageMaker. Weitere Informationen über dieses Feature erhalten Sie in unserer Dokumentation.