SageMaker JumpStart bietet jetzt optimierte Bereitstellungen für Foundation-Modelle
SageMaker JumpStart bietet jetzt optimierte Bereitstellungen, sodass Kunden Basismodelle mit vorkonfigurierten Einstellungen bereitstellen können, die auf bestimmte Anwendungsfälle und Performance-Einschränkungen zugeschnitten sind. Optimierte SageMaker JumpStart-Bereitstellungen vereinfachen die Modellbereitstellung, indem sie aufgabenorientierte Konfigurationen anbieten, die je nach Workload-Anforderungen hinsichtlich Kosten, Durchsatz oder Latenz optimiert werden – ganz gleich, ob es um Inhaltsgenerierung, Zusammenfassung oder Fragen und Antworten geht. Dieser Launch umfasst den Support von über 30 beliebten Modellen von Meta, Microsoft, Mistral AI, Qwen, Google und TII sowie Einblick in wichtige Performance-Kennzahlen wie P50-Latenz, Time-to-First-Token (TTFT) und Durchsatz vor der Bereitstellung.
Bei optimierten SageMaker JumpStart-Bereitstellungen können Kunden aus anwendungsfallspezifischen Konfigurationen (wie generativem Schreiben oder Interaktionen im Chat-Stil) wählen und Optimierungsziele wie kostenoptimierte, durchsatzoptimierte, latenzoptimierte oder ausgewogene Performance wählen. Modelle werden auf SageMaker AI Managed Inference-Endpunkten oder SageMaker HyperPod-Clustern mit voreingestellten Konfigurationen bereitgestellt, die Rätselraten überflüssig machen und gleichzeitig den vollen Überblick über die Bereitstellungsdetails gewähren. Zu den verfügbaren Modellen gehören die Meta Llama-Varianten 3.1 und 3.2, Microsoft Phi-3, Mistral AI-Modelle einschließlich des neuen Mistral-Small-24B-Instruct-2501, die Qwen-Serien 2 und 3 einschließlich des multimodalen Qwen2-VL, Google Gemma und TII Falcon3. Alle Bereitstellungen nutzen die VPC-Bereitstellungsfunktionen von SageMaker und sorgen so für Datenkontrolle und eine für die Produktion bereite Infrastruktur mit Sicherheit auf Unternehmensebene. Die Funktion ist in allen AWS-Regionen verfügbar, in denen SageMaker JumpStart derzeit unterstützt wird.
Um mit optimierten Bereitstellungen zu beginnen, navigieren Sie in SageMaker Studio zu den Modellen, wählen im JumpStart-Modell-Tab Ihr gewünschtes Basismodell aus, wählen „Bereitstellen“ und Ihren Anwendungsfall und Ihr Leistungsoptimierungsziel aus. Einzelheiten finden Sie in der SageMaker JumpStart-Dokumentation. AWS erweitert den Support aktiv um weitere Modelle.