Amazon SageMaker AI unterstützt nun OpenAI-kompatible APIs für Inferenz-Endpunkte
Amazon SageMaker Inference unterstützt nun OpenAI-kompatible APIs, sodass Sie die Ihnen bereits vertrauten Tools und Frameworks wie das OpenAI SDK, LangChain und Strands Agents nutzen können, um eine direkte Verbindung zu Ihren SageMaker-Endpunkten herzustellen. Für die Umstellung müssen Sie lediglich die URL eines Endpunkts ändern – es ist kein benutzerdefinierter Integrationscode, kein SDK-Wrapper und kein Umschreiben erforderlich.
Mit dieser Einführung müssen Sie kein anderes API-Format mehr einführen oder Ihren Authentifizierungsansatz ändern. Ändern Sie einfach die URL Ihres Endpunkts, und Ihre bestehenden SDK-Aufrufe, Streaming-Logik und Framework-Integrationen funktionieren weiterhin wie bisher. Sie erhalten sofort die Möglichkeit, Ihre eigenen GPU-Instances auszuwählen, Daten in Ihrer eigenen VPC zu speichern, beliebige Open-Source- oder optimierte Modelle auszuführen und die Kapazität mithilfe von auf Ihre Workload abgestimmten Auto-Scaling-Richtlinien zu skalieren. Die Authentifizierung nutzt vorhandene AWS-Anmeldeinformationen mit automatischer Token-Aktualisierung, sodass in der Produktion kein zusätzlicher Verwaltungsaufwand entsteht.
Diese Funktion ist ab sofort in den Regionen USA Ost (Nord-Virginia), USA West (Oregon), USA Ost (Ohio), Asien-Pazifik (Mumbai), Asien-Pazifik (Jakarta), Europa (Irland), Europa (Frankfurt), Südamerika (São Paulo), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Europa (London), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney) und Kanada (Zentral). Um mehr zu erfahren und loszulegen, lesen Sie den Blogbeitrag zur Einführung oder besuchen Sie die SageMaker-Inference-Dokumentation.