Amazon SageMaker AI prend désormais en charge les API compatibles avec OpenAI pour les points de terminaison d’inférence
Amazon SageMaker Inference prend désormais en charge les API compatibles avec OpenAI. Vous pouvez donc utiliser les outils et les frameworks que vous connaissez déjà, tels que le kit SDK OpenAI, LangChain et Strands Agents, pour vous connecter directement à vos points de terminaison SageMaker. La commutation ne nécessite rien d’autre que de modifier l’URL d’un point de terminaison : pas de code d’intégration personnalisé, pas d’enveloppeurs SDK, pas de réécritures.
Avec ce lancement, vous n’avez plus besoin d’adopter un autre format d’API ni de modifier votre approche d’authentification. Il vous suffit de modifier l’URL de votre point de terminaison pour que vos appels SDK, votre logique de diffusion et vos intégrations de frameworks existants continuent de fonctionner tels quels. Vous pouvez immédiatement choisir vos propres instances GPU, conserver les données dans votre propre VPC, exécuter n’importe quel modèle open source ou peaufiné, et évoluer grâce à des politiques de mise à l’échelle automatiques adaptées à votre charge de travail. L’authentification utilise les informations d’identification AWS existantes avec actualisation automatique des jetons. Il n’y a donc rien de plus à gérer en production.
Cette capacité est disponible aujourd’hui dans les régions USA Est (Virginie du Nord), USA Ouest (Oregon), USA Est (Ohio), Asie-Pacifique (Mumbai), Asie-Pacifique (Jakarta), Europe (Irlande), Europe (Francfort), Amérique du Sud (São Paulo), Asie-Pacifique (Tokyo), Asie-Pacifique (Séoul), Europe (Londres), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney) et Canada (Centre). Pour en savoir plus et commencer, consultez le blog de lancement ou consultez la documentation de SageMaker Inference.