Amazon SageMaker AI ahora admite API compatibles con OpenAI para puntos de enlace de inferencia
Amazon SageMaker Inference ahora admite las API compatibles con OpenAI, por lo que puede usar las herramientas y los marcos de trabajo que ya conoce, como el SDK de OpenAI, LangChain y Strands Agents, para conectarse directamente a los puntos de enlace de SageMaker. El cambio no requiere nada más que cambiar la URL de un punto de enlace: sin código de integración personalizado, sin envoltorios de SDK ni reescrituras.
Con este lanzamiento, ya no es necesario adoptar un formato de API diferente ni cambiar el enfoque de autenticación. Simplemente cambie la URL de su punto de enlace y las llamadas al SDK, la lógica de transmisión y las integraciones de marcos existentes seguirán funcionando como están. Podrá elegir inmediatamente sus propias instancias de GPU, guardar los datos en su propia VPC, poner en marcha cualquier modelo de código abierto o refinado y escalar con políticas de escalado automático adaptadas a su carga de trabajo. La autenticación utiliza las credenciales de AWS existentes con la actualización automática de los tokens, por lo que no hay nada más que gestionar en producción.
Esta capacidad ya está disponible en el este de EE. UU. (norte de Virginia), este de EE. UU. (Ohio), oeste de EE. UU. (Oregón), Asia-Pacífico (Mumbai), Asia-Pacífico (Yakarta), Europa (Irlanda), Europa (Fráncfort), América del Sur (São Paulo), Asia-Pacífico (Tokio), Asia-Pacífico (Seúl), Europa (Londres), Asia-Pacífico (Singapur), Asia-Pacífico (Sídney) y Canadá (centro). Para obtener más información y empezar, lea el blog de lanzamiento o visite la documentación de SageMaker Inference.