Amazon SageMaker AI ora supporta le API compatibili con OpenAI per gli endpoint di inferenza
Amazon SageMaker Inference ora supporta le API compatibili con OpenAI, consentendo così di utilizzare gli strumenti e i framework che già conosci, come OpenAI SDK, LangChain e Strands Agents, per connetterti direttamente ai tuoi endpoint SageMaker. Il passaggio non richiede altro che la modifica dell'URL di un endpoint: nessun codice di integrazione personalizzato, nessun wrapper SDK, nessuna riscrittura.
Con questo lancio, non è più necessario adottare un formato API diverso o modificare l'approccio di autenticazione. Basta modificare l'URL dell'endpoint e le chiamate SDK esistenti, la logica di streaming e le integrazioni del framework continueranno a funzionare così come sono. Ottieni immediatamente la possibilità di scegliere le tue istanze GPU, mantenere i dati nella tua VPC, eseguire qualsiasi modello open source o ottimizzato e scalare con policy di scalabilità automatica adattate al tuo carico di lavoro. L'autenticazione utilizza le credenziali AWS esistenti con aggiornamento automatico dei token, quindi non c'è nulla in più da gestire in produzione.
Questa funzionalità è disponibile oggi nelle regioni Stati Uniti orientali (Virginia settentrionale), Stati Uniti occidentali (Oregon), Stati Uniti orientali (Ohio), Asia Pacifico (Mumbai), Asia Pacifico (Giacarta), Europa (Irlanda), Europa (Francoforte), Sud America (San Paolo), Asia Pacifico (Tokyo), Asia Pacifico (Seul), Europa (Londra), Asia Pacifico (Singapore), Asia Pacifico (Sydney) e Canada (Centrale). Per saperne di più e iniziare, leggi il blog di lancio o visita la documentazione di SageMaker Inference.