Amazon SageMaker AI já oferece suporte a APIs compatíveis com OpenAI para endpoints de inferência
Agora, o Amazon SageMaker Inference oferece suporte a APIs compatíveis com OpenAI, permitindo o uso de ferramentas e estruturas já conhecidas, como SDK da OpenAI, LangChain e Strands Agents, para se conectar diretamente aos endpoints do SageMaker. A troca exige apenas uma alteração no URL do endpoint, sem necessidade de código de integração, encapsulamentos de SDK ou alterações de código.
Com esse lançamento, você não precisa mais adotar um formato de API diferente nem alterar a abordagem de autenticação. Basta alterar a URL do endpoint e as chamadas de SDK, a lógica de streaming e as integrações de estrutura existentes continuarão funcionando como estão. Você ganha imediatamente a capacidade de escolher suas próprias instâncias de GPU, manter os dados em sua própria VPC, executar qualquer modelo de código aberto ou ajustado e escalar com políticas de ajuste automático de escala adaptadas às workloads. Como a autenticação usa as credenciais existentes da AWS com atualização automática de tokens, não é preciso nenhum gerenciamento adicional na produção.
Esse recurso está disponível nas seguintes regiões: Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon), Leste dos EUA (Ohio), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Jacarta), Europa (Irlanda), Europa (Frankfurt), América do Sul (São Paulo), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Seul), Europa (Londres), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney) e Canadá (Central). Para saber mais e começar a usar, leia o blog de lançamento ou acesse a documentação do SageMaker Inference.