Amazon Bedrock agora oferece suporte à API de respostas da OpenAI
Agora, o Amazon Bedrock oferece suporte à API de respostas em novos endpoints de serviço compatíveis com a API da OpenAI. A API de respostas permite que os desenvolvedores obtenham inferência assíncrona para workloads de inferência de longa duração, simplifica a integração do uso de ferramentas para fluxos de trabalho de agentes e também oferece suporte ao gerenciamento de conversas com histórico de estados. Em vez de exigir que os desenvolvedores enviem todo o histórico de conversas com cada solicitação, a API de respostas permite que eles recriem automaticamente o contexto sem o gerenciamento manual do histórico. Esses novos endpoints de serviço oferecem suporte aos modos de streaming e não streaming, permitem o suporte ao esforço de raciocínio na API de conclusões de chats e exigem apenas uma alteração de URL básica para que os desenvolvedores se integrem às bases de código existentes com a compatibilidade com o SDK da OpenAI.
As conclusões de chats que oferecem suporte ao esforço de raciocínio estão disponíveis para todos os modelos do Amazon Bedrock desenvolvidos pelo Project Mantle, um novo mecanismo de inferência distribuída para modelos de machine learning em grande escala que funcionam no Amazon Bedrock. O Project Mantle simplifica e agiliza a integração de novos modelos no Amazon Bedrock, fornece inferência sem servidor confiável e de alta performance com controles sofisticados de qualidade de serviço, libera cotas padrão mais altas de clientes com gerenciamento automatizado de capacidade e pools unificados e oferece compatibilidade imediata com as especificações da API da OpenAI. O suporte à API de respostas está disponível hoje nos modelos GPT OSS 20B/120B da OpenAI, com suporte para outros modelos em breve.
Para começar a usá-la, acesse a documentação de serviço aqui