Amazon Bedrock prend désormais en charge l'API Responses d'OpenAI
Amazon Bedrock prend désormais en charge l'API Responses sur les nouveaux points de terminaison de service compatibles avec l'API OpenAI. L'API Responses permet aux développeurs de réaliser des inférences asynchrones pour les charges de travail d'inférence de longue durée, simplifie l'intégration de l'utilisation des outils pour les flux de travail agentiques et prend également en charge la gestion dynamique des conversations. Au lieu de demander aux développeurs de transmettre l'historique complet des conversations à chaque demande, l'API Responses leur permet de reconstruire automatiquement le contexte sans gestion manuelle de l'historique. Ces nouveaux points de terminaison de service prennent en charge à la fois les modes de diffusion et de non-diffusion, permettent de prendre en charge l'effort de raisonnement dans l'API Chat Completions et ne nécessitent qu'un changement d'URL de base pour que les développeurs puissent les intégrer dans les bases de code existantes avec la compatibilité du kit SDK OpenAI.
Chat Completions avec prise en charge de l'effort de raisonnement est disponible pour tous les modèles Amazon Bedrock optimisés par Project Mantle, un nouveau moteur d'inférence distribué pour un modèle de machine learning automatique à grande échelle, utilisé sur Amazon Bedrock. Project Mantle simplifie et accélère l'intégration de nouveaux modèles sur Amazon Bedrock, fournit une inférence sans serveur hautement performante et fiable avec des contrôles de qualité de service sophistiqués, débloque des quotas de clients par défaut plus élevés grâce à une gestion automatisée des capacités et à des groupes unifiés, et fournit une compatibilité prête à l'emploi avec les spécifications de l'API OpenAI. La prise en charge de l'API Responses est disponible dès aujourd'hui, en commençant par les modèles GPT OSS 20B/120B d'OpenAI, et la prise en charge d'autres modèles sera bientôt disponible.
Pour commencer, consultez la documentation du service ici.