Amazon Bedrock ora supporta l'API Responses di OpenAI
Amazon Bedrock introduce il supporto all'API Responses sui nuovi endpoint del servizio compatibili con l'API OpenAI. L'API Responses consente agli sviluppatori di eseguire inferenze asincrone per carichi di lavoro di lunga durata, integrare più facilmente strumenti nei flussi di lavoro agentici e gestire conversazioni con mantenimento dello stato. Anziché dover inviare l'intera cronologia della conversazione a ogni richiesta, con l'API Responses gli sviluppatori possono ricostruire automaticamente il contesto senza gestione manuale della cronologia. Questi nuovi endpoint di servizio supportano modalità in streaming e non in streaming, introducono il supporto al livello di ragionamento all'interno dell'API Chat Completions e richiedono semplicemente la modifica della base URL per integrarsi nelle basi di codice già compatibili con gli SDK OpenAI.
L'API Chat Completions con supporto per il livello di sforzo di ragionamento è disponibile per tutti i modelli Amazon Bedrock basati su Project Mantle, il nuovo motore di inferenza distribuita progettato per gestire l'erogazione su larga scala di modelli di machine learning in Amazon Bedrock. Project Mantle semplifica e accelera l'onboarding di nuovi modelli su Amazon Bedrock, offre inferenza serverless, affidabile e ad alte prestazioni con controlli avanzati di qualità del servizio, garantisce quote clienti predefinite più elevate grazie alla gestione automatizzata della capacità e a pool unificati e fornisce compatibilità nativa con le specifiche dell'API OpenAI. Il supporto all'API Responses è ora disponibile per i modelli GPT OSS 20B/120B di OpenAI e presto verrà esteso anche ad altri modelli.
Per iniziare, consulta la documentazione del servizio disponibile qui.