L'inferenza in batch di Amazon Bedrock ora supporta il formato API Converse
L'inferenza in batch di Amazon Bedrock ora supporta l'API Converse come tipo di invocazione del modello, permettendo di adottare un formato di input coerente e indipendente dal modello per i carichi di lavoro batch.
In precedenza l'inferenza in batch richiedeva formati di richiesta specifici per modello utilizzando l'API InvokeModel. Durante la creazione di un processo di inferenza in batch, è ora possibile selezionare Converse come tipo di invocazione del modello e organizzare i dati di input secondo il formato di richiesta standard dell'API Converse. I processi in batch di Converse restituiscono un output strutturato secondo il formato di risposta dell'API Converse. Questa funzionalità consente di utilizzare lo stesso formato di richiesta unificato per l'inferenza in tempo reale e in batch, semplificando la gestione dei prompt e riducendo il lavoro necessario per passare da un modello all'altro. È possibile configurare il tipo di invocazione del modello Converse tramite la console di Amazon Bedrock e l'API.
La funzionalità è disponibile in tutte le regioni AWS che supportano l'inferenza in batch di Amazon Bedrock. Per iniziare, consulta le sezioni della guida utente di Amazon Bedrock dedicate alla Creazione di un processo di inferenza in batch e alla Formattazione e caricamento dei dati delle inferenze in batch.