Amazon Bedrock Batch-Inferenz unterstützt jetzt Converse-API-Format
Amazon Bedrock Batch-Inferenz unterstützt jetzt die Converse-API als Modellaufruftyp, sodass Sie ein konsistentes, modellunabhängiges Eingabeformat für Ihre Batch-Workloads verwenden können.
Bisher erforderte die Batch-Inferenz modellspezifische Anforderungsformate mithilfe der InvokeModel-API. Wenn Sie nun einen Batch-Inferenz-Job erstellen, können Sie Converse als Modellaufruftyp auswählen und Ihre Eingabedaten mithilfe des standardmäßigen Converse-API-Anforderungsformats strukturieren. Die Ausgabe für Converse-Batch-Jobs folgt dem Converse-API-Antwortformat. Mit dieser Funktion können Sie dasselbe einheitliche Anforderungsformat sowohl für Echtzeit- als auch für Batch-Inferenzen verwenden, was das Prompt-Management vereinfacht und den Aufwand für den Wechsel zwischen Modellen reduziert. Sie können den Aufruftyp des Converse-Modells sowohl über die Amazon Bedrock-Konsole als auch über die API konfigurieren.
Diese Funktion ist in allen AWS-Regionen verfügbar, die Amazon Bedrock Batch-Inferenz unterstützen. Informationen zu den ersten Schritten finden Sie unter Erstellen eines Batch-Inferenz-Jobs und Formatieren und Hochladen Ihrer Batch-Inferenz-Daten im Amazon Bedrock-Benutzerhandbuch.