Veröffentlicht am: Nov 29, 2023
Sie können Amazon Bedrock jetzt verwenden, um Eingabeaufforderungen stapelweise zu verarbeiten, und so Antworten für die Modellbewertung, Experimente und Offline-Verarbeitung erhalten.
Die Verwendung der Batch-API macht es effizienter, Inferenzen mit Basismodellen (FMs) auszuführen. Es ermöglicht Ihnen auch, Antworten zu aggregieren und sie stapelweise zu analysieren.
Die Stapelverarbeitung ist in den AWS-Regionen USA Ost (Nord-Virginia), USA West (Oregon), Asien-Pazifik (Singapur), Asien-Pazifik (Tokio) und Europa (Frankfurt) als Vorschauversion verfügbar.
Weitere Informationen zur Batch-Inferenz in Amazon Bedrock finden Sie in der API-Referenz von Amazon Bedrock. Die Preise für den Batch-Modus sind die gleichen wie für den On-Demand-Modus. Einzelheiten finden Sie auf der Seite mit den Amazon Bedrock-Preisen.
Update: 27.02.2024 - Im ursprünglichen Beitrag wurde der Launch fälschlicherweise als allgemein verfügbar aufgeführt, obwohl er sich tatsächlich in der Vorschauversion befindet. Dies wurde entsprechend aktualisiert.