Amazon Bedrock unterstützt nun die Batch-Inferenz für Anthropic Claude Sonnet 4- und OpenAI GPT-OSS-Modelle
Die Modelle Claude Sonnet 4 von Anthropic und GPT-OSS 120B und 20B von OpenAI sind nun für die Batch-Inferenz in Amazon Bedrock verfügbar. Mit der Batch-Inferenz können Sie mehrere Inferenzanfragen asynchron ausführen und so die Leistung bei großen Datensätzen zu 50 % des Preises für On-Demand-Inferenz verbessern. Amazon Bedrock bietet ausgewählte Basismodelle (FMs) von führenden KI-Anbietern wie Anthropic, OpenAI, Meta und Amazon für die Batch-Inferenz, wodurch die Verarbeitung großer Workloads einfacher und kostengünstiger wird.
Mit der Batch-Inferenz auf Claude Sonnet 4- und OpenAI GPT-OSS-Modellen können Sie große Datensätze für Szenarien wie Dokumenten- und Kundenfeedback-Analysen, die Generierung von Masseninhalten (z. B. Marketingtexte, Produktbeschreibungen), groß angelegte Prompt- oder Output-Bewertungen, die automatisierte Zusammenfassung von Wissensdatenbanken und Archiven, die Massenkategorisierung von Support-Tickets oder E-Mails sowie die Extraktion strukturierter Daten aus unstrukturierten Texten verarbeiten – und das in großem Umfang und zu geringeren Kosten. Wir haben unser Batch-Angebot optimiert, um bei diesen neueren Modellen im Vergleich zu den Vorgängermodellen einen höheren Gesamtdurchsatz zu erzielen. Darüber hinaus können Sie den Fortschritt Ihrer Batch-Workload nun auf AWS-Kontoebene mit Amazon CloudWatch-Metriken verfolgen. Für alle Modelle umfassen diese Kennzahlen die Gesamtzahl der ausstehenden Datensätze, die verarbeiteten Datensätze und Tokens pro Minute. Für Claude-Modelle werden zusätzlich die zur Verarbeitung ausstehenden Tokens berücksichtigt.
Weitere Informationen zur Batch-Inferenz in Amazon Bedrock finden Sie in der Dokumentation zur Batch-Inferenz. Weitere Informationen zu den unterstützten Modellen finden Sie auf der Seite Unterstützte Regionen und Modelle für die Batch-Inferenz. Informationen zum Einstieg in die Batch-Inferenz finden Sie in der Amazon Bedrock API-Referenz.