Amazon Bedrock 現在支援 Anthropic Claude Sonnet 4 和 OpenAI GPT-OSS 模型的批次推論功能
您現在可以在 Amazon Bedrock 內使用 Anthropic Claude Sonnet 4 和 OpenAI GPT-OSS 120B 和 20B 模型進行批次推論。有了批次推論功能，您能夠透過非同步方式執行多個推論請求，以 50% 的隨需推論定價來提高大型資料集的效能。Amazon Bedrock 可讓您使用 Anthropic、OpenAI、Meta 和 Amazon 等領先 AI 提供者的精選基礎模型 (FM) 進行批次推論，使處理大量工作負載的作業變得更加容易，並且更具成本效益。
有了 Claude Sonnet 4 和 OpenAI GPT-OSS 模型的批次推論功能，您將能以更低的成本大規模處理適用於不同案例的大量資料集，例如文件和客戶意見反饋分析、批量內容產生 (例如行銷文宣、產品說明)、大規模提示或輸出評估、知識庫和存檔的自動摘要、大量分類支援工單或電子郵件，以及從非結構化文字中擷取結構化資料。我們已將批次產品最佳化，與先前的模型相比，這些較新模型可提供更高的整體批次輸送量。此外，您現在還能夠使用 Amazon CloudWatch 指標，在 AWS 帳戶層級追蹤批次工作負載進度。這些指標可針對所有模型提供待處理記錄總數、每分鐘處理的記錄和字符等資訊，同時還可針對 Claude 模型提供待處理字符這項資訊。
若要進一步了解 Amazon Bedrock 中的批次推論功能，請瀏覽批次推論文件。您可以瀏覽支援批次推論的區域和模型頁面，以取得有關支援模型的詳細資訊，並遵循 Amazon Bedrock API 參考以著手使用批次推論功能。