Amazon Bedrock 擴大支援請求層級的用量歸因功能
Amazon Bedrock 客戶現在可以透過 InvokeModel 與 InvokeModelWithResponseStream API,在個別請求層級將模型推論用量歸因到特定團隊、應用程式、環境和實驗。這可讓客戶更細緻地掌握 Amazon Bedrock 用量在組織內部的分佈情況,協助他們
了解耗用模式、最佳化支出,並向內部利益相關者通報用量,且無需額外佈建資源。
這次推出的功能建立在 Amazon Bedrock 現有的用量歸因功能基礎之上。客戶已經可透過應用程式推論設定檔、IAM 主體型歸因、OpenAI 相容 bedrock-mantle 端點的專案層級追蹤,以及 Anthropic Claude 模型的工作區層級追蹤,在資源與身分層級進行
模型推論用量歸因。如需更細緻的每項請求歸因功能,自功能推出以來,Converse 與 ConverseStream API 就已經支援請求層級的中繼資料。今日的更新也將相同功能帶到 InvokeModel 與 InvokeModelWithResponseStream API,讓客戶能夠以一致的方式,為整個 bedrock-runtime 端點中的推論呼叫加上標籤。
透過這次推出的功能,客戶可以為每次 Amazon Bedrock 模型推論呼叫加入團隊、專案或環境等屬性標籤,並在 Amazon Bedrock 模型調用日誌中,依據這些標籤分析用量。若要開始使用,請先在呼叫 Amazon Bedrock 的 AWS 區域中啟用模型調用日誌記錄,接著在推論請求中加入中繼資料。此功能已在提供 Amazon Bedrock 的所有 AWS 商業區域推出。若要進一步了解,請參閱請求中繼資料。