Amazon Bedrock erweitert die Unterstützung für die Nutzungszuordnung auf Anforderungsebene
Kunden von Amazon Bedrock können nun die Nutzung der Modellinferenz auf Ebene einzelner Anfragen über die APIs „InvokeModel“ und „InvokeModelWithResponseStream“ bestimmten Teams, Anwendungen, Umgebungen und Experimenten zuordnen. Dadurch erhalten Kunden einen detaillierten Überblick darüber, wie sich ihre Amazon-Bedrock-Nutzung innerhalb ihres Unternehmens verteilt, was ihnen dabei hilft,
Nutzungsmuster zu verstehen, ihre Ausgaben zu optimieren und interne Stakeholder über die Nutzung zu informieren, ohne zusätzliche Ressourcen bereitstellen zu müssen.
Diese Einführung baut auf dem bestehenden Portfolio an Funktionen zur Nutzungszuordnung von Amazon Bedrock auf. Kunden können die Nutzung der Modellinferenz bereits auf Ressourcen- und Identitätsebene zuordnen, und zwar mithilfe von Anwendungsinferenzprofilen, einer auf IAM-Prinzipalen basierenden Zuordnung, einer Nachverfolgung auf Projektebene über den OpenAI-kompatiblen „bedrock-mantle“-Endpunkt sowie einer Nachverfolgung auf Workspace-Ebene für
Modelle von Anthropic Claude. Für eine detailliertere Zuordnung auf Anfrageebene unterstützen die Converse- und ConverseStream-APIs seit ihrer Einführung Metadaten auf Anfrageebene. Mit der heutigen Veröffentlichung werden die APIs „InvokeModel“ und „InvokeModelWithResponseStream“ um diese Funktion erweitert, sodass Kunden nun über eine einheitliche Methode verfügen, um Inferenzaufrufe über den gesamten Bedrock-Runtime-Endpunkt hinweg zu kennzeichnen.
Mit dieser neuen Funktion können Kunden jeden Modellinferenzaufruf eines Amazon Bedrock-Modells mit Attributen wie „Team“, „Projekt“ oder „Umgebung“ versehen und die Nutzung anhand dieser Tags in den Aufrufprotokollen von Amazon Bedrock analysieren. Aktivieren Sie zunächst die Protokollierung von Modellaufrufen in der AWS-Region, in der Sie Amazon Bedrock aufrufen, und fügen Sie anschließend Metadaten zu Ihren Inferenzanfragen hinzu. Dieses Feature ist in allen kommerziellen AWS-Regionen verfügbar, in denen Amazon Bedrock verfügbar ist. Weitere Informationen finden Sie unter Metadaten anfordern.