Amazon Bedrock, 요청 수준 사용량 속성에 대한 지원 확대
이제 Amazon Bedrock 고객은 InvokeModel 및 InvokeModelWithResponseStream API에서 개별 요청 수준으로 모델 추론 사용량을 특정 팀, 애플리케이션, 환경, 실험에 연결할 수 있습니다. 이를 통해 고객은 조직 전체에서 Amazon Bedrock 사용량이 어떻게 분산되는지 세부적으로 파악할 수 있으므로
추가 리소스를 프로비저닝하지 않고도 소비 패턴을 이해하고 비용을 최적화하며 내부 이해 관계자에게 사용량을 보고할 수 있습니다.
이번 출시는 Amazon Bedrock의 기존 사용량 속성 기능 포트폴리오를 기반으로 합니다. 고객은 이미 애플리케이션 추론 프로필, IAM 위탁자 기반 속성 OpenAI 호환 bedrock-mantle 엔드포인트의 프로젝트 수준 추적, Anthropic Claude 모델에 대한 워크스페이스 수준 추적을 사용하여 리소스 및 ID 수준에서 모델 추론 사용량을
추적할 수 있습니다. 고도로 세분화된 요청별 기여도 분석을 위해 Converse 및 ConverseStream API는 출시 이후 요청 수준 메타데이터를 지원해 왔습니다. 오늘 릴리스부터 InvokeModel 및 InvokeModelWithResponseStream API에 동일한 기능이 추가되어 고객은 bedrock-runtime 엔드포인트 전체에서 일관된 방식으로 추론 호출에 태그를 지정할 수 있습니다.
이번 출시를 통해 고객은 각 Amazon Bedrock 모델 추론 호출에 팀, 프로젝트 또는 환경과 같은 속성을 태그하고 Amazon Bedrock 모델 간접 호출 로그에서 이러한 태그별 사용량을 분석할 수 있습니다. 시작하려면 Amazon Bedrock을 호출하는 AWS 리전에서 모델 간접 호출 로깅을 활성화한 다음 추론 요청에 메타데이터를 추가하세요. 이 기능은 Amazon Bedrock이 제공되는 모든 AWS 상용 리전에서 사용할 수 있습니다. 자세히 알아보려면 요청 메타데이터를 참조하세요.