Amazon CloudWatch GenAI 관찰성, Amazon AgentCore Evaluations 지원
Amazon CloudWatch는 이제 AgentCore Evaluations를 통해 AI 에이전트의 자동화된 품질 평가를 지원합니다. 이 새로운 기능을 통해 개발자는 실제 상호 작용을 기반으로 에이전트의 성과를 지속적으로 모니터링하고 개선할 수 있으므로 팀은 품질 문제가 고객에게 영향을 미치기 전에 이를 식별하고 해결할 수 있습니다.
AgentCore Evaluations에는 유용성, 도구 선택 및 응답 정확도와 같은 필수 품질 차원을 다루는 13개의 사전 구축된 평가기와 함께 사용자 지정 모델 기반 채점 시스템도 지원합니다. 사용자는 CloudWatch 대시보드에서 통합 품질 지표 및 에이전트 원격 측정에 액세스할 수 있으며, 평가 지표와 프롬프트 및 로그를 연관시키는 종합적인 추적 기능을 이용할 수 있습니다. 이 기능은 애플리케이션 신호, 경보, 민감한 데이터 보호, 로그 인사이트 등 CloudWatch의 기존 기능과 원활하게 통합됩니다. 이 기능을 사용하면 팀이 맞춤형 평가 인프라를 구축하고 유지할 필요가 없어 고품질 AI 에이전트의 배포가 가속화됩니다. 개발자는 CloudWatch GenAI 관찰성 콘솔의 AgentCore 섹션을 통해 전체 에이전트 플릿을 모니터링할 수 있습니다.
AgentCore Evaluations는 미국 동부(버지니아 북부), 미국 서부(오리건), 유럽(프랑크푸르트) 및 아시아 태평양(시드니)에서 제공됩니다. 이 서비스를 시작하려면 설명서 및 요금 세부 정보를 참조하세요. 기본 원격 측정 데이터에는 Standard CloudWatch 요금이 적용됩니다.