Amazon CloudWatch, 생성형 AI 관찰성 기능 추가(평가판)
이제 Amazon CloudWatch에서 Amazon Bedrock AgentCore(평가판)로 배포 및 운영되는 에이전트를 비롯한 생성형 AI 애플리케이션 및 워크로드를 관찰할 수 있도록 지원됨에 따라 AI 성능, 상태 및 정확성에 대한 인사이트가 제공됩니다. AI 워크로드의 지연 시간, 사용량, 오류를 즉시 파악할 수 있어 모델 호출 및 에이전트 같은 구성 요소에서 문제를 더 빠르게 감지할 수 있습니다. 또한 지식 기반, 도구 및 모델 같은 구성 요소의 엔드 투 엔드 프롬프트 추적을 사용하여 문제를 더 빠르게 찾을 수 있습니다. 이 기능은 Stands Agent, LangChain 및 LangGraph와 같은 인기 있는 생성형 AI 오케스트레이션 프레임워크와 호환되므로 프레임워크를 유연하게 선택할 수 있습니다.
Amazon CloudWatch는 이번 신규 기능을 통해 생성형 AI 애플리케이션의 구성 요소 전반에서 텔레메트리 데이터를 분석하여 오류의 원인을 신속하게 식별할 수 있도록 지원합니다. 그 예로 엔드 투 엔드 프롬프트 추적, 큐레이트된 지표 및 로그를 사용하여 VectorDB의 격차나 불완전한 RAG 시스템 재시도에서 비롯된 부정확한 응답의 원인을 찾아낼 수 있습니다. 구성 요소 상호 작용의 연결된 보기는 개발자가 워크로드를 더 빠르게 최적화하여 높은 수준의 가용성, 정확성, 신뢰성 및 품질을 제공할 수 있도록 지원합니다. 개발자는 한곳에서 에이전트 플릿을 모니터링하고 평가하여 AI 에이전트가 원활하게 실행되도록 할 수 있습니다. 에이전트가 큐레이션한 보기는 생성형 AI의 관찰성을 위해 CloudWatch 콘솔의 “AgentCore” 탭에서 사용할 수 있습니다. 생성형 AI 관찰성은 Application Signals, Alarms, Dashboards, Sensitive Data Protection 및 Logs Insights 같은 다른 CloudWatch 기능과 통합되므로 기존 관찰성 도구를 원활하게 확장하여 생성형 AI 워크로드를 모니터링할 수 있습니다.
이 기능은 미국 동부(버지니아 북부), 미국 서부(오리건), 유럽(프랑크푸르트), 아시아 태평양(시드니) 등의 4개 리전에서 평가판 모드로 제공됩니다. 자세한 내용은 설명서를 참조하세요. CloudWatch 요금은 수집되고 저장된 텔레메트리 데이터에 적용됩니다.