Amazon CloudWatch, 생성형 AI 관찰성 정식 출시
Amazon CloudWatch가 생성형 AI 관찰성 기능의 정식 버전을 발표했습니다. 이 기능을 통해 Amazon Bedrock AgentCore로 배포 및 운영되는 에이전트를 비롯한 AI 애플리케이션 및 워크로드의 모든 구성 요소를 모니터링할 수 있습니다. 이번 릴리스로 단순한 런타임 모니터링을 넘어, AgentCore의 기본 제공 도구, 게이트웨이, 메모리, ID 기능 전반에 걸친 완전한 관찰성을 제공할 수 있게 되었습니다. 이제 DevOps 팀과 개발자는 모델 간접 호출에서 에이전트 운영에 이르기까지 AI 워크로드의 모든 구성 요소에 걸친 지연 시간, 토큰 사용, 오류, 성능을 즉시 파악할 수 있습니다. 이 기능은 Stands Agent, LangChain 및 LangGraph와 같은 인기 있는 생성형 AI 오케스트레이션 프레임워크와 호환되므로 프레임워크를 유연하게 선택할 수 있습니다.
CloudWatch의 이번 신규 기능을 통해 개발자는 생성형 AI 애플리케이션의 구성 요소 전반에서 텔레메트리 데이터를 분석할 수 있습니다. 고객은 기본 제공 도구에서 코드 실행 패턴을 모니터링하고, 게이트웨이를 통해 API 변환 성공률을 추적하며, 메모리 스토리지 및 검색 패턴을 분석하고, ID 관찰성을 통해 안전한 에이전트 동작을 보장할 수 있습니다. 이와 같은 통합 뷰를 통해 개발자는 엔드 투 엔드 프롬프트 추적, 큐레이션된 지표, 로그를 사용하여 VectorDB의 격차부터 인증 실패에 이르기까지 문제를 신속하게 식별할 수 있습니다. 개발자는 CloudWatch 콘솔의 ‘AgentCore’ 섹션을 통해 전체 에이전트 플릿을 모니터링할 수 있으며, 이 섹션은 애플리케이션 신호, 경보, 민감한 데이터 보호, 로그 인사이트 등 다른 CloudWatch 기능과 원활하게 통합됩니다.
이 기능은 현재 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(오리건), 유럽(프랑크푸르트), 유럽(아일랜드), 아시아 태평양(뭄바이), 아시아 태평양(도쿄), 아시아 태평양(싱가포르), 아시아 태평양(시드니) 리전에서 지원됩니다.
자세한 내용은 설명서에서 확인하세요. 생성형 AI 관찰성에는 추가 요금은 없으며, 기본 텔레메트리 데이터에 대해서는 기존 CloudWatch 요금이 적용됩니다.