Amazon SageMaker AI, 추론 엔드포인트를 위한 새로운 관찰성 기능 발표
Amazon SageMaker AI의 새로운 관찰성 기능은 토큰 성능, GPU 상태, 추론 구성 요소 배치, 오토 스케일링 동작에 대한 포괄적인 가시성을 제공하므로 고객은 프로덕션 생성형 AI 추론 워크로드를 안심하고 운영할 수 있습니다. 그러면 CloudWatch에서 엔드포인트별 지표 검색하기, 지연 시간 급증과 GPU 포화 또는 KV 캐시 소진의 상관관계 파악하기, 스케일링 작업이 느린 이유 진단하기 등의 수동 작업을 없앨 수 있습니다. 이 기능은 최초 토큰 획득 시간, 토큰 간 지연 시간, 대기열 깊이, 초당 토큰 수 등 추론 성능 지표를 실시간으로 추적하고 인프라 상태와 함께 보여주므로 고객은 몇 시간이 아닌 몇 분 안에 문제를 파악하고 해결할 수 있습니다.
SageMaker AI 세부 관찰성 기능은 고객이 추론 플릿을 모니터링하고 최적화하는 방법을 혁신합니다. Amazon CloudWatch에 새롭게 사전 구축된 이 SageMaker AI Insights 대시보드는 고객에게 토큰 지연 시간, GPU 사용률, 추론 구성 요소 복사 횟수, 스케일링 이벤트, 콜드 스타트 분석을 단일 보기로 제공하며, 별도의 계측 작업 없이 OpenTelemetry 네이티브 지표가 자동으로 게시됩니다. 따라서 팀은 TTFT 성능 저하를 신속하게 진단하고, 가용 영역 규정 준수를 확인하고, 오토 스케일링 정책을 미세 조정할 수 있습니다. Grafana 같은 관찰성 도구를 표준화한 고객은 리전 PromQL 엔드포인트를 사용하여 직접 연결하고, 사전 구성된 대시보드 템플릿을 가져올 수 있습니다. 이 기능을 통해 고객은 운영 문제를 스스로 해결하고 AI 투자의 성과를 극대화할 수 있습니다.
SageMaker AI Inference 관찰성 기능은 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(오리건), 미국 서부(캘리포니아 북부), 캐나다(중부), 남아메리카(상파울루), 유럽(아일랜드), 유럽(프랑크푸르트), 유럽(런던), 유럽(스톡홀름), 유럽(취리히), 아시아 태평양(뭄바이), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(도쿄), 아시아 태평양(서울), 아시아 태평양(자카르타) AWS 리전에서 사용할 수 있습니다. 자세히 알아보려면 설명서 및 Amazon SageMaker AI 웹 페이지를 참조하세요.