Amazon Bedrock AgentCore, 프로덕션에서 에이전트의 성능을 지속적으로 개선하는 새로운 최적화 기능 도입
오늘 AWS는 AgentCore에서 프로덕션 추적을 에이전트의 지속적인 개선으로 전환하는 새로운 최적화 기능을 발표했습니다. 가장 위험한 에이전트 장애는 오류를 유발하는 장애가 아닙니다. 대시보드에서 괜찮아 보이는 조용한 장애입니다. 이러한 장애는 오류 신호를 유발하지 않으며 몇 주 후 고객 불만을 통해 드러나는 경우가 많습니다. AgentCore는 루프를 통해 이 허점을 찾아내 에이전트 작업을 이해하고, 데이터를 기반으로 수정 사항을 생성하고, 효과적인지 증명합니다.
에이전트 동작을 이해하기 위해 AgentCore는 수백 개의 세션에 걸쳐 실패, 의도, 궤적 인사이트를 표시함으로써 대시보드나 일회성 추적 검토로는 잡아낼 수 없는 패턴을 찾아냅니다. 장애 인사이트는 반복되는 장애 패턴(조용한 동작 장애 포함)을 발견하고, 각각의 근본 원인을 설명하며, 확산 정도에 따라 순위를 매겨주므로 팀은 사용자에게 가장 큰 피해를 주는 문제부터 먼저 해결할 수 있습니다. 의도 인사이트는 사용자가 시도했던 내용에 따라 요청을 클러스터링하고, 궤적 인사이트는 태스크 전체에 걸친 에이전트 경로를 그룹화하여 공통적인 패턴과 이상값을 드러냅니다. 고객은 몇 분 안에 지속적인 모니터링을 활성화하거나 표적 조사를 실행할 수 있습니다. 문제를 확실하게 해결하기 위해, 권장 사항은 추적과 평가 결과를 분석하고, 에이전트의 실제 작동 방식을 기반으로 시스템 프롬프트와 도구 설명에 대한 구체적인 개선 방안을 제시합니다. 각 권장 사항에는 관찰된 장애와 관련된 명확한 근거가 포함되어 있으며, 일반적인 제안이 아니라 프로덕션 데이터에서 도출된 맞춤형 변경 사항이므로 즉시 검증할 수 있습니다. 변경 사항이 사용자에게 전달되기 전, 배치 평가는 정의된 테스트 데이터세트를 기준으로 권장 사항을 테스트하고 여러 평가기의 점수를 집계하여 보고하므로 회귀를 조기에 감지할 수 있습니다. 고객이 "양호한" 상태를 정의하면, 배치 평가는 각 후보 변경 사항을 해당 기준에 따라 대규모로 측정합니다. 그런 다음 A/B 테스트를 통해 실제 상황에서 개선이 유지되는지 확인하고, 실시간 프로덕션 트래픽을 분할하고 결과를 나란히 측정하여 에이전트 버전 간 통제된 비교를 실시합니다. 고객이 전체 플릿에 롤아웃하기 전 해당 변경 사항이 테스트 데이터 뿐 아니라 실제 운영 환경에서도 효과가 있다는 통계적 증거가 제공됩니다. 이러한 기능은 에이전트가 실행되는 위치(AgentCore의 런타임, AWS Lambda, Amazon EKS 또는 비 AWS 환경)와 상관없이 작동합니다.
장애, 의도, 궤적 인사이트는 오늘부터 13개 AWS 리전에 평가판으로 제공됩니다. 배치 평가, 권장 사항, A/B 테스트는 현재 14개 AWS 리전에서 정식 버전으로 사용할 수 있습니다. 자세한 내용은 Amazon Bedrock AgentCore를 방문하거나 설명서를 참조하세요.