Amazon Bedrock AgentCore, 에이전트 성능 최적화 기능을 평가판으로 출시
Amazon Bedrock AgentCore는 성능을 검증하기 위한 권장 사항 및 두 가지 방법(배치 평가 및 A/B 테스트)을 출시했습니다. 이로써 프로덕션 AI 에이전트에 대한 관찰, 평가, 개선 루프가 완료됩니다. 지금까지는 평가 결과를 구체적이고 검증된 개선 사항으로 전환하려면 체계적인 접근 방식보다는 개발자의 수동 개입과 직관이 필요했습니다. 권장 사항, 배치 평가 및 A/B 테스트를 통해 이제 개발자는 평가 결과에 따라 조치를 취할 수 있는 도구를 확보하게 되었습니다.
모델이 진화하고 사용자 행동이 변화함에 따라 에이전트의 품질도 시간이 흐르면서 서서히 저하됩니다. 권장 사항 기능은 AgentCore에서 생성된 프로덕션 추적 및 평가 출력을 분석하여 특정 워크로드에 맞게 최적화된 시스템 프롬프트 및 도구 설명을 생성합니다. 그런 다음 배치 평가를 사용하여 사전 정의된 테스트 사례와 비교하여 권장 사항을 검증합니다. A/B 테스트는 사전 정의된 테스트 세트 또는 라이브 프로덕션 트래픽에 대한 통제된 A/B 테스트를 통해 이러한 권장 사항을 추가로 검증하며, 변경 사항을 승격하기 전에 통계적 유의성이 보고됩니다. 모든 권장 사항은 배포 전에 사용자의 승인이 필요합니다. 이러한 기능을 함께 사용하면 에이전트의 성능 개선 주기가 완료됩니다. 에이전트는 단순히 실행되는 것을 넘어, 사용자에 요구에 맞게 성능이 개선됩니다.
최적화 기능은 AgentCore 평가가 제공되는 모든 AWS 리전에서 사용할 수 있습니다. 자세한 내용은 AgentCore 설명서를 참조하세요.