Amazon Web Services 한국 블로그
Amazon Bedrock Agent 정식 출시 – 향상된 오케스트레이션 제어 및 추론 가시성 제공
지난 7월에 Amazon Bedrock용 에이전트(미리보기)를 소개했습니다. 오늘부터 Amazon Bedrock용 에이전트를 정식 버전으로 사용할 수 있습니다.
Amazon Bedrock용 에이전트는 여러 단계의 태스크를 오케스트레이션하여 생성형 인공 지능(AI) 애플리케이션 개발을 가속화하는 데 도움이 됩니다. 에이전트는 파운데이션 모델(FM)의 추론 기능을 사용하여 사용자 요청 태스크를 여러 단계로 분할합니다. 개발자 제공 지침을 사용하여 오케스트레이션 계획을 만듭니다. 그런 다음 회사 API를 호출하고 검색 증강 생성(Retrieval Augmented Generation, RAG)을 통해 지식 기반에 접근하여 최종 사용자에게 최종 응답을 제공하는 방법으로 계획을 실행합니다. 작동 방식이 궁금하다면 에이전트에 대한 이전 게시물에서 고급 추론에 대한 기본 정보와 RAG에 대한 기본 정보를 확인하시기 바랍니다.
오늘부터 Amazon Bedrock용 에이전트에는 오케스트레이션 제어 개선 및 연쇄적 사고 추론에 대한 가시성 개선과 같은 향상된 기능도 포함됩니다.
Amazon Bedrock용 에이전트는 프롬프트 엔지니어링 및 사용자 요청 태스크의 오케스트레이션을 자동화합니다. 예를 들어 소매 주문 관리 또는 보험 청구 처리와 같은 작업의 오케스트레이션을 자동화합니다. 에이전트는 오케스트레이션 프롬프트를 자동으로 구축한 다음 연결된 기술 자료가 있는 경우 해당 회사의 특정 정보로 이 프롬프트를 보강합니다. 그런 다음 API를 호출하여 사용자에게 자연어로 된 응답을 제공합니다.
개발 과정에서 계획이 실행될 때 사용된 추론을 확인하고 싶다면 새로운 추적 기능을 사용하면 됩니다. 오케스트레이션 프로세스의 중간 단계를 확인하고 이 정보를 사용하여 문제를 해결할 수 있습니다.
또한 에이전트에 의해 자동으로 생성된 프롬프트에 액세스하고 프롬프트를 수정하여 최종 사용자 경험을 추가로 개선할 수도 있습니다. 자동으로 생성된 이 프롬프트(또는 프롬프트 템플릿)를 업데이트하여 FM의 오케스트레이션 및 응답을 개선하는 방식으로 오케스트레이션에서 더 많은 부분을 제어할 수 있습니다.
추론 단계를 보는 방법과 프롬프트를 수정하는 방법을 보여 드리겠습니다.
추론 단계 보기
추적 기능을 사용하여 에이전트의 추론 과정, 즉 생각의 연결고리(Chain of Thought, CoT)를 볼 수 있습니다. CoT 추적을 사용하여 에이전트가 단계별로 태스크를 수행하는 방법을 확인할 수 있습니다. CoT 프롬프트는 ReAct(reasoning(추론)과 acting(행동)의 합성어)라는 추론 기법에 기반을 둡니다. ReAct와 특정 프롬프트 구조에 대해 자세히 알아보려면 이전 블로그 게시물에서 고급 추론에 대한 기본 정보를 확인하세요.
시작하려면 Amazon Bedrock 콘솔로 이동하여 기존 에이전트의 작업 초안을 선택합니다. 그런 다음 테스트 버튼을 선택하고 샘플 사용자 요청을 입력합니다. 에이전트 응답에서 Show trace(추적 보기)를 선택합니다.
CoT 추적은 에이전트의 추론을 단계별로 보여줍니다. 각 단계를 열어 CoT 세부 정보를 확인합니다.
가시성이 향상되면 에이전트가 태스크를 완료할 때 어떤 근거를 사용했는지 이해하는 데 도움이 됩니다. 개발자는 사용자 경험을 반복적으로 테스트하고 개선할 때 이 정보를 사용하여 프롬프트, 지침 및 작업 설명을 다듬으면서 에이전트의 작업 및 응답을 조정할 수 있습니다.
에이전트를 통해 생성된 프롬프트 수정
에이전트는 제공된 지침에 따라 자동으로 프롬프트 템플릿을 생성합니다. 사용자는 사용자 입력의 전처리, 오케스트레이션 계획 및 FM 응답의 후처리를 업데이트할 수 있습니다.
시작하려면 Amazon Bedrock 콘솔로 이동하여 기존 에이전트의 작업 초안을 선택합니다. 그런 다음 Advanced prompts(고급 프롬프트) 옆의 편집 버튼을 선택합니다.
여기에서 4가지 유형의 템플릿에 액세스할 수 있습니다. 전처리 템플릿은 에이전트로 사용자 입력을 컨텍스트화하고 분류하는 방식을 정의합니다. 오케스트레이션 템플릿은 에이전트에 단기 메모리, 설명을 포함한 사용 가능한 작업 및 지식 기반 목록, 문제를 분류하고 이러한 작업과 지식을 다양한 순서 또는 조합으로 사용하는 방법에 대한 퓨샷(Few-shot) 예제들을 제공합니다. 지식 기반 응답 생성 템플릿은 응답에서 지식 기반을 사용하고 요약하는 방법을 정의합니다. 후처리 템플릿은 에이전트가 최종 응답의 서식을 지정하고 최종 사용자에게 제시하는 방법을 정의합니다. 템플릿 기본값을 계속 사용하거나 템플릿 기본값을 편집하고 재정의할 수 있습니다.
알아야 할 사항
다음은 Amazon Bedrock용 에이전트로 작업할 때 알아야 할 몇 가지 모범 사례와 중요한 정보입니다.
에이전트는 특정 태스크에 집중할 때 가장 우수한 성능을 발휘합니다. 목표(지침)가 명확하고 사용 가능한 작업 세트(API)에 대한 집중도가 높아질수록 FM으로 더 쉽게 올바른 단계를 추론하고 식별할 수 있습니다. 다양한 태스크를 다룰 에이전트가 필요하다면 개별 에이전트를 따로 만드는 것이 좋습니다.
다음은 몇 가지 추가 지침입니다.
- API 수 – 3~5개의 API와 입력 파라미터 몇 개를 에이전트에 사용합니다.
- API 설계 – API 설계에 대한 일반적인 모범 사례(예: 멱등성 보장)를 따릅니다.
- API 호출 검증 – 모든 API 호출에 대해 철저한 검증을 적용하여 API 설계 모범 사례를 따릅니다. 대규모 언어 모델(LLM)은 할루시네이션 입력 및 출력을 생성할 수 있습니다. API 호출 검증은 이러한 상황에 도움이 되는 것으로 검증되었기 때문에 특히 중요합니다.
가용성 및 요금
오늘부터 미국 동부(버지니아 북부) 및 미국 서부(오레곤) AWS 리전에서 Amazon Bedrock용 에이전트를 사용할 수 있습니다. 요금은 에이전트의 추론 호출(InvokeModel API)에 대해 부과됩니다. InvokeAgent API에는 별도의 요금이 부과되지 않습니다. Amazon Bedrock 요금에서 모든 세부 정보를 확인하세요.
자세히 알아보기
— Antje