Amazon Bedrock – Anthropic Claude 2.1 모델 지원

오늘, Amazon Bedrock에서 Anthropic의 Claude 2.1 파운데이션 모델(FM)이 제공됨을 발표합니다. 지난 주 Anthropic은 최신 모델인 Claude 2.1을 정식으로 소개했습니다. 이 모델은 업계 최고의 200,000토큰 컨텍스트 창(Claude 2.0의 컨텍스트 2배), 할루시네이션 비율 감소, 긴 문서에 대한 정확성 향상, 시스템 프롬프트, 함수 호출 및 워크플로 오케스트레이션을 위한 베타 도구 사용 기능 등 기업을 위한 주요 기능을 제공합니다.

Amazon Bedrock에서 Claude 2.1을 사용할 수 있게 되면서, Anthropic의 보다 정직하고 안정적인 AI 시스템을 사용하여 엔터프라이즈급 생성형 인공 지능(AI) 애플리케이션을 구축할 수 있습니다. 이제 Amazon Bedrock 콘솔에서 Anthropic이 제공하는 Claude 2.1 모델을 사용할 수 있습니다.

Amazon Bedrock의 새로운 Claude 2.1 모델에 대한 몇 가지 주요 하이라이트는 다음과 같습니다.

200,000토큰 컨텍스트 창 – 엔터프라이즈 애플리케이션은 제품 가이드, 기술 문서, 재무 또는 법률 서류와 같은 긴 문서를 작업할 때 더 큰 컨텍스트 창과 더 정확한 출력을 요구합니다. 클로드 2.1은 200,000토큰을 지원하며, 이는 약 150,000단어 또는 500페이지 이상의 문서에 해당합니다. Claude에 광범위한 정보를 업로드하면 비즈니스 계획 초안 작성 및 복잡한 계약 분석을 위해 요약, Q&A 수행, 추세 예측, 여러 문서 비교 및 대조 작업을 수행할 수 있습니다.

강력한 정확도 향상 – Claude 2.1은 Claude 2.0에 비해 할루시네이션 비율이 2배 감소하고, 개방형 대화 및 문서 Q&A에서 발생하는 할루시네이션 횟수가 50% 줄고, 오답이 30% 감소했으며, 문서가 특정 주장을 뒷받침한다고 잘못 판단하는 비율이 3~4배 낮아지는 등 정직성 측면에서도 상당한 향상을 이루었습니다. Claude는 점점 더 자신이 모르는 것을 알고 할루시네이션을 발생하기보다는 이의를 제기할 가능성이 더 커집니다. 이렇게 향상된 정확도를 통해 고객과 직원을 위해 더욱 신뢰할 수 있는 미션 크리티컬 애플리케이션을 구축할 수 있습니다.

시스템 프롬프트 – Claude 2.1은 이제 시스템 프롬프트를 지원합니다. 시스템 프롬프트는 다양한 방식으로 Claude의 성능을 개선할 수 있는 새로운 기능입니다. 여기에는 특히 긴 대화에서 캐릭터 깊이와 역할 준수도를 높이고 가이드라인, 규칙 및 지침을 더 엄격하게 준수하는 것이 포함됩니다. 이는 구조적 변화를 의미하되 Claude를 프롬프팅하는 이전 방식의 콘텐츠 변화는 아닙니다.

함수 호출 및 워크플로 오케스트레이션을 위한 도구 사용 – 베타 기능으로 제공되는 Claude 2.1은 이제 기존 내부 프로세스, 제품 및 API와 통합하여 생성형 AI 애플리케이션을 구축할 수 있습니다. Claude 2.1은 추가 지식 소스에서 데이터를 정확하게 검색하고 처리할 뿐만 아니라 주어진 작업에 대한 함수를 호출합니다.  Claude 2.1은 프라이빗 API 및 웹 검색 API를 사용하여 데이터베이스를 검색하여 질문에 답하고, 자연어 요청을 구조화된 API 호출로 변환하거나, 제품 데이터 세트에 연결하여 권장 사항을 제시하고 고객이 구매를 완료하도록 지원할 수 있습니다. 이 기능은 현재 일부 얼리 액세스 파트너만 이용할 수 있으며, 가까운 시일 내에 오픈 액세스를 제공할 계획입니다. 얼리 액세스에 관심이 있으시면 AWS 계정 팀에 문의하세요.

Claude 2.1의 특징과 기능에 대해 자세히 알아보려면 Amazon Bedrock의 Anthropic Claude 및 Amazon Bedrock 설명서를 참조하세요.

Claude 2.1 작동 방식
Amazon Bedrock에서 Claude 2.1을 시작하려면 Amazon Bedrock 콘솔로 이동하세요. 왼쪽 하단 창에서 모델 액세스를 선택한 다음 오른쪽 상단에서 모델 액세스 관리를 선택하고 사용 사례를 제출한 다음 Anthropic Claude 모델에 대한 모델 액세스를 요청하세요. 모델에 대한 액세스를 얻는 데 몇 분 정도 걸릴 수 있습니다. 이미 Claude 모델에 대한 액세스가 있는 경우 Claude 2.1에 대한 액세스 권한을 별도로 요청하지 않아도 됩니다.

채팅 모드에서 Claude 2.1을 테스트하려면 왼쪽 메뉴 창의 플레이그라운드에서 텍스트 또는 채팅을 선택하세요. 그런 다음 Anthropic을 선택한 다음 Claude v2.1을 선택합니다.

API 요청 보기를 선택하면 AWS Command Line Interface(AWS CLI) AWS SDK의 코드 예제를 통해 모델에 액세스할 수도 있습니다. 다음은 AWS CLI 명령의 샘플입니다.

$ aws bedrock-runtime invoke-model \
      --model-id anthropic.claude-v2:1 \
      --body "{\"prompt\":\"Human: \\n\\nHuman: Tell me funny joke about outer space!\n\nAssistant:", "max_tokens_to_sample": 50}' \
      --cli-binary-format raw-in-base64-out \
      invoke-model-output.txt

Claude 2.1 모델에서 제공하는 시스템 프롬프트 엔지니어링 기법을 사용할 수 있습니다. 이 기법을 사용하면 해당 콘텐츠를 참조하거나 활용하는 질문 앞에 입력과 문서를 배치할 수 있습니다. 입력은 자연어 텍스트, 구조화된 문서 또는 <document>, <papers>, <books> 또는 태그 등을 사용하는 코드 조각일 수 있습니다. 또한 채팅 기록과 같은 대화형 텍스트 및 청크 문서와 같은 검색 증강 생성(RAG) 결과를 사용할 수 있습니다.

다음은 지원 에이전트가 회사 문서를 기반으로 고객 질문에 응답하는 시스템 프롬프트 예제입니다.

다음은 작업에 참조할 수 있는 몇 가지 문서입니다.
<documents>
 <document index="1">
  <document_content>
  (문서의 텍스트 콘텐츠 - 구절, 웹 페이지, 기사 등일 수 있음)
   </document_content>
<document index="2">
  <source>https://mycompany.repository/userguide/what-is-it.html</source>
</document>
<document index="3">
  <source>https://mycompany.repository/docs/techspec.pdf</source>
 </document>
...
</documents>

당신은 Larry이며 회사 제품에 대한 깊은 지식을 갖춘 고객 상담사입니다. Larry는 고객이 말도 안 되는 말을 하거나 냉소적인 말을 할 때에도 고객에 대해 상당한 인내심을 가지고 있습니다. Larry의 대답은 정중하지만 때로는 재미있습니다. 그러나 Larry는 회사 제품에 대한 질문에만 답변할 뿐, 다른 질문에 대해서는 잘 모릅니다. 제공된 설명서를 사용하여 사용자 질문에 답변합니다.

사람: 제품을 사용할 때 이상한 버벅거리는 소리가 납니다. 무엇이 문제일까요?

Amazon Bedrock의 프롬프트 엔지니어링에 대해 자세히 알아보려면 Amazon Bedrock 설명서에 포함된 프롬프트 엔지니어링 가이드라인을 참조하세요. Claude를 비롯한 Amazon Bedrock 텍스트 모델에 대한 일반적인 프롬프트 기법, 템플릿 및 예제를 알아볼 수 있습니다.

지금 이용 가능
Claude 2.1은 오늘부터 미국 동부(버지니아 북부) 및 미국 서부(오레곤) 리전에서 사용할 수 있습니다.

온디맨드 모드에 대해 기간 기반 약정 없이 사용한 만큼만 비용을 지불하면 됩니다. 텍스트 생성 모델의 경우 처리된 모든 입력 토큰과 생성된 모든 출력 토큰에 대해 요금이 부과됩니다. 또는 시간 기반 약정을 체결하여 프로비저닝된 처리량 모드를 선택하여 애플리케이션의 성능 요구 사항을 충족할 수 있습니다. 자news세히 알아보려면 Amazon Bedrock 요금을 참조하세요.

지금 바로 Amazon Bedrock 콘솔에서 Anthropic Claude 2.1을 사용해 보고, Amazon Bedrock용 AWS re:Post에 피드백을 보내거나 일반적인 AWS Support 문의를 통해 피드백을 보내세요.

– Channy