Amazon Titan Text Premier 모델 출시 – Amazon Bedrock 기반 검색 증강 생성 (RAG) 및 에이전트 기반 생성형 AI 앱 구축

오늘 Amazon Titan 모델 제품군에 속하는 새로운 제품인 Amazon Titan Text Premier를 이제 Amazon Bedrock에서 만나보실 수 있게 되었습니다.

Amazon Titan Text Lite와 Titan Text Express에 이어 새롭게 선보이는 Amazon Titan Text Premier는 Amazon Titan 모델 제품군의 최신 대규모 언어 모델(LLM)로, Amazon Bedrock 내에서 모델 선택의 폭을 더욱 넓혀줍니다. 이제 Bedrock에서 다음과 같은 Titan Text 모델들을 선택할 수 있습니다.

• Titan Text Premier는 텍스트 기반 엔터프라이즈 애플리케이션을 위한 가장 진보된 Titan LLM입니다. 최대 컨텍스트 길이가 32K 토큰인 이 LLM은 Knowledge Bases 및 Agents for Amazon Bedrock을 사용하여 RAG(검색 증강 생성)와 에이전트 기반 애플리케이션을 구축하는 등 엔터프라이즈 사용 사례에 맞게 특별히 최적화되었습니다. 다른 Titan LLM과 마찬가지로 Titan Text Premier는 다국어 텍스트 데이터에 대한 사전 교육을 받았지만 영어 작업에 가장 적합합니다. Amazon Bedrock의 자체 데이터를 사용해서 Titan Text Premier에 추가적으로 사용자 지정 미세 조정(평가판)을 하여 사용자의 도메인, 조직, 브랜드 스타일 및 사용 사례에 맞는 애플리케이션을 구축할 수 있습니다. 본 게시물의 다음 각 섹션에서 이 모델의 주요 특징과 성능에 대해 자세히 살펴보겠습니다.
• Titan Text Express는 개방형 텍스트 생성과 대화형 채팅 등 여러 가지 작업에 이상적입니다. 이 모델의 최대 컨텍스트 길이는 8K 토큰입니다.
• Titan Text Lite는 속도에 최적화되어 있고 사용자 정의가 가능하며 기사 요약 및 카피라이팅과 같은 작업에 맞게 미세 조정을 하는 데 이상적입니다. 이 모델의 최대 컨텍스트 길이는 4K 토큰입니다.

이제 Titan Text Premier에 대해 더 자세히 알아보겠습니다.

Amazon Titan Text Premier 모델의 주요 특징
Titan Text Premier는 고품질 RAG 및 에이전트 기반 애플리케이션과 미세 조정을 통한 사용자 정의에 최적화되어 있으며 책임감 있는 인공 지능(AI) 활동을 통합하였습니다.

RAG 및 에이전트 기반 애플리케이션에 최적화 – Titan Text Premier는 고객 피드백에 따라 RAG 및 에이전트 기반 애플리케이션에 특별히 최적화되었습니다. 피드백을 제공한 고객들은 RAG를 생성형 AI 애플리케이션 구축을 위한 주된 구성 요소 중 하나로 꼽았습니다. 모델 교육 데이터는 요약, Q&A, 대화형 채팅 등의 작업을 위한 예제를 포함하고 있으며 Knowledge Bases for Amazon Bedrock 및 Agents for Amazon Bedrock와 통합되도록 최적화되었습니다. 이 최적화에는 이러한 기능들의 뉘앙스(예: 특정 프롬프트 형식들)를 처리하도록 모델을 학습시키는 작업이 포함됩니다.

• Knowledge Bases for Amazon Bedrock과의 통합을 통한 고품질 RAG – 지식 기반을 사용하여 Amazon Bedrock의 파운데이션 모델(FM)을 회사 데이터에 안전하게 연결해서 RAG를 지원할 수 있습니다. 이제 Knowledge Bases가 포함된 Titan Text Premier를 선택하여 회사의 독점 데이터에 대한 질의-답변 및 요약 작업을 구현할 수 있습니다.
  
• Agents for Amazon Bedrock과의 통합을 통한 작업 자동화 – Titan Text Premier를 Agents for Amazon Bedrock과 함께 사용하여 여러 회사 시스템과 데이터 소스에 걸친 다단계 작업을 수행할 수 있는 사용자 지정 에이전트를 만들 수도 있습니다. 에이전트를 사용하여 소매 주문 관리, 보험금 청구 처리 등 내부 또는 외부 고객을 위한 작업을 자동화할 수 있습니다.
  

Titan Text Premier를 통해 이메일처럼 구조화되지 않은 데이터를 이용하여 요약을 생성하는 대화형 AI 어시스턴트를 구현하는 고객들이 이미 있습니다. 이들은 회사 시스템과 데이터 소스 전반에서 관련 정보를 추출하여 보다 의미 있는 제품 요약 정보를 만드는 모델도 모색하고 있습니다.

다음은 제 동료 Brooke Jamieson이 만든 데모 영상으로, Titan Text Premier를 비즈니스에 활용할 수 있는 방법을 보여주는 예시입니다.

Amazon Titan Text Premier의 사용자 지정 미세 조정(평가판) – Amazon Bedrock의 자체 데이터로 Titan Text Premier를 미세 조정하여 작업별 레이블이 지정된 교육 데이터세트를 제공함으로써 모델 정확도를 높일 수 있습니다. Titan Text Premier를 사용자 정의하면 모델을 한층 더 전문화하고 회사의 브랜드, 스타일, 목소리 및 서비스를 반영하는 고유의 사용자 경험을 만들 수 있습니다.

책임감 있게 구축 – Amazon Titan Text Premier는 안전하고 신뢰할 수 있는 활동을 구현합니다. AWS AI Service Card for Amazon Titan Text Premier는 안전과 공정성에서부터 진실성과 견고성에 이르기까지 책임 있는 AI의 주요 벤치마크 전반에 걸쳐 모델의 성능을 문서화합니다. 또한 이 모델은 Guardrails for Amazon Bedrock과 통합되므로 애플리케이션 요구 사항 및 책임 있는 AI 정책에 맞게 사용자 지정된 추가 보호 장치들을 구현할 수 있습니다. Amazon Titan 모델을 책임감 있게 사용하는 고객이 일반에게 공개된 Amazon Titan 모델이나 그 결과물이 타사 저작권을 침해한다는 클레임을 받을 경우 아마존은 이에 대한 배상을 약속합니다.

Amazon Titan Text Premier 모델 성능
Titan Text Premier는 기업과 관련한 광범위한 인텔리전스와 유틸리티를 제공하도록 제작되었습니다. 다음 표는 지침 준수, 독해력, 가격 비교 모델들을 기준으로 한 다단계 추론과 같은 중요한 기능들에 대해 평가하는 공개 벤치마크에 대한 평가 결과를 보여줍니다. 이렇게 다양하고 까다로운 벤치마크 전반에 걸쳐 우수한 성능을 보여주는 Titan Text Premier는 엔터프라이즈 애플리케이션의 광범위한 사용 사례를 처리하도록 설계되어 뛰어난 가격 대비 성능을 제공합니다. 아래 나열된 모든 벤치마크는 점수가 높을수록 성능이 더 우수하다는 뜻입니다.

참고: 벤치마크는 여러 가지 퓨샷 및 제로샷 프롬프트를 사용하여 모델 성능을 평가합니다. 퓨샷 프롬프트의 경우, 특정 과제를 처리하는 방법에 관한 구체적인 예시(3샷의 경우 3개, 5샷의 경우 5개 등)를 모델에 제공합니다. 이것은 모델이 예시를 통해 학습할 수 있는 능력을 보여주는데, 이를 인-컨텍스트 학습이라고 합니다. 반면에 제로샷 프롬프트의 경우, 예시를 제공하지 않고 기존의 지식과 일반적인 언어 이해에만 의존하여 모델의 작업 수행 능력을 평가합니다.

Amazon Titan Text Premier 시작하기
Amazon Titan Text Premier에 대한 액세스를 활성화하려면 Amazon Bedrock 콘솔로 이동하여 왼쪽 하단 창에 있는 Model access(모델 액세스)를 선택합니다. 모델 액세스(Model access) 개요 페이지에서 오른쪽 상단의 모델 액세스 관리(Manage model access) 버튼을 선택하고 Amazon Titan Text Premier에 대한 액세스를 활성화합니다.

Bedrock 콘솔에서 Amazon Titan Text Premier를 사용하려면 왼쪽 메뉴 창의 Playgrounds(플레이그라운드)에서 Text(텍스트) 또는 Chat(채팅)을 선택합니다. 그 다음, Select model(모델 선택)을 선택하고 범주로 Amazon을 선택한 후, 모델로 Titan Text Premier를 선택합니다. 모델을 탐색하려면 load examples(예시 로딩)을 할 수 있습니다. 다음 스크린샷은 모델의 생각의 사슬(CoT) 및 추론 기능을 보여주는 예시 하나를 보여줍니다.

View API request(View API 요청)를 선택하면 현재 예시 프롬프트에 AWS Command Line Interface (AWS CLI)를 사용하여 모델을 간접 호출하는 방법에 대한 코드 예제를 볼 수 있습니다. 또한 AWS SDK를 사용하여 Amazon Bedrock과 사용 가능한 모델에 액세스할 수도 있습니다. 다음 예제에서는 AWS SDK for Python(Boto3)을 사용하겠습니다.

Amazon Titan Text Premier가 실행되는 모습
이 데모에서는 제가 Amazon Titan Image Generator와 워터마크 감지 기능을 사용할 수 있게 된 것과 관련하여 제가 전에 게시한 AWS News Blog 게시물 중 하나를 요약해 달라고 Amazon Titan Text Premier에 요청합니다.

요약 작업의 경우 권장되는 프롬프트 템플릿은 다음과 같습니다.

다음은 {{텍스트 범주}}의 텍스트입니다.
{{텍스트}}
{{텍스트 범주}}를 {{요약 길이}}로 요약하세요

프롬프트 모범 사례에 대한 더 자세한 내용은 Amazon Titan Text 프롬프트 엔지니어링 가이드라인을 참조하세요.

이 템플릿을 제 예제에 맞게 조정하고 프롬프트를 정의합니다. 준비 과정에서 제가 News Blog 게시물을 텍스트 파일로 저장했고 이것을 post 문자열 변수로 읽었습니다.

prompt = """
다음은 AWS News Blog 게시물의 텍스트입니다.

<text>
%s
</text>

위의 AWS News Blog 게시물을 짧은 단락으로 요약하세요.
""" % post

Amazon Text Premier는 과거의 Amazon Titan Text 모델들과 마찬가지로 응답의 무작위성과 다양성을 제어하는 temperature와 topP 추론 파라미터를 지원할 뿐만 아니라 응답의 길이를 제어하는 maxTokenCount와 stopSequences도 지원합니다.

import boto3
import json

bedrock_runtime = boto3.client(service_name="bedrock-runtime")

body = json.dumps({
    "inputText": prompt, 
    "textGenerationConfig":{  
        "maxTokenCount":256,
        "stopSequences":[],
        "temperature":0,
        "topP":0.9
    }
})

그런 다음 InvokeModel API를 사용하여 추론 요청을 보냅니다.

response = bedrock_runtime.invoke_model(
    body=body,
	modelId="amazon.titan-text-premier-v1:0",
    accept="application/json", 
    contentType="application/json"
)

response_body = json.loads(response.get('body').read())
print(response_body.get('results')[0].get('outputText'))

응답은 다음과 같습니다.

이제 Amazon Titan Image Generator가 Amazon Bedrock에 정식 출시되어 이미지의 즉각적인 사용자 지정 등 새 이미지 생성 및 이미지 편집 기능을 사용하여 생성형 AI 애플리케이션을 손쉽게 구축하고 확장할 수 있게 됐습니다. Titan Image Generator의 워터마크 감지 기능이 이제 Amazon Bedrock 콘솔에서 정식으로 제공됩니다. 또, 오늘은 Amazon Bedrock에 새로운 DetectGeneratedContent API(평가판)도 소개합니다. 이 API는 워터마크의 존재 여부를 확인하여 이미지가 Titan Image Generater에서 생성된 것인지를 확인하는 데 도움을 줍니다.

다양한 프로그래밍 언어의 더 많은 예제를 보려면 Amazon Bedrock 사용 설명서의 코드 예제 섹션을 참조하십시오.

그 밖의 리소스
다음은 도움이 될 만한 몇 가지 추가 리소스입니다.

대상 사용 사례 등 – 이 모델의 대상 사용 사례, 설계, 배포 및 성능 최적화 모범 사례에 대해 자세히 알아보려면 AWS AI Service Card for Amazon Titan Text Premier를 참조하세요.

AWS Generative AI CDK Constructs – Amazon Titan Text Premier는AWS Cloud Development Kit(AWS CDK)의 오픈소스 확장판인 AWS Generative AI CDK Constructs를 지원하여, 일반적인 생성형 AI 패턴을 위한 AWS CDK의 구현 샘플을 제공합니다.

Amazon Titan 모델 – Amazon Titan 모델들의 일반적인 내용에 대해 자세히 알아보려면 다음 영상을 확인하세요. Sherry Marcus 박사(Amazon Bedrock의 응용과학 담당 이사)가 Amazon이 그 비즈니스의 전반에 걸쳐 AI와 기계 학습(ML) 을 통해 혁신을 이룩해 온 25년간의 경험을 Amazon Titan 모델 제품군에 어떻게 접목했는지에 대해 설명합니다.

정식 출시
Amazon Titan Text Premier는 현재 AWS 미국 동부(버지니아 북부) 리전에서 사용할 수 있습니다. Amazon Titan Text Premier의 사용자 지정 미세 조정은 현재 AWS 미국 동부(버지니아 북부) 리전에서 평가판으로 제공되고 있습니다. 향후 업데이트 여부는 전체 리전 목록을 확인하세요. Amazon Titan 모델 제품군에 대해 더 자세히 알아보려면 Amazon Titan 제품 페이지를 방문하세요. 요금 세부 정보는 Amazon Bedrock 요금 페이지를 참조하세요.

지금 Amazon Bedrock 콘솔에서 Amazon Titan Text Premier를 사용해본 후 AWS re:Post for Amazon Bedrock을 이용하거나 AWS 담당자를 통해 피드백을 보내고 community.aws의 생성형 AI 빌더 커뮤니티에 참여하세요.

— Antje