Amazon Bedrock, Mistral AI 모델 정식 출시

지난 주에 Amazon Bedrock에서 Mistral AI 모델을 지원할 예정이라고 발표했습니다. 해당 게시물에서 Mistral AI 모델이 적합한 몇 가지 이유에 대해 자세히 설명했습니다. Mistral AI는 비용과 성능의 균형, 빠른 추론 속도, 투명성, 신뢰성을 제공하며 다양한 사용자가 이용할 수 있습니다.

오늘 두 가지 고성능 Mistral AI 모델인 Mistral 7B 및 Mixtral 8x7B를 Amazon Bedrock에서 이용할 수 있다는 소식을 발표하게 되어 기쁩니다. Mistral AI는 AI21 Labs, Anthropic, Cohere, Meta, Stability AI, Amazon 등 다른 주요 AI 회사에 이어 7번째로 Amazon Bedrock에서 최첨단 모델을 제공하는 파운데이션 모델 제공업체입니다. 이 통합을 통해 Amazon Bedrock에서 최적의 고성능 기반 모델을 유연하게 선택할 수 있습니다.

Mistral 7B는 자연스러운 코딩 기능으로 영어 텍스트 생성 작업을 지원하는 Mistral AI의 첫 번째 파운데이션 모델입니다. 요구되는 메모리가 작고 크기에 비해 처리량이 높아, 짧은 지연 시간을 제공하도록 최적화된 모델입니다. Mixtral 8x7B는 텍스트 요약, 문답, 텍스트 분류, 텍스트 완성 및 코드 생성에 이상적이며 인기 있는 고품질 희소 전문가 혼합(MoE) 모델입니다.

Amazon Bedrock의 Mistral AI 모델을 간단히 살펴보면 다음과 같습니다.

Mistral AI 모델 시작하기
Amazon Bedrock에서 Mistral AI 모델을 시작하려면 먼저 모델에 액세스해야 합니다. Amazon Bedrock 콘솔에서 모델 액세스를 선택한 다음 모델 액세스 관리를 선택합니다. 다음으로 Mistral AI 모델을 선택한 다음 모델 액세스 요청을 선택합니다.

선택한 Mistral AI 모델에 액세스할 수 있게 되면 플레이그라운드 섹션에서 채팅 또는 텍스트를 사용하여 프롬프트로 모델을 테스트할 수 있습니다.

프로그래밍 방식으로 Mistral AI 모델과 상호 작용
또한 AWS 명령줄 인터페이스(CLI) 및 AWS 소프트웨어 개발 키트(SDK)를 통해 Amazon Bedrock API를 사용하여 다양하게 직접적으로 호출할 수 있습니다. 다음은 AWS SDK를 사용하여 Amazon Bedrock 런타임 API와 상호 작용하는 Python 샘플 코드입니다.

import boto3
import json

bedrock = boto3.client(service_name="bedrock-runtime")

prompt = "<s>[INST] INSERT YOUR PROMPT HERE [/INST]"

body = json.dumps({
    "prompt": prompt,
    "max_tokens": 512,
    "top_p": 0.8,
    "temperature": 0.5,
})

modelId = "mistral.mistral-7b-instruct-v0:2"

accept = "application/json"
contentType = "application/json"

response = bedrock.invoke_model(
    body=body,
    modelId=modelId,
    accept=accept,
    contentType=contentType
)

print(json.loads(response.get('body').read()))

Mistral AI 모델 사용 사례
애플리케이션을 AWS SDK와 통합하고 Amazon Bedrock을 사용하여 Mistral AI 모델을 간접적으로 호출하면 다양한 사용 사례를 구현할 수 있습니다. 다음은 Mistral AI 모델을 샘플 프롬프트와 함께 사용하는, 개인적으로 선호하는 몇 가지 사용 사례입니다. Mistral AI 설명서 페이지에서 프롬프트 기능에 대한 더 많은 예제를 볼 수 있습니다.

텍스트 요약 – Mistral AI 모델은 긴 기사에서 핵심을 추출하므로 주요 아이디어와 핵심 메시지를 빠르게 파악할 수 있습니다.

당신은 요약 시스템입니다. 명확하고 간결한 언어로 다음 에세이의 요점을 세 항목으로 짧게 요약하십시오.

# 에세이:
{여기에 에세이 텍스트 삽입}

개인화 – 언어 이해, 추론 및 학습이라는 핵심 AI 기능을 통해 Mistral AI 모델은 보다 인간 수준에 근접한 텍스트로 답변을 개인화할 수 있습니다. Mistral AI 모델은 정확성, 설명 기능 및 다용도성으로 인해 개별 사용자에 밀접하게 부합하는 콘텐츠를 제공할 수 있기 때문에 개인화 작업에 유용합니다.

당신은 주택 담보 대출 기관의 고객 서비스 봇이며, 고객 질문에 답변하기 위해 개인화된 이메일 응답을 만드는 것이 당신의 임무입니다. 아래 제공된 사실 및 정보를 사용하여 고객의 질문에 답변하십시오. 답변은 명확하고 간결해야 하며 고객의 질문에 직접 답변해야 합니다. 친절하고 전문적인 방식으로 고객에 응대하십시오. 이메일에는 ‘대출 고객 지원’으로 서명합니다.

# 사실 및 정보
<여기에 사실 및 정보 입력>

# 이메일
{여기에 고객 이메일 입력}

코드 완성 – Mistral AI 모델은 자연어 및 코드 관련 작업을 매우 잘 이해하며, 이는 컴퓨터 코드와 일반 언어를 병행해야 하는 프로젝트에 필수적입니다. Mistral AI 모델은 코드 조각을 생성하고, 버그 수정을 제안하고, 기존 코드를 최적화하여 개발 프로세스를 가속화하는 데 도움이 될 수 있습니다.

[INST] 당신은 코드 어시스턴트입니다. 다음 속성을 기반으로 5개의 유효한 JSON 객체를 생성하는 것이 당신의 임무입니다.
이름: 
성: 
주소: 
설명 없이 JSON 객체만 생성하십시오.
[/INST]

꼭 알아야 할 사항
몇 가지 추가 정보는 다음과 같습니다.

가용성 – Amazon Bedrock에 탑재된 Mistral AI의 Mixtral 8x7B 및 Mistral 7B 모델은 미국 서부(오레곤) 리전에서 사용할 수 있습니다.
Mistral 7B 및 Mixtral 8x7B에 대해 자세히 알아보기 – Amazon Bedrock의 Mistral AI 모델에 대해 자세히 알아보려면 제 동료 Mike가 작성한 ‘Mistral AI – Winds of Change’라는 제목의 기사도 참고할 수 있습니다.

정식 출시
Mistral AI 모델은 현재 Amazon Bedrock에서 사용할 수 있습니다. 여러분이 무엇을 빌드할지 정말 기대됩니다. Amazon Bedrock의 Mistral AI를 방문하여 시작해 보십시오.

즐겁게 빌드해 보십시오.
— Donnie

Amazon Web Services 한국 블로그

Amazon Bedrock, Mistral AI 모델 정식 출시

주요 링크 모음

팔로우하기