Amazon Bedrock, Mistral Small 모델 출시 – 짧은 지연 시간이 필요한 워크로드용

오늘 Amazon Bedrock에서 Mistral AI의 Mistral Small 파운데이션 모델(FM)이 정식 출시되었습니다. Mistral Small은 최근 발표된 Mistral 7B와 Mixtral 8x7B(3월), Mistral Large(4월)에 바로 이어 나온 모델입니다. 이제 Amazon Bedrock에서 Mistral Small, Mistral Large, Mistral 7B, Mixtral 8x7B 등 Mistral AI의 네 가지 고성능 모델에 액세스할 수 있게 되어 모델 선택의 폭이 더욱 넓어졌습니다.

Mistral AI에서 개발한 Mistral Small은 지연 시간이 짧은 대용량 언어 기반 작업에 최적화된 고효율 대규모 언어 모델(LLM)입니다. Mistral Small은 분류, 고객 지원 또는 텍스트 생성 등 대량으로 수행할 수 있는 간단한 작업에 안성맞춤이며, 비용 효율적인 가격대로 뛰어난 성능을 제공합니다.

알아 둬야 할 Mistral Small의 몇 가지 주요 특성은 다음과 같습니다.

검색 증강 생성(RAG) 특화 – Mistral Small은 최대 32,000개의 토큰까지 확장될 수 있는 긴 컨텍스트 창에서도 중요한 정보를 보존할 수 있습니다.
코딩 능력 – Mistral Small은 코드 생성, 검토, 주석 달기에 탁월하며, 주요 코딩 언어를 지원합니다.
다국어 기능 – Mistral Small은 영어 외에도 프랑스어, 독일어, 스페인어, 이탈리아어에서 최고 수준의 성능을 제공합니다. 또한 수십 개의 다른 언어를 지원합니다.

Mistral Large 시작하기
Mistral Small을 시작하려면 먼저 모델에 액세스해야 합니다. Amazon Bedrock 콘솔로 가서 모델 액세스를 선택한 다음 모델 액세스 관리를 선택합니다. Mistral AI 섹션을 확장하고 Mistral Small을 선택한 다음 변경 사항 저장을 선택합니다.

이제 Mistral Small 모델에 액세스하고 Amazon Bedrock에서 모델을 사용할 수 있습니다. 기본 모델 테이블을 새로 고쳐 현재 상태를 봅니다.

다음 템플릿을 사용하여 모델이 차선의 출력을 가져오도록 하는 프롬프트를 작성합니다.

<s>[INST] Instruction [/INST]

<s>는 문자열 시작(BOS)을 위한 특수 토큰이고 [INST]와 [/INST]는 일반 문자열입니다.

분류 예제를 보기 위해 다음 프롬프트를 사용해 보겠습니다.

프롬프트:

<s>[INST] 다음 이메일을 분류하여 스팸인지 아닌지 결정하세요. “스팸” 또는 “스팸 아님”이라는 정확한 단어로만 응답하세요. 🎉 기간 한정 혜택! 2개 구매 시 1개 무료 증정! 혜택은 오늘 종료됩니다! 절약할 수 있는 기회를 놓치지 마세요. 아래 링크를 클릭하세요. https://bit.ly/buy-2-get-1-free [/INST]

Mistral 7B, Mixtral 8x7B, Mistral Large는 모두 이 이메일을 ‘스팸’으로 정확히 분류할 수 있습니다. Mistral Small도 더 큰 모델과 마찬가지로 이 이메일을 정확하게 분류할 수 있습니다. 텍스트 프롬프트에서 Bash 스크립트를 생성하고 요구르트 준비 레시피를 생성하는 작업 등 몇몇 유사한 작업에서도 결과가 좋습니다. 이런 이유로 Mistral Small은 이러한 작업에서 Amazon Bedrock의 Mistral AI 모델 중 비용 대비 효과와 효율이 가장 뛰어난 옵션입니다.

Mistral Small은 다국어 작업에 탁월합니다. 영어는 물론 프랑스어, 독일어, 스페인어, 이탈리아어에서도 뛰어난 성능을 제공합니다. 이 모델의 독일어 이해도를 테스트하기 위해 지속 가능성에 대한 문장 2개를 요청해 보겠습니다.

프롬프트:

<s>[INST] Geben Sie mir zwei Sätze zum Thema Nachhaltigkeit. [/INST]

출력:

1. Nachhaltigkeit bedeutet, die Bedürfnisse der heutigen Generation zu befriedigen, ohne die Möglichkeiten künftiger Generationen zu gefährden. 2. Ein nachhaltiger Lebensstil umfasst den bewussten Umgang mit Ressourcen, wie Wasser, Energie und Rohstoffen, sowie den Schutz von Umwelt und Klima. Diese Sätze sollten Ihnen einen guten Überblick über das Thema Nachhaltigkeit geben.

프로그래밍 방식으로 Mistral Small과 상호 작용
AWS Command Line Interface(AWS CLI)와 AWS 소프트웨어 개발 키트(SDK)를 사용하면 Amazon Bedrock API를 사용하여 프로그래밍 방식으로 Mistral Small과 상호 작용할 수 있습니다. AWS SDK에서 다음 Python 코드를 사용하여 Amazon Bedrock 런타임 API와 상호 작용(“하늘의 색은 무엇입니까?”라고 질문)합니다.

import argparse
import boto3
from botocore.exceptions import ClientError
import json

accept = "application/json"
content_type = "application/json"

def invoke_model(model_id, input_data, region, streaming): 
  client = boto3.client('bedrock-runtime', region_name=region)
  try:
    if streaming:
      response = client.invoke_model_with_response_stream(body=input_data, modelId=model_id, accept=accept, contentType=content_type)
    else:
      response = client.invoke_model(body=input_data, modelId=model_id, accept=accept, contentType=content_type)
    status_code = response['ResponseMetadata']['HTTPStatusCode']
    print(json.loads(response.get('body').read()))
  except ClientError as e:
    print(e)

if __name__ == "__main__":
  parser = argparse.ArgumentParser(description="Bedrock Testing Tool")
  parser.add_argument("--prompt", type=str, help="prompt to use", default="Hello")
  parser.add_argument("--max-tokens", type=int, default=64)
  parser.add_argument("--streaming", choices=["true", "false"], help="whether to stream or not", default="false")
  args = parser.parse_args()
  streaming = False
  if args.streaming == "true":
    streaming = True
  input_data = json.dumps({
    "prompt": f"<s>[INST]{args.prompt}[/INST]",
    "max_tokens": args.max_tokens
  })
  invoke_model(model_id="mistral.mistral-small-2402-v1:0", input_data=input_data, region="us-east-1", streaming=streaming)

다음 출력이 반환됩니다.

{'outputs': [{'text': ' The color of the sky can vary depending on the time of day, weather,', 'stop_reason': 'length'}]}

정식 출시
이제 미국 동부(버지니아 북부) 리전에서는 Amazon Bedrock에서 Mistral Small 모델을 사용할 수 있습니다.

자세한 내용은 Amazon Bedrock의 Mistral AI 제품 페이지를 참조하세요. 요금 세부 정보는 Amazon Bedrock 요금 페이지를 참조하세요.

Amazon Bedrock에서 Mistral Small을 시작하려면 Amazon Bedrock 콘솔과 Amazon Bedrock 사용 설명서를 참조하세요.

— Esra

Amazon Web Services 한국 블로그

Amazon Bedrock, Mistral Small 모델 출시 – 짧은 지연 시간이 필요한 워크로드용

주요 링크 모음

팔로우하기