Amazon Web Services 한국 블로그

Amazon Bedrock, 복잡한 추론을 위한 Mistral Large 모델 정식 출시

지난 달, 저희는 두 가지 고성능 Mistral AI 모델인 Mistral 7B와 Mixtral 8x7B를 Amazon Bedrock에서 이용할 수 있다는 소식을 발표했습니다. Mistral의 첫 번째 파운데이션 모델인 Mistral 7B는 자연스러운 코딩 기능으로 영어 텍스트 생성형 작업을 지원합니다. Mixtral 8x7B는 텍스트 요약, 문답, 텍스트 분류, 텍스트 완성 및 코드 생성에 이상적이며 인기 있는 고품질 희소 전문가 혼합(MoE) 모델입니다.

오늘은 Amazon Bedrock 기반 Mistral Large가 출시되었다는 소식을 알려드립니다. Mistral Large는 상당한 추론 능력이 필요한 복잡한 작업이나 합성 텍스트 생성 또는 코드 생성과 같이 고도로 전문화된 작업에 적합합니다.

Mistral Large에 대해 알아야 할 내용:

  • 영어, 프랑스어, 스페인어, 독일어, 이탈리아어에 능통하며 문법과 문화적 맥락에 대한 섬세한 이해를 갖추고 있습니다.
  • 32K 토큰 컨텍스트 창이 있어 대용량 문서에서 정확한 정보를 불러올 수 있습니다.
  • 정확한 지침을 따르기 때문에 조정 정책을 설계할 수 있습니다. Mistral AI의 직원들은 이 기능을 사용하여 베타 어시스턴트 데모인 le Chat의 시스템 수준 조정을 설정했습니다. 대규모 언어 모델(LLM)과의 첫 번째 상호 작용은 프롬프트를 중심으로 이루어집니다. 효과적인 프롬프트를 작성하는 것은 LLM이 적절한 답변을 생성하기 위해 반드시 필요한 기술입니다. Mistral AI에는 다양한 프롬프트 기능을 보여주는 예시 프롬프트가 포함된 가이드가 있습니다.

Mistral Large 시작하기
Bedrock에서 Mistral Large를 시작하려면 먼저 해당 모델에 액세스해야 합니다. Amazon Bedrock 콘솔에서 모델 액세스를 선택한 다음 모델 액세스 관리를 선택합니다. 그런 다음 Mistral Large 를 선택하고 변경 사항 저장을 선택합니다.

Model-access-Mistral-Large-screenshot2

Mistral Large에 액세스할 수 있게 되면 Bedrock에서 모델을 사용할 수 있습니다. 업데이트된 상태를 보려면 기본 모델 테이블을 새로 고침합니다.

Mistral Large의 복잡한 추론 측면이 실제로 작동하는지 확인하기 위해 플레이그라운드 섹션에서 다음 프롬프트를 사용해 보았습니다:

Playground-screenshot-Mistral-Large

프롬프트

주어진 데이터세트에서 결제 금액이 가장 비슷한 두 고객 간의 결제 날짜 차이를 구해줘:

'{
"transaction_id":{"0":"T1001","1":"T1002","2":"T1003","3":"T1004","4":"T1005"},
"customer_id":{"0":"C001","1":"C002","2":"C003","3":"C002","4":"C001"},
"payment_amount":{"0":125.5,"1":89.99,"2":120.0,"3":54.3,"4":210.2},
"payment_date":{"0":"2021-10-05","1":"2021-10-06","2":"2021-10-07","3":"2021-10-05","4":"2021-10-08"},
"payment_status":{"0":"Paid","1":"Unpaid","2":"Paid","3":"Paid","4":"Pending"}
}'

출력값

결제 금액이 가장 비슷한 두 고객 간의 결제 날짜 차이를 찾으려면 먼저 가장 가까운 두 결제 금액을 식별한 다음 각각의 결제 날짜를 찾아야 합니다.

결제 금액은 다음과 같습니다: 125.5, 89.99, 120.0, 54.3, 210.2

가장 유사한 두 가지 결제 금액은 125.5와 120.0입니다. 결제 금액 125.5의 결제일은 '2021-10-05'이고 결제 금액 120.0의 결제일은 '2021-10-07'입니다.

결제 날짜의 차이는 다음과 같이 계산할 수 있습니다:

날짜 차이 = |'2021-10-07' - '2021-10-05'| = 2일

따라서 결제 금액이 가장 비슷한 두 고객 간의 결제 날짜 차이는 2일입니다.

이 글의 앞부분에서 Mistral Large는 여러 언어에 유창하며 문법과 문화적 맥락에 대한 섬세한 이해를 갖추고 있다고 언급했습니다. 모델의 프랑스어 이해도를 테스트했습니다:

프롬프트

Lequel est le plus lourd une livre de fer ou un kilogramme de plume

출력값

Un kilogramme de plumes est plus lourd qu'une livre de fer.

Pour comprendre cela, il est important de se rappeler que :

1. Une livre (lb) est une unité de mesure de masse principalement utilisée aux États-Unis et dans d'autres systèmes de mesure impériaux, tandis qu'un kilogramme (kg) est l'unité de base de masse dans le système international d'unités (SI).

2. 1 kilogramme est approximativement égal à 2,2 livres.

Donc, un kilogramme de plumes est plus lourd qu'une livre de fer, car il correspond à environ 2,2 livres de plumes.

프로그래밍 방식으로 Mistral Large와 상호작용하기
또한 AWS 명령줄 인터페이스(CLI) 및 AWS 소프트웨어 개발 키트(SDK)를 통해 Amazon Bedrock API를 사용하여 다양하게 직접적으로 호출할 수 있습니다. 다음은 AWS SDK를 사용하여 Amazon Bedrock 런타임 API와 상호 작용하는 Python 샘플 코드입니다. 프롬프트에서 “키가 X, Y, Z인 JSON 객체로만 응답합니다.”라고 지정하면 다운스트림 작업에서 손쉽게 JSON 형식 출력을 사용할 수 있습니다:

import boto3
import json

bedrock = boto3.client(service_name="bedrock-runtime", region_name='us-east-1')

prompt = """
<s>[INST]너는 요약과 함께 관련된 신뢰 점수를 제공할 수 있는 
요약 시스템이야. 명확하고 간결한 언어로 다음 에세이의 짧은 요약문 세 개를 
신뢰 점수와 함께 알려 줘. 요약 및 신뢰 키가 포함된 
JSON 객체로만 응답해. 설명을 제공하지 않아도 돼.[/INST]

# 에세이: 
생성형 인공 지능 혁명이 본격화되면서 모든 규모와 산업 분야의 고객들이 이 혁신적인 기술을 활용하여 비즈니스를 재편하고 있습니다. 워크플로를 보다 직관적이고 쉽게 재구성하는 것부터 신속한 정보 합성을 통해 의사 결정 프로세스를 개선하는 것까지, 생성형 AI는 우리가 기계와 상호 작용하는 방식을 재정의할 것을 약속합니다. 많은 기업들이 Amazon Bedrock을 사용해 AWS에서 혁신적인 생성형 AI 애플리케이션을 출시하고 있습니다. Siemens는 로우 코드 개발 플랫폼인 Mendix에 Amazon Bedrock을 통합하여 여러 산업 분야의 수천 개 기업이 생성형 AI를 통해 애플리케이션을 만들고 업그레이드할 수 있게 지원하고 있습니다. Accenture와 Anthropic은 AWS와 협력하여 특히 의료, 공공 부문, 은행, 보험과 같이 규제가 엄격한 산업 분야의 조직이 Amazon Bedrock을 통해 생성형 AI 기술을 책임감 있게 도입하고 확장할 수 있도록 지원하고 있습니다. 이러한 협업 관계를 통해 워싱턴 DC 보건부(District of Columbia Department of Health)와 같은 기관은 데이터를 비공개로 안전하게 유지하면서 혁신을 가속화하고 고객 서비스를 개선하며 생산성을 향상할 수 있습니다. Amazon Pharmacy는 생성형 AI를 사용하여 처방전을 빠르고 정확하게 작성하고, 고객 서비스를 더욱 빠르고 편리하게 제공하며, 고객에게 필요한 적정량의 의약품을 재고로 확보하고 있습니다.

다양한 애플리케이션을 지원하기 위해서는 생성형 AI를 위한 모델 다양성과 선택의 폭이 필요하다는 사실을 일찍이 인지하고 있었습니다. 각기 다른 모델이 특정 사용 사례에 맞춘 고유한 강점을 가지고 있으며 각기 다른 영역에서 탁월하다는 것을 알고 있기 때문에 통합 서비스인 Amazon Bedrock을 통해 고객에게 여러 최신 대규모 언어 모델(LLM)과 파운데이션 모델(FM)에 액세스할 수 있도록 지원합니다. Amazon, Anthropic, AI21 Labs, Cohere, Meta, Mistral AI, Stability AI의 최고 모델에 쉽게 액세스할 수 있도록 지원하여 고객이 실험하고 평가하고 궁극적으로 필요에 맞는 최적의 성능을 제공하는 모델을 선택할 수 있도록 지원합니다.

Amazon Bedrock 기반 Mistral Large 출시 발표
오늘, Mistral AI와의 협력 관계 확장을 통해 이 여정의 다음 단계를 소개할 수 있게 되어 기쁩니다. 프랑스 스타트업인 Mistral AI는 휴대성, 투명성, 적은 컴퓨팅 리소스를 필요로 하는 비용 효율적인 설계에 중점을 두는 것으로 유명한 생성형 AI 분야의 선구자로 빠르게 자리 잡았습니다. 저희는 최근 고객이 직접 계수를 검사하고 수정할 수 있는 Mistral 7B 및 Mixtral 8x7B 모델을 Amazon Bedrock에 출시했습니다. 현재 Mistral AI는 가장 성능이 뛰어난 최신 모델인 Mistral Large를 Amazon Bedrock에 제공하고 있으며, 향후 모델도 AWS 고객이 이용할 수 있도록 최선을 다하고 있습니다. Mistral AI는 또한 AWS의 가격, 성능, 확장성 및 보안의 이점을 활용하여 AWS AI에 최적화된 AWS Trainium 및 AWS Inferentia를 사용하여 Amazon Bedrock에서 미래의 파운데이션 모델을 구축하고 배포할 예정입니다. 이번 발표 이후로 오늘부터 고객들은 AWS 유럽(파리) 리전에서 Amazon Bedrock을 사용할 수 있습니다. 출시와 함께 Amazon, Anthropic, Cohere, Mistral AI의 일부 최신 모델을 이용할 수 있으며, 텍스트 이해부터 복잡한 추론에 이르기까지 여러 사용 사례를 지원하여 선택의 폭이 넓어집니다.

탁월한 언어 이해 및 생성 기능을 자랑하는 Mistral Large는 추론 기능이 필요한 복잡한 작업이나 합성 텍스트 생성, 코드 생성, 검색 증강 생성(RAG) 또는 에이전트와 같이 고도로 전문화된 작업에 이상적입니다. 예를 들어 의미 전달을 정확한 대화를 진행하고, 뉘앙스가 담긴 콘텐츠를 생성하며, 복잡한 추론 작업을 처리할 수 있는 AI 에이전트를 구축할 수 있습니다. 이 모델의 강점은 코딩에도 적용되어 주류 코딩 언어 전반에 걸쳐 코드 생성, 검토 및 주석 작성에 능숙합니다. 또한 Mistral Large는 영어뿐만 아니라 프랑스어, 독일어, 스페인어, 이탈리아어 등 탁월한 다국어 성능을 갖추고 있어 매력적인 기회를 제공합니다. AWS는 강력한 다국어 지원 모델을 제공함으로써 다양한 언어 요구 사항을 가진 고객에게 더 나은 서비스를 제공하여 생성형 AI 솔루션에 대한 글로벌 접근성과 포괄성을 촉진할 수 있습니다.

Mistral Large를 Amazon Bedrock에 통합함으로써 고객이 선택할 수 있는 최고 성능의 LLM을 더욱 폭넓게 제공할 수 있게 되었습니다. 모든 사용 사례에 최적화된 단일 모델은 없으며, 생성형 AI의 가치를 실현하려면 고객은 다양한 모델에 액세스하여 비즈니스 요구 사항에 따라 가장 적합한 모델을 찾아야 합니다. AWS는 최고의 모델을 지속적으로 도입하여 고객에게 가장 혁신적인 최신 생성형 AI 기능을 제공하기 위해 최선을 다하고 있습니다.

“전 세계 기업에서 저희의 선도적인 AI 기술을 빠르게 도입할 수 있도록 AWS와 협업을 하게 되었다는 소식을 발표하게 되어 기쁩니다. 저희의 사명은 최첨단 AI를 어디에서나 사용할 수 있게 하는 것으로, 이를 달성하기 위해 세계 최고의 클라우드사와 협력하여 최고의 모델을 배포하고자 합니다. AWS와 저희는 오랫동안 깊은 인연을 맺어왔으며, 오늘 이 협력 관계를 공고히 함으로써 전 세계 빌더에게 맞춤형 AI를 제공할 수 있게 되었습니다.”

– Arthur Mensch, Mistral AI CEO.

고객의 선택권을 존중하는 기업
Amazon Bedrock을 처음 출시한 이후 저희는 에이전트 및 가드레일 등 더욱 강력한 기능을 빠르게 추가하며 혁신을 거듭해 왔습니다. 그리고 새로운 모델을 포함한 더욱 흥미로운 혁신 기술을 선보일 예정이라고 계속 말씀드린 바 있습니다. 모델 선택의 폭이 넓어지면서 고객들은 놀라운 성과를 거둘 수 있었다고 말합니다:

“하나의 API에서 다양한 모델에 쉽게 액세스할 수 있다는 점이 Bedrock의 강점 중 하나입니다. 사용 가능한 모델 선택의 폭이 넓어져 흥미롭습니다. 새로운 모델이 출시되면 저희 AI 팀은 빠르고 쉽게 모델을 평가하여 요구사항에 맞는지 확인할 수 있습니다. Bedrock이 제공하는 보안 기술과 개인정보 보호 기능은 저희가 AI에 대해 필요로 하는 사항을 충족하는 최적의 솔루션입니다.”

– Jamie Caramanica, CS Disco의 Engineering SVP.

“오늘날 당사의 최우선 과제는 생성형 AI를 통해 직원을 지원함은 물론 고객과의 대화에서 더 강력한 주제, 감정 및 어조 감지, 언어 번역, 콘텐츠 생성 및 변형, 지식 최적화, 답변 강조 표시, 자동 요약 등 다양한 애플리케이션을 통해 봇을 개선할 수 있도록 지원하는 것입니다. 사용자가 생성형 AI의 잠재력을 더 쉽게 활용할 수 있도록, Amazon은 사용자가 Amazon Bedrock을 통해 Genesys가 개발한 모델과 여러 타사 파운데이션 모델(예: Anthropic의 Claude, AI21 Labs의 Jurrassic-2, Amazon Titan 등) 등 다양한 대규모 언어 모델에 액세스할 수 있도록 지원하고 있습니다. AWS와 함께 당사는 고객이 비즈니스 요구 사항을 기반으로 차별화된 경험을 창출하는 동시에 미래를 준비할 수 있도록 커다란 힘을 지원해드리고 있습니다.”

– Glenn Nethercutt, Genesys의 CTO.

생성형 AI 혁명이 계속 전개됨에 따라 AWS는 산업 전반의 고객이 혁신을 주도하고 프로세스를 간소화하며 기계와 상호 작용하는 방식을 재정의할 수 있도록 지원하여 미래를 만들어갈 준비가 되어 있습니다. Mistral AI와 같은 뛰어난 파트너와 함께, 그리고 Amazon Bedrock을 기반으로 고객은 더욱 혁신적인 생성형 AI 애플리케이션을 구축할 수 있습니다.

LLM 및 FM에 대한 접근성 대중화
Amazon Bedrock은 최첨단 LLM 및 FM에 대한 액세스를 대중화하고 있으며, AWS는 고객에게 가장 인기 있고 진보된 FM을 제공하는 유일한 클라우드 제공업체입니다. Mistral AI와의 협력은 이러한 여정에서 중요한 이정표가 될 것입니다. 또한 이를 통해 Amazon Bedrock에서 더욱 다양한 모델을 이용할 수 있도록 확장하고 Amazon Bedrock을 통해 고객에게 비할 데 없는 다양한 선택권을 제공하겠다는 당사의 목표에 한 발짝 더 가까워졌습니다. AWS는 하나의 모델이 모든 사용 사례에 최적의 서비스를 제공할 수 없다는 점을 인식하여 고객이 생성형 AI의 잠재력을 최대한 활용할 수 있는 길을 열었습니다. Amazon Bedrock을 통해 여러 최고 성능 모델의 고유한 강점을 실험하고 활용하여 특정 요구 사항, 산업 도메인 및 워크로드에 맞게 솔루션을 조정할 수 있습니다. 이러한 독보적인 선택 옵션과 AWS의 강력한 보안, 개인정보 보호, 확장성을 결합하여 고객은 산업이나 규제 제약에 관계없이 책임감 있고 자신 있게 생성형 AI의 성능을 활용할 수 있습니다.
"""

body = json.dumps({
    "prompt": prompt,
    "max_tokens": 512,
    "top_p": 0.8,
    "temperature": 0.5,
})

modelId = "mistral.mistral-large-2402-v1:0"

accept = "application/json"
contentType = "application/json"

response = bedrock.invoke_model(
    body=body,
    modelId=modelId,
    accept=accept,
    contentType=contentType
)

print(json.loads(response.get('body').read()))

다음과 같이 JSON 형식의 출력을 얻을 수 있습니다:

{ 
   "Summaries": [ 
      { 
         "요약": "저자는 9학년 때 IBM 1401로 단편 소설을 쓰고 프로그래밍을 시작한 것을 시작으로 
프로그래밍과 글쓰기에 대한 초기 경험에 대해 이야기합니다. 
그 후 마이크로컴퓨터 작업으로 넘어가 Heathkit으로 직접 컴퓨터를 만들었고, 
결국 1980년 아버지를 설득해 TRS-80을 구입했습니다. 그리고 간단한 게임, 로켓 비행 궤도를 예측하는 프로그램, 
워드 프로세서를 만들었습니다.", 
         "Confidence": 0.9 
      }, 
      { 
         "요약": "저자는 대학에서 철학을 전공했지만 이에 만족하지 못하여 
AI로 전공을 바꿨습니다. 소설과 PBS 다큐멘터리에서 영감을 받았으며, 
소설 속 인물과 같은 지능형 기계를 만들 수 있는 AI의 잠재력에서 영감을 얻었습니다. 하지만 
이내 AI에 대한 기존의 접근 방식에 결함이 있다는 것을 깨닫고 
Lisp로 초점을 옮겼습니다.", 
         "Confidence": 0.85 
      }, 
      { 
         "요약": "저자는 Interleaf에서 잠시 근무한 적이 있는데, 그곳에서 자신의 Lisp 기술이 
매우 인정받는다는 것을 알게 되었습니다. 결론적으로는 Interleaf를 떠나 RISD로 돌아왔지만 
프리랜서 Lisp 해커로 계속 일하고 있습니다. RISD에 있는 동안 밤에 침실에서 정물화를 그리기 시작했고, 
이를 계기로 미술 학교에 지원하여 나중에는 피렌체의 
Accademia di Belli Arti에 진학하게 되었습니다.", 
         "Confidence": 0.9 
      } 
   ] 
}

Mistral AI 모델의 프롬프트 기능에 대해 자세히 알아보려면 Mistral AI 설명서를 참조하세요.

정식 출시
미국 동부(버지니아 북부), 미국 서부(오레곤), 유럽(파리) 리전의 Amazon Bedrock에서 오늘부터 다른 Mistral AI 모델(Mistral 7B 및 Mixtral 8x7B)과 함께 Mistral Large를 구매할 수 있습니다. 향후 업데이트는 전체 리전 목록에서 확인하세요.

community.aws에서 생성형 AI 커뮤니티와 공유하고 학습하세요. 지금 바로 Amazon Bedrock 콘솔에서 Mistral Large를 사용해 보고, Amazon Bedrock용 AWS re:Post에 피드백을 보내거나 일반적인 AWS Support 문의를 통해 피드백을 보내주세요.

Mistral AI와의 협업과 이것이 고객에게 미치는 영향에 대해 읽어보세요.

– Veliswa