Amazon Web Services 한국 블로그

Meta Llama 3.1 405B, 70B 및 8B 모델 Amazon Bedrock 정식 출시

오늘은 Amazon Bedrock 기반 Llama 3.1 모델이 출시되었다는 소식을 알려드립니다. Llama 3.1 모델은 현재까지 Meta의 가장 진보되고 성능이 뛰어난 모델입니다. Llama 3.1 모델은 광범위한 산업 벤치마크에서 최첨단 성능을 입증하고 생성형 인공 지능(생성형 AI) 애플리케이션을 위한 새로운 기능을 제공하는 8B, 70B 및 405B 파라미터 크기 모델의 모음입니다.

모든 Llama 3.1 모델은 Llama 3 모델의 16배에 달하는 128K 컨텍스트 길이(Llama 3보다 12만 토큰 증가)를 지원하며, 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어 등 8개 언어의 다국어 대화 사용 사례에 대한 추론을 개선했습니다.

이제 Amazon Bedrock에서 Meta의 세 가지 새로운 Llama 3.1 모델을 사용하여 생성형 AI 아이디어를 구축하고 실험하고 책임감 있게 확장할 수 있습니다.

  • Llama 3.1 405B는 Meta에 따르면 공개적으로 사용 가능한 세계 최대의 대규모 언어 모델(LLM)입니다. 이 모델은 AI의 새로운 표준을 제시하며 엔터프라이즈급 애플리케이션 및 연구 개발(R&D)에 적합합니다. 모델의 출력을 사용하여 소규모 Llama 모델 및 모델 증류를 개선하여 405B 모델에서 더 작은 규모의 모델로 지식을 전달할 수 있는 합성 데이터 생성과 같은 태스크에 이상적입니다. 이 모델은 일반 지식, 롱폼(long-form) 텍스트 생성, 다국어 번역, 기계 번역, 코딩, 수학, 도구 사용, 향상된 컨텍스트 이해, 고급 추론 및 의사 결정에서 성능을 탁월합니다. 자세한 내용은 Lama 3.1 405B를 사용하여 모델 증류를 위한 합성 데이터를 생성하는 방법에 대한 AWS 기계 학습 블로그를 읽어보세요.
  • Llama 3.1 70B는 콘텐츠 제작, 대화형 AI, 언어 이해, R&D, 엔터프라이즈 애플리케이션에 적합합니다. 이 모델은 텍스트 요약 및 정확성, 텍스트 분류, 감정 분석 및 뉘앙스 추론, 언어 모델링, 대화 시스템, 코드 생성, 명령 준수에서 성능이 탁월합니다.
  • Lama 3.1 8B는 제한된 컴퓨팅 파워 및 리소스에 가장 적합합니다. 이 모델은 텍스트 요약, 텍스트 분류, 감정 분석, 지연 시간이 짧은 추론을 요구하는 언어 번역에서 성능이 탁월합니다.

Meta는 광범위한 인적 평가와 매우 다양한 언어를 아우르는 150개 이상의 벤치마크 데이터세트에서 Lama 3.1의 성능을 측정했습니다. 다음 차트에서 볼 수 있듯이 Lama 3.1은 모든 주요 벤치마킹 범주에서 Lama 3보다 뛰어난 성능을 보여줍니다.

Llama 3.1 기능에 대해 자세히 알아보려면 Meta에서 제공하는 Llama 3.1 모델 카드 및 AWS 설명서의 Llama 모델을 참조하세요.

Lama 3.1의 책임 있는 AI 기능과 Amazon Bedrock의 데이터 거버넌스 및 모델 평가 기능을 결합하여 안전하고 신뢰할 수 있는 생성형 AI 애플리케이션을 자신 있게 구축할 수 있습니다.

  • Amazon Bedrock용 가드레일 – 특정 사용 사례에 맞게 조정된 다양한 구성으로 여러 개의 가드레일을 생성하면 사용 사례 및 책임 있는 AI 정책에 맞게 사용자 지정된 보호 장치를 구현하여 사용자와 생성형 AI 애플리케이션 간의 안전한 상호 작용을 촉진할 수 있습니다. Amazon Bedrock용 가드레일을 사용하면 고객 정의 정책을 위반할 수 있는 사용자 입력과 모델 응답을 지속적으로 모니터링 및 분석하고, 엔터프라이즈 데이터에 근거하지 않거나 사용자 쿼리와 관련이 없는 모델 응답에서 할루시네이션을 탐지하고, 사용자 지정 및 서드 파티 모델을 포함한 다양한 모델에서 평가할 수 있습니다. 시작하려면 AWS 설명서의 가드레일 생성을 참조하세요.
  • Amazon Bedrock에서의 모델 평가 – 자동 평가 또는 인적 평가를 사용하여 몇 단계만 거치면 사용 사례에 가장 적합한 Llama 모델을 평가, 비교, 선택할 수 있습니다. Amazon Bedrock의 모델 평가 기능을 사용하면 정확성, 견고성, 유해성 등 사전 정의된 지표가 포함된 자동 평가를 선택할 수 있습니다. 또는 관련성, 스타일, 브랜드 보이스 일치와 같은 주관적 또는 사용자 지정 지표에 대한 인적 평가 워크플로를 선택할 수 있습니다. 모델 평가가 선별된 데이터세트를 기본으로 제공하거나 자체 데이터세트를 가져올 수 있습니다. 시작하려면 AWS 설명서의 모델 평가 시작하기를 참조하세요.

AWS에서 데이터 및 애플리케이션을 안전하게 비공개로 유지하는 방법에 대해 자세히 알아보려면 Amazon Bedrock 보안 및 개인 정보 보호 페이지를 참조하세요.

Amazon Bedrock에서 Llama 3.1 모델 시작하기
Meta의 Llama 모델을 처음 사용한다면 Amazon Bedrock 콘솔로 이동하여 왼쪽 하단 패널에서 모델 액세스를 선택합니다. Meta의 최신 Llama 3.1 모델에 액세스하려면, 별도로 Llama 3.1 8B Instruct, Llama 3.1 70B Instruct 또는 Llama 3.1 450B Instruct에 대한 액세스를 요청하세요.

Amazon Bedrock 콘솔에서 Llama 3.1 모델을 테스트하려면 왼쪽 메뉴 패널의 플레이그라운드 아래에서 테스트 또는 채팅을 선택합니다. 그 다음, 모델 선택을 선택하고 카테고리로 Meta를 선택한 후에 모델로 Llama 3.1 8B Instruct, Llama 3.1 70B Instruct 또는 Llama 3.1 405B Instruct를 선택합니다.

다음 예시에서는 Llama 3.1 405B Instruct 모델을 선택했습니다.

API 요청 보기를 선택하면 AWS Command Line Interface(AWS CLI) 및 AWS SDK의 코드 예제를 사용하는 모델에 액세스할 수도 있습니다. meta.llama3-1-8b-instruct-v1, meta.llama3-1-70b-instruct-v1, meta.llama3-1-405b-instruct-v1과 같은 모델 ID를 사용할 수 있습니다.

다음은 AWS CLI 명령의 샘플입니다.

aws bedrock-runtime invoke-model \
  --model-id meta.llama3-1-405b-instruct-v1:0 \
--body "{\"prompt\":\" [INST]당신은 뛰어난 비판적 사고력을 가진 매우 지능적인 봇입니다.[/INST] 시장에 가서 사과 10개를 샀습니다. 친구에게 사과 두 개를, 도우미에게 두 개를 줬습니다. 그런 다음 사과 5개를 더 사서 1개를 먹었습니다. 사과가 몇 개 남았나요? 한 단계씩 생각해 봅시다.\",\"max_gen_len\":512,\"temperature\":0.5,\"top_p\":0.9}" \
  --cli-binary-format raw-in-base64-out \
  --region us-east-1 \
  invoke-model-output.txt

AWS SDK에서 Amazon Bedrock 기반 Llama 모델용 코드 예제를 사용하여 여러 가지 프로그래밍 언어로 애플리케이션을 구축할 수 있습니다. 다음 Python 코드 예제는 텍스트 생성을 위해 Amazon Bedrock Converse API를 사용하여 Llama에 문자 메시지를 보내는 방법을 보여줍니다.

import boto3
from botocore.exceptions import ClientError

# 사용하려는 AWS 리전에서 Bedrock 런타임 클라이언트를 생성합니다.
client = boto3.client("bedrock-runtime", region_name="us-east-1")

# 모델 ID를 설정합니다(예: Llama 3 8b Instruct).
model_id = "meta.llama3-1-405b-instruct-v1:0"

# 사용자 메시지로 대화를 시작합니다.
user_message = "'Hello World' 프로그램의 목적을 한 줄로 설명해 주세요."
conversation = [
    {
        "role": "user",
        "content": [{"text": user_message}],
    }
]

try:
    # 기본 추론 구성을 사용하여 모델에 메시지를 보냅니다.
    response = client.converse(
        modelId=model_id,
        messages=conversation,
        inferenceConfig={"maxTokens": 512, "temperature": 0.5, "topP": 0.9},
    )

    # 응답 텍스트를 추출하고 출력합니다.
    response_text = response["output"]["message"]["content"][0]["text"]
    print(response_text)

except (ClientError, Exception) as e:
    print(f"ERROR: Can't invoke '{model_id}'. Reason: {e}")
    exit(1)

Amazon SageMaker JumpStart에서도 모든 Llama 3.1 모델(8B, 70B, 405B)을 사용할 수 있습니다. Amazon SageMaker Studio에서 클릭 몇 번으로 Llama 3.1 모델을 검색하고 배포할 수 있으며, SageMaker Python SDK를 통해 프로그래밍 방식으로도 사용할 수 있습니다. SageMaker Pipelines, SageMaker Debugger와 같은 SageMaker 기능을 사용하여 모델을 운영할 수 있으며, Virtual Private Cloud(VPC) 컨트롤 아래의 컨테이너 로그를 사용하여 운영할 수도 있습니다. 이는 데이터 보안을 제공하는 데 도움이 됩니다.

Amazon Bedrock 및 Amazon SageMaker JumpStart 기반 Llama 3.1 모델에 대한 파인 튜닝이 곧 출시될 예정입니다. SageMaker JumpStart에서 파인 튜닝된 모델을 빌드하면 Amazon Bedrock으로 사용자 지정 모델을 가져올 수도 있습니다. 자세한 내용은 AWS 기계 학습 블로그에서 Meta Llama 3.1 models are now available in Amazon SageMaker JumpStart(이제 Amazon SageMaker JumpStart에서 Meta Llama 3.1 모델 사용)을 읽어보세요.

기본 리소스의 유연성 및 제어를 강화하기 위해 자체 관리형 기계 학습 워크플로를 통해 AWS 기반 Lama 3.1 모델을 배포하려는 고객의 경우, AWS Trainium 및 AWS Inferentia로 구동되는 Amazon Elastic Compute Cloud(Amazon EC2) 인스턴스를 사용하면 AWS에서 비용 효율적인 방식으로 고성능 Lama 3.1 모델을 배포할 수 있습니다. 자세한 내용은 AWS 기계 학습 블로그에서 AWS AI chips deliver high performance and low cost for Meta Llama 3.1 models on AWS(AWS 기반 Meta Llama 3.1 모델에 고성능과 저비용을 제공하는 AWS AI 칩)를 읽어보세요.

고객의 소리

이번 출시를 기념하기 위해 Meta의 비즈니스 개발 관리자인 Parkin Kent는 Meta와 Amazon 협업의 힘에 대해 이야기하면서 Meta와 Amazon이 생성형 AI로 가능한 기능의 한계를 넓히기 위해 어떻게 협력하고 있는지 강조합니다.

기업이 Amazon Bedrock 기반 Llama 모델을 통해 생성형 AI의 강력한 기능을 활용하는 방법을 알아보세요. 30개 국가 및 지역에 진출해 있는 글로벌 금융 서비스 그룹인 Nomura는 Amazon Bedrock에서 Llama 모델을 사용하여 조직 전체에서 생성형 AI를 대중화하고 있습니다.

세계에서 가장 혁신적인 기업에 아웃소싱 디지털 서비스 및 차세대 고객 경험을 제공하는 선도적인 제공업체인 TaskUs는 고객이 Amazon Bedrock에서 Llama 모델을 사용하여 브랜드를 대표하고 보호하며 성장할 수 있도록 돕고 있습니다.

정식 출시
Meta의 Llama 3.1 8B 및 70B 모델, Llama 450B 모델은 오늘 미국 서부(오레곤) 리전의 Amazon Bedrock에서 정식으로 이용할 수 있습니다. 향후 업데이트 여부는 전체 리전 목록을 확인하세요. 더 자세히 알아보려면 Amazon Bedrock 기반 Llama 제품 페이지와 Amazon Bedrock 요금 페이지를 확인하세요.

지금 바로 Amazon Bedrock 콘솔에서 Llama 3.1을 사용해 보고, AWS re:Post for Amazon Bedrock으로 피드백을 보내거나 일반적인 AWS Support 문의를 통해 피드백을 보내주세요.

심층적인 기술 콘텐츠를 찾아보고 빌더 커뮤니티에서 각자의 솔루션에서 Amazon Bedrock을 어떻게 사용하고 있는지 알아보려면 community.aws 사이트를 방문하세요. Amazon Bedrock에서 Llama 3.1로 무엇을 구축했는지 공유해주세요!

– Channy