AI21 Labs의 Jamba 1.5 모델, Amazon Bedrock 정식 출시

오늘 저희는 AI21 Labs의 강력하고 새로운 Jamba 1.5 대규모 언어 모델(LLM) 제품군을 Amazon Bedrock에서 사용할 수 있다고 발표합니다. 이 모델은 광범위한 애플리케이션에서 속도, 효율성 및 성능을 제공하여 긴 컨텍스트 언어 기능이 크게 향상되었음을 나타냅니다. Jamba 1.5 모델 제품군에는 Jamba 1.5 Mini와 Jamba 1.5 Large가 포함됩니다. 두 모델 모두 256K 토큰 컨텍스트 창, 구조화된 JSON 출력, 함수 직접 호출을 지원하며 문서 객체를 다이제스트할 수 있습니다.

AI21 Labs는 기업을 위한 파운데이션 모델 및 인공 지능(AI) 시스템 구축의 선두 주자입니다. AI21 Labs와 AWS는 함께 업계 전반에서 고객이 전략적 협업을 통해 실제 문제를 해결하고 혁신을 촉진하는 생성형 AI 애플리케이션을 구축, 배포 및 확장할 수 있도록 지원하고 있습니다. AI21 Labs의 고급 프로덕션 지원 모델과 Amazon의 전용 서비스 및 강력한 인프라를 통해 고객은 안전한 환경에서 LLM을 활용하여 정보 처리, 커뮤니케이션 및 학습 방식의 미래를 설계할 수 있습니다.

Jamba 1.5는 무엇인가요?
Jamba 1.5 모델은 트랜스포머 모델 아키텍처와 구조화된 상태 공간 모델(SSM) 기술을 결합한 고유한 하이브리드 아키텍처를 활용합니다. 이 혁신적인 접근 방식을 통해 Jamba 1.5 모델은 기존 트랜스포머 모델의 고성능 특성을 유지하면서 최대 256K 토큰의 긴 컨텍스트 창을 처리할 수 있습니다. 이 하이브리드 SSM/트랜스포머 아키텍처에 대한 자세한 내용은 Jamba: A Hybrid Transformer-Mamba Language Model 백서에서 확인할 수 있습니다.

이제 Amazon Bedrock에서 AI21의 새로운 Jamba 1.5 모델 두 개를 사용할 수 있습니다.

• Jamba 1.5 Large는 모든 프롬프트 길이에서 복잡한 추론 작업에 탁월하므로 길고 짧은 입력 모두에서 고품질 출력이 필요한 애플리케이션에 이상적입니다.
• Jamba 1.5 Mini는 긴 프롬프트의 지연 시간이 짧은 처리에 최적화되어 긴 문서와 데이터를 빠르게 분석할 수 있습니다.

Jamba 1.5 모델의 주요 강점은 다음과 같습니다.

• 긴 컨텍스트 처리 – 256K 토큰 컨텍스트 길이를 갖춘 Jamba 1.5 모델은 긴 문서 요약 및 분석, 에이전트 및 RAG 워크플로와 같은 엔터프라이즈 애플리케이션의 품질을 향상시킬 수 있습니다.
• 다국어 – 영어, 스페인어, 프랑스어, 포르투갈어, 이탈리아어, 네덜란드어, 독일어, 아랍어 및 히브리어를 지원합니다.
• 개발자 친화적 – 구조화된 JSON 출력, 함수 직접 호출을 기본적으로 지원하고 문서 객체를 다이제스트할 수 있습니다.
• 속도 및 효율성 – AI21은 Jamba 1.5 모델의 성능을 측정한 결과, 이 모델이 비슷한 크기의 다른 모델보다 긴 컨텍스트에서 최대 2.5배 더 빠른 추론을 보여준다는 사실을 공유했습니다. 자세한 성능 결과는 AI21 웹 사이트의 Jamba 모델 제품군 발표를 참조하세요.

Amazon Bedrock에서 Jamba 1.5 모델 시작하기
새로운 Jamba 1.5 모델을 시작하려면 Amazon Bedrock 콘솔로 이동하여 왼쪽 하단 창에서 모델 액세스를 선택하고 Jamba 1.5 Mini 또는 Jamba 1.5 Large에 대한 액세스를 요청하세요.

Amazon Bedrock 콘솔에서 Jamba 1.5 모델을 테스트하려면 왼쪽 메뉴 창에서 텍스트 또는 채팅을 선택합니다. 그런 다음 모델 선택을 선택하고 범주로 AI21을 선택하고 모델로 Jamba 1.5 Mini 또는 Jamba 1.5 Large를 선택합니다.

API 보기 요청을 선택하면 현재 예시 프롬프트에 AWS Command Line Interface (AWS CLI)를 사용하여 모델을 간접적으로 호출하는 방법에 대한 코드 예제를 볼 수 있습니다.

Amazon Bedrock 설명서의 코드 예제에 따라 AWS SDK를 통해 사용 가능한 모델에 액세스하고 다양한 프로그래밍 언어를 사용하여 애플리케이션을 구축할 수 있습니다.

다음 Python 코드 예제는 텍스트 생성을 위해 Amazon Bedrock Converse API를 사용하여 Jamba 1.5 모델에 텍스트 메시지를 보내는 방법을 보여줍니다.

import boto3
from botocore.exceptions import ClientError

# Create a Bedrock Runtime client.
bedrock_runtime = boto3.client("bedrock-runtime", region_name="us-east-1")

# Set the model ID.
# modelId = "ai21.jamba-1-5-mini-v1:0"
model_id = "ai21.jamba-1-5-large-v1:0"

# Start a conversation with the user message.
user_message = "What are 3 fun facts about mambas?"
conversation = [
    {
        "role": "user",
        "content": [{"text": user_message}],
    }
]

try:
    # Send the message to the model, using a basic inference configuration.
    response = bedrock_runtime.converse(
        modelId=model_id,
        messages=conversation,
        inferenceConfig={"maxTokens": 256, "temperature": 0.7, "topP": 0.8},
    )

    # 응답 텍스트를 추출하고 출력합니다.
    response_text = response["output"]["message"]["content"][0]["text"]
    print(response_text)

except (ClientError, Exception) as e:
    print(f"ERROR: Can't invoke '{model_id}'. Reason: {e}")
    exit(1)

Jamba 1.5 모델은 쌍체 문서 분석, 규정 준수 분석 및 긴 문서에 대한 질문 답변과 같은 사용 사례에 적합합니다. 여러 출처의 정보를 쉽게 비교하고, 구절이 특정 지침을 충족하는지 확인하고, 매우 길거나 복잡한 문서를 처리할 수 있습니다. AWS GitHub 리포지토리의 AI21에서 예제 코드를 찾을 수 있습니다. Jamba 모델을 효과적으로 프롬프트하는 방법에 대해 자세히 알아보려면 AI21의 설명서를 참조하세요.

정식 출시
AI21 Labs의 Jamba 1.5 모델 제품군은 현재 미국 동부(버지니아 북부) AWS 리전의 Amazon Bedrock에서 정식 출시됩니다. 향후 업데이트 여부는 전체 리전 목록을 확인하세요. 더 자세히 알아보려면 Amazon Bedrock의 AI21 Labs 제품 페이지와 요금 페이지를 확인하세요.

지금 바로 Amazon Bedrock 콘솔에서 Jamba 1.5 모델을 사용해 보고, Amazon Bedrock용 AWS re:Post에 피드백을 보내거나 일반적인 AWS Support 문의를 통해 피드백을 보내주세요.

심층적인 기술 콘텐츠를 찾아보고 빌더 커뮤니티가 각자의 솔루션에서 Amazon Bedrock을 어떻게 사용하고 있는지 알아보려면 당사의 community.aws 사이트를 방문하세요.

– Antje