Amazon Bedrock 요금

요금 개요

Amazon Bedrock은 단일 API를 통해 고성능 파운데이션 모델(FM) 중에서 선택할 수 있고, 보안, 프라이버시, 책임 있는 AI 원칙을 적용한 생성형 AI 애플리케이션을 구축하는 데 필요한 다양한 기능 세트를 제공하는 완전관리형 서비스입니다.

Amazon Bedrock을 사용하면 모델 추론 및 사용자 지정에 대한 비용이 청구됩니다. 추론용으로 선택할 수 있는 요금제에는 다음 두 가지가 있습니다. 1. 온디맨드 및 배치: 이 모드를 사용하면 기간을 기준으로 약정하지 않고도 FM을 사용한 만큼만 지불하는 방식으로 사용할 수 있습니다. 2. 프로비저닝된 처리량: 이 모드를 사용하면 기간 기준 약정의 대가로 애플리케이션의 성능 요구 사항을 충족하기에 충분한 처리량을 프로비저닝할 수 있습니다.

요금 모델

온디맨드

온디맨드 모드에서는 기간 약정 없이 사용한 만큼만 비용을 지불하면 됩니다. 텍스트 생성 모델의 경우 처리된 모든 입력 토큰과 생성된 모든 출력 토큰에 대해 요금이 부과됩니다. 임베딩 모델의 경우 처리된 모든 입력 토큰에 대해 요금이 부과됩니다. 토큰은 몇몇 문자로 구성되며 모델이 사용자 입력과 프롬프트를 이해하기 위해 학습하는 기본 텍스트 단위를 나타냅니다. 이미지 생성 모델의 경우 생성된 모든 이미지에 대해 요금이 부과됩니다. 교차 리전 추론: 온디맨드 모드는 일부 모델의 교차 리전 추론도 지원합니다. 이를 통해 개발자는 여러 AWS 리전에서 컴퓨팅을 활용하여 트래픽 버스트를 원활하게 관리하고 처리량 한도와 복원력을 높일 수 있습니다. 교차 리전 추론 사용에 따른 추가 요금은 없으며 요금은 요청한 리전(소스 리전)을 기준으로 계산됩니다.

프로비저닝된 처리량

프로비저닝된 처리량 모드에서는 특정 기본 모델이나 사용자 지정 모델의 모델 단위를 구매할 수 있습니다. 프로비저닝된 처리량 모드는 주로 보장된 처리량이 필요한 대규모의 일관된 추론 워크로드를 위해 설계되었습니다. 사용자 지정 모델은 프로비저닝된 처리량을 사용해야만 액세스할 수 있습니다. 모델 단위는 분당 처리되는 입력 또는 출력 토큰의 최대 수로 측정되는 특정 처리량을 제공합니다. 프로비저닝된 처리량 요금제에서는 시간 단위로 요금이 청구되므로 1개월 또는 6개월 약정 기간 중에서 유연하게 선택할 수 있습니다.

모델 사용자 지정

Amazon Bedrock을 사용하면 데이터로 FM을 사용자 지정하여 특정 작업 및 비즈니스 상황에 맞는 맞춤형 응답을 제공할 수 있습니다. 레이블링된 데이터로 모델을 미세 조정하거나 레이블링되지 않은 데이터를 사용한 지속적인 사전 훈련에서 모델을 미세 조정할 수 있습니다. 텍스트 생성 모델을 사용자 지정하는 경우 모델에서 처리한 총 토큰 수(훈련 데이터 코퍼스의 토큰 수에 에포크 수를 곱한 값) 및 모델당 월별 모델 스토리지 요금이 부과됩니다. 에포크는 미세 조정 또는 지속적인 사전 훈련 중에 훈련 데이터세트를 한 번 완전히 통과하는 것을 말합니다. 사용자 지정 모델을 사용한 추론은 프로비저닝된 처리량 플랜에 따라 요금이 부과되며 프로비저닝된 처리량을 구매해야 합니다. 사용자 지정 모델에 대한 추론을 위해 약정 기간 없이 하나의 모델 단위를 사용할 수 있습니다. 사용자 지정 모델 추론에서 첫 번째 모델 단위에 사용한 시간에 대해 요금이 부과됩니다. 한 모델 단위 이상으로 처리량을 늘리려면 1개월 또는 6개월 약정 기간을 구매해야 합니다.

배치

배치 모드에서는 프롬프트 세트를 단일 입력 파일로 제공하고 응답을 단일 출력 파일로 수신하여 대규모 예측을 동시에 수행할 수 있습니다. 응답은 처리된 후 Amazon S3 버킷에 저장되므로 나중에 액세스할 수 있습니다. Amazon Bedrock은 Anthropic, Meta, Mistral AI, Amazon 같은 주요 AI 제공업체가 제공하는 배치 추론용 일부 파운데이션 모델(FM)을 온디맨드 추론 요금 대비 50% 저렴한 가격으로 제공합니다. 여기의 모델 목록을 참조하세요.

사용자 지정 모델 가져오기

사용자 지정 모델 가져오기를 사용하면 이전에 투자한 사용자 지정 모델을 Amazon Bedrock 내에서 활용하고 Bedrock의 기존 호스팅된 파운데이션 모델과 동일한 완전관리형 방식으로 사용할 수 있습니다. 지원되는 모델 아키텍처의 사용자 지정 가중치를 가져오고 온디맨드 모드를 사용하여 사용자 지정 모델을 제공할 수 있습니다. 사용자 지정 모델을 Bedrock으로 가져오는 데는 비용이 들지 않습니다. 모델을 가져오면 컨트롤 플레인 작업을 수행할 필요 없이 온디맨드로 모델에 액세스할 수 있습니다. 추론 볼륨을 처리하는 데 필요한 사용자 지정 모델의 사본 수와 각 모델 사본이 활성화된 기간을 기준으로 모델 추론 비용만 청구되며, 요금은 5분 단위로 청구됩니다. 모델 사본은 추론 요청을 처리할 준비가 된 가져온 모델의 단일 인스턴스입니다. 모델 사본의 분당 요금은 아키텍처, 컨텍스트 길이, AWS 리전, 컴퓨팅 유닛 버전(하드웨어 세대)과 같은 요소에 따라 달라지며 모델 사본 크기에 따라 계층화됩니다. 

모델 평가

Amazon Bedrock에서 모델 평가를 사용하면 프롬프트 또는 응답 수에 대한 볼륨 약정 없이 사용한 만큼만 요금이 부과됩니다. 자동 평가의 경우 평가에서 선택한 모델의 추론에 대한 비용만 지불하면 됩니다. 자동으로 생성된 알고리즘 점수는 추가 비용 없이 제공됩니다. 자체 작업 팀을 데려오는 인간 기반 평가의 경우 평가의 모델 추론에 대한 비용이 청구되며, 완료된 인간 태스크당 0.21 USD의 요금이 부과됩니다. 인간 태스크는 인간 작업자가 인간 평가 사용자 인터페이스에서 단일 프롬프트 및 이와 관련된 추론 응답에 대한 평가를 제출하는 경우로 정의됩니다. 평가 작업의 모델 수가 한 개든 두 개든 상관없이 요금은 동일하며, 포함하는 평가 지표 및 평가 방법의 수와 관계없이 동일합니다. 인간 태스크에 대한 요금은 AWS 청구서의 Amazon SageMaker 섹션 아래에 표시되며 모든 AWS 리전에서 동일합니다. 인력은 고객이 공급하므로 인력에 대한 별도의 비용은 없습니다. AWS 관리형 평가의 경우 AWS의 전문가 평가 팀과 협력하는 동안 비공개 계약을 통해 평가 요구 사항에 맞게 요금이 사용자 지정됩니다.

추가 비용 없이 구축할 수 있는 강력한 도구

Amazon Bedrock 에이전트 및 Amazon Bedrock 지식 기반을 사용하는 경우 이러한 기능에 사용하는 모델 및 벡터 데이터베이스에 대해서만 요금이 부과됩니다.

요금 분석

요금은 전달 방식, 공급자 및 모델에 따라 다릅니다. 자세한 요금을 보려면 모델 공급자를 선택하세요.

Amazon Bedrock은 Anthropic, Meta, Mistral AI, Amazon 같은 주요 AI 제공업체가 제공하는 배치 추론용 일부 파운데이션 모델(FM)을 온디맨드 추론 요금 대비 50% 저렴한 가격으로 제공합니다. 여기의 모델 목록을 참조하세요.

AI21 Labs

온디맨드 요금

AI21 Labs 모델 입력 토큰 1,000개당 요금 출력 토큰 1,000개당 요금

Jamba 1.5 Large

0.002 USD

0.008 USD

Jamba 1.5 Mini

0.0002 USD

0.0004 USD

Jurassic-2 Mid

0.0125 USD

0.0125 USD

Jurassic-2 Ultra

0.0188 USD

0.0188 USD

Jamba-Instruct

0.0005 USD

0.0007 USD

Amazon

Anthropic

온디맨드 요금

리전: 미국 동부(버지니아 북부) 및 미국 서부(오리건)

Anthropic 모델 입력 토큰 1,000개당 요금 출력 토큰 1,000개당 요금

Claude 3.5 Sonnet

0.003 USD

0.015 USD

Claude 3 Opus*

0.015 USD

0.075 USD

Claude 3 Haiku

0.00025 USD

0.00125 USD

Claude 3 Sonnet

0.003 USD

0.015 USD

Claude 2.1

0.008 USD

0.024 USD

Claude 2.0

0.008 USD

0.024 USD

Claude Instant

0.0008 USD

0.0024 USD

*Claude 3 Opus는 현재 미국 서부(오리건) 리전에서 사용할 수 있음

리전: EU(런던)

Anthropic 모델 입력 토큰 1,000개당 요금 출력 토큰 1,000개당 요금

Claude 3 Sonnet

0.003 USD

0.015 USD

Claude 3 Haiku

0.00025 USD

0.00125 USD

리전: 남아메리카(상파울루)

Anthropic 모델 입력 토큰 1,000개당 요금 출력 토큰 1,000개당 요금

Claude 3 Sonnet

0.003 USD

0.015 USD

Claude 3 Haiku

0.00025 USD

0.00125 USD

리전: 캐나다(중부)

Anthropic 모델 입력 토큰 1,000개당 요금 출력 토큰 1,000개당 요금

Claude 3 Sonnet

0.003 USD

0.015 USD

Claude 3 Haiku

0.00025 USD

0.00125 USD

리전: 아시아 태평양(뭄바이)

Anthropic 모델 입력 토큰 1,000개당 요금 출력 토큰 1,000개당 요금

Claude 3 Sonnet

0.003 USD

0.015 USD

Claude 3 Haiku

0.00025 USD

0.00125 USD

리전: 아시아 태평양(시드니)

Anthropic 모델 입력 토큰 1,000개당 요금 출력 토큰 1,000개당 요금

Claude 3 Sonnet

0.003 USD

0.015 USD

Claude 3 Haiku

0.00025 USD

0.00125 USD

리전: 아시아 태평양(도쿄)

Anthropic 모델 입력 토큰 1,000개당 요금 출력 토큰 1,000개당 요금

Claude 인스턴트

0.0008 USD

0.0024 USD

Claude 2.0/2.1

0.008 USD

0.024 USD

Claude 3 Haiku

0.00025 USD

0.00125 USD

Claude 3.5 Sonnet

0.003 USD

0.015 USD

AWS 리전: 아시아 태평양(싱가포르)

Anthropic 모델 입력 토큰 1,000개당 요금 출력 토큰 1,000개당 요금

Claude 인스턴트

0.0008 USD

0.0024 USD

Claude 2.0/2.1

0.008 USD

0.024 USD

Claude 3 Haiku

0.00025 USD

0.00125 USD

Claude 3.5 Sonnet

0.003 USD

0.015 USD

리전: 유럽(파리)

Anthropic 모델 입력 토큰 1,000개당 요금 출력 토큰 1,000개당 요금

Claude 3 Sonnet

0.003 USD

0.015 USD

Claude 3 Haiku

0.00025 USD

0.00125 USD

리전: 유럽(프랑크푸르트)

Anthropic 모델 입력 토큰 1,000개당 요금 출력 토큰 1,000개당 요금

Claude 인스턴트

0.0008 USD

0.0024 USD

Claude 2.0/2.1

0.008 USD

0.024 USD

Claude 3 Sonnet

0.003 USD

0.015 USD

Claude 3.5 Sonnet

0.003 USD

0.015 USD

Claude 3 Haiku

0.00025 USD

0.00125 USD

프로비저닝된 처리량 요금

리전: 미국 동부(버지니아 북부) 및 미국 서부(오레곤)

Anthropic 모델 무약정 시 모델별 시간당
요금
1개월 약정 시 모델 단위당 시간당 요금 6개월 약정 시 모델 단위당 시간당 요금

Claude Instant

44.00 USD

39.60 USD

22.00 USD

Claude 2.0/2.1

70.00 USD

63.00 USD

35.00 USD

Anthropic 모델 무약정 시 모델별 시간당
요금
1개월 약정 시 모델 단위당 시간당 요금 6개월 약정 시 모델 단위당 시간당 요금

Claude Instant

44.00 USD

39.60 USD

22.00 USD

Claude 2.0/2.1

70.00 USD

63.00 USD

35.00 USD

리전: 아시아 태평양(도쿄)

Anthropic 모델 1개월 약정 시 모델 단위당 시간당 요금 6개월 약정 시 모델 단위당 시간당 요금

Claude 인스턴트

53.00 USD

29.00 USD

Claude 2.0/2.1

86.00 USD

48.00 USD

리전: 유럽(프랑크푸르트)

Anthropic 모델 1개월 약정 시 모델 단위당 시간당 요금 6개월 약정 시 모델 단위당 시간당 요금

Claude 인스턴트

49.00 USD

27.00 USD

Claude 2.0/2.1

79.00 USD

44.00 USD

모델 단위에 대한 자세한 내용은 AWS 계정 팀에 문의하세요. 

Cohere

온디맨드 요금

Cohere 모델 입력 토큰 1,000개당 요금 출력 토큰 1,000개당 요금
Command 0.0015 USD 0.0020 USD
Command-Light 0.0003 USD 0.0006 USD
Command R+ 0.0030 USD 0.0150 USD
Command R 0.0005 USD 0.0015 USD
Embed - 영어 0.0001 USD 해당 사항 없음
Embed - 다국어 0.0001 USD 해당 사항 없음

사용자 지정(미세 조정) 요금

Cohere 모델 1,000개의 토큰을 훈련하기 위한 요금 각 사용자 지정 모델의 월별 저장 요금 사용자 지정 모델에서 시간당 모델 단위당 추론 요금(약정이 없는 프로비저닝 처리량 요금 포함)

Cohere Command

0.004 USD

1.95 USD

49.50 USD

Cohere Command-Light 0.001 USD

1.95 USD

8.56 USD

*훈련된 총 토큰 = 훈련 데이터 코퍼스의 토큰 수 x 에포크 수

프로비저닝된 처리량 요금

Cohere 모델 무약정 시 모델별 시간당 
요금
1개월 약정 시 모델 단위당 시간당 요금

6개월 약정 시 모델 단위당 시간당 요금

Cohere Command

49.50 USD

39.60 USD

23.77 USD

Cohere Command - Light 8.56 USD

6.85 USD

4.11 USD
Embed - 영어 7.12 USD

6.76 USD

6.41 USD
Embed - 다국어 7.12 USD

6.76 USD

6.41 USD

모델 단위에 대한 자세한 내용은 AWS 계정 또는 영업팀에 문의하세요. 

Meta Llama

Llama 3.2

온디맨드 요금

Llama 3.1

온디맨드 요금

Llama 3

온디맨드 요금

Llama 2

온디맨드 요금

리전: 미국 동부(버지니아 북부) 및 미국 서부(오리건)

메타 모델 입력 토큰 1,000개당 요금 출력 토큰 1,000개당 요금

Llama 2 Chat(13B)

0.00075 USD

0.001 USD

Llama 2 Chat(70B)

0.00195 USD

0.00256 USD

모델 사용자 지정(미세 조정)을 위한 요금

메타 모델 1,000개의 토큰을 훈련하기 위한 요금 각 사용자 지정 모델을 저장하는 데 드는 요금*(월별) 사용자 지정 모델에서 시간당 모델 단위 1개당 추론 요금(약정이 없는 프로비저닝 처리량 요금 포함)

Llama 2 Pretrained(13B)

0.00149 USD

1.95 USD

23.50 USD

Llama 2 Pretrained(70B)

0.00799 USD

1.95 USD 23.50 USD

*사용자 지정 모델 스토리지 = 1.95 USD

프로비저닝된 처리량 요금

메타 모델 1개월 약정 시 모델 단위당 시간당 요금 6개월 약정 시 모델 단위당 시간당 요금

Llama 2 Pretrained 및 Chat(13B)

21.18 USD

13.08 USD

Llama 2 Pretrained(70B)

21.18 USD

13.08 USD

*Llama 2 Pre-trained 모델은 사용자 지정 후 프로비저닝된 처리량으로만 사용할 수 있습니다.

모델 단위에 대한 자세한 내용은 AWS 계정 또는 영업팀에 문의하세요.

Mistral AI

Stability AI

온디맨드 요금

Stability AI 모델 생성된 이미지당 요금
Stable Image Core 0.04 USD
SD3 Large 0.08 USD
Stable Image Ultra 0.14 USD

Stability AI에서 제공하는 이전 세대 이미지 모델은 단계 수 및 이미지 해상도에 따라 이미지당 요금이 책정됩니다.

Stability AI 모델 이미지 해상도 표준 품질로 생성된 이미지당 요금(<=50단계) 프리미엄 품질로 생성된 이미지당 요금(50단계 초과)
SDXL 1.0 최대 1024 x 1024 0.04 USD 0.08 USD

프로비저닝된 처리량 요금

Stability AI 모델 1개월 약정 시 모델 단위당 시간당 요금* 6개월 약정 시 모델 단위당 시간당 요금*

SDXL 1.0

49.86 USD

46.18 USD

*기본 및 사용자 지정 모델에 대한 추론이 포함됨

모델 단위에 대한 자세한 내용은 AWS 계정 또는 영업팀에 문의하세요.

현재 Amazon Bedrock의 Stability AI 모델에는 모델 사용자 지정(미세 조정)이 지원되지 않습니다.

사용자 지정 모델 가져오기

리전: 미국 동부(버지니아 북부) 및 미국 서부(오리건)

컴퓨팅 유닛 버전 v1.0

Llama 및 Mistral 모델 아키텍처

모델 사본 크기*

모델 사본당 분당 요금*

엑스트라 스몰

0.0785 USD

스몰

0.1570 USD

미디엄

0.3141 USD

라지

0.6281 USD

Flan-T5 모델 아키텍처
모델 사본 크기* 모델 사본당 분당 요금*
스몰 0.0295 USD
미디엄 0.0591 USD

온디맨드 추론 요금:
성공적인 첫 번째 간접 호출부터 시작하여 모델 사본이 활성화된 기간 동안 5분 단위로 요금이 청구됩니다. 모델 사본당 최대 처리량 및 동시성 한도는 입력/출력 토큰 믹스, 하드웨어 유형, 모델 크기, 아키텍처, 추론 최적화와 같은 요소에 따라 달라지며 모델 가져오기 워크플로 중에 결정됩니다.

Bedrock은 사용 패턴에 따라 모델 사본 수를 자동으로 조정합니다. 5분 동안 간접 호출이 없는 경우 모델을 간접적으로 호출할 때 Bedrock은 0으로 스케일 다운했다가 다시 스케일 업합니다. 다시 스케일 업하는 동안 모델 크기에 따라 콜드 스타트 지속 시간(수십 초)이 발생할 수 있습니다. 또한 Bedrock은 추론 볼륨이 단일 모델 사본의 동시성 한도를 지속적으로 초과하는 경우 모델 사본 수를 스케일 업합니다. 참고: 계정별 가져온 모델당 기본 최대 3개의 모델 사본이 있으며, Service Quotas를 통해 늘릴 수 있습니다.

Llama 3.1 8B 128K 모델은 ‘소형’ 모델 사본 크기로 가져오고, Llama 3.1 70B 128K 모델은 ‘대형’ 모델 사본 크기로 가져옵니다.

요금 예제: 애플리케이션 개발자가 us-east-1 리전에서 8B 파라미터 크기의 128K 시퀀스 길이를 가진 사용자 지정 Llama 3.1 유형 모델을 가져옵니다. 이는 위 표에 나와 있는 ‘소형’ 크기의 모델 사본에 해당하며, 분당 모델 사본당 단가는 0.1570 USD입니다.

모델을 가져오는 데는 요금이 부과되지 않습니다. 첫 번째 성공적인 간접 호출은 오전 8시 3분이며, 이때 측정이 시작됩니다. 5분 측정 기간은 오전 8시 3분부터 오전 8시 7분, 오전 8시 7분부터 오전 8시 11분 등입니다. 5분 기간 중 하나 이상의 간접 호출이 있는 경우 해당 기간은 청구 대상 기간으로 간주됩니다. 오전 8시 7분부터 오전 8시 11분까지 간접 호출이 없는 경우, 오전 8시 11분에 측정이 중지됩니다. 이 경우 청구서는 다음과 같이 계산됩니다. 0.1570 USD * 5 분 * 3건의 5분 기간 = 2.355 USD

Amazon Bedrock 가드레일

온디맨드 요금

가드레일 정책*

텍스트 단위 1,000개당 요금**

콘텐츠 필터

0.75 USD

거부된 주제

1 USD

상황별 그라운딩 검사***

0.1 USD

민감한 정보 필터(PII)

0.1 USD

민감한 정보 필터(정규식) 

무료

단어 필터

무료

* 각 가드레일 정책은 선택 사항이며 애플리케이션 요구 사항에 따라 활성화할 수 있습니다. 가드레일에 사용된 정책 유형을 기준으로 요금이 부과됩니다. 예를 들어 콘텐츠 필터와 거부된 주제로 가드레일을 구성한 경우 이 두 정책에 대한 요금이 부과되지만 민감한 정보 필터와 관련된 요금은 부과되지 않습니다.

**텍스트 단위 1개는 최대 1,000자를 포함할 수 있습니다. 1,000자를 초과하는 텍스트 입력은 각각 1,000자 이하를 포함하는 다중 텍스트 단위로 처리됩니다. 예를 들어 텍스트 입력에 5,600자가 포함된 경우 6개의 텍스트 단위에 대한 요금이 부과됩니다.

*** 문맥 그라운딩 검사는 참조 소스와 쿼리를 사용하여 모델 응답이 소스를 기반으로 근거가 제시되며 쿼리와 관련이 있는지 확인합니다. 비용이 청구되는 총 텍스트 단위 수는 소스, 쿼리 및 모델 응답의 모든 문자를 결합하여 계산됩니다.

이미지 및 임베딩에 대해서는 가드레일이 지원되지 않습니다.

요금 예

  • 애플리케이션 개발자가 Amazon Bedrock에 다음과 같은 API 직접 호출을 수행합니다. AI21의 Jurassic-2 Mid 모델에 입력 텍스트의 토큰 입력 1만 개를 토큰 출력 2천 개로 요약하는 요청을 수행합니다.

    총 발생 비용 = 토큰 1만 개/1,000 * 0.0125 USD + 토큰 2,000개/1,000 * 0.0125 USD = 0.15 USD

  • 온디맨드 요금

    애플리케이션 개발자가 Amazon Bedrock에 시간당 다음과 같은 API 직접 호출을 수행합니다. Amazon Titan Text Lite 모델에 입력 텍스트의 토큰 입력 2,000개를 토큰 출력 1,000개로 요약하는 요청을 수행합니다.

    시간당 총 발생 비용 = 토큰 2,000 개/1,000 * 0.0003 USD + 토큰 1,000 개/1,000 * 0.0004 USD = 0.001 USD

    애플리케이션 개발자가 Amazon Bedrock에 다음과 같은 API 직접 호출을 수행합니다. Amazon Titan Image Generator 기본 모델에 표준 품질 크기의 1024 x 1024 이미지 1,000개를 생성하는 요청을 수행합니다.

    총 발생 비용 = 이미지 1,000개 * 이미지당 0.01 USD = 10 USD

    사용자 지정(미세 조정 및 지속적인 사전 훈련) 요금

    애플리케이션 개발자가 1,000개의 이미지-텍스트 쌍을 사용하여 Amazon Titan Image Generator 모델을 사용자 지정합니다. 훈련 후 개발자는 1시간 동안 사용자 지정 모델 프로비저닝 처리량을 사용하여 모델의 성능을 평가합니다. 미세 조정된 모델은 1개월 동안 저장됩니다. 평가 후 개발자는 프로비저닝된 처리량(1개월 약정 기간)을 사용하여 사용자 지정 모델을 호스팅합니다.

    미세 조정에 대한 월별 발생 비용 = 미세 조정 훈련(0.005 USD * 500 * 64). 여기서 0.005 USD는 이미지당 요금, 500은 단계 수, 64는 배치 크기 + 월별 사용자 지정 모델 스토리지(1.95 USD) + 사용자 지정 모델 추론 1시간(21 USD) = 160 USD + 1.95 USD + 21 = 182.95 USD

    프로비저닝된 처리량 요금

    애플리케이션 개발자가 텍스트 요약 사용 사례에 대해 1개월 약정으로 Amazon Titan Text Express의 모델 단위 2개를 구입합니다.

    월별 총 발생 비용 = 모델 단위 2개 * 18.40 USD/시간 * 24시간* 31일 = 2만 7,379.20 USD

    애플리케이션 개발자가 1개월 약정으로 기본 Amazon Titan Image Generator 모델의 모델 단위 1개를 구입합니다.

    총 발생 비용 = 모델 단위 1개 * 16.20 USD * 24시간 * 31일 = 1만 2,052.80 USD

  • 온디맨드 요금

    애플리케이션 개발자가 미국 서부(오레곤) 리전의 Amazon Bedrock에 다음과 같은 API 직접 호출을 수행합니다. Anthropic의 Claude 모델에 입력 텍스트의 토큰 입력 1만 1,000개를 토큰 출력 4,000개로 요약하는 요청을 수행합니다.

    총 발생 비용 = 토큰 1만 1,000개/1,000 * 0.008 USD + 토큰 4,000개/1,000 * 0.024 USD = 0.088 USD + 0.096 USD = 0.184 USD

    프로비저닝된 처리량 요금

    애플리케이션 개발자가 미국 서부(오레곤) 리전에서 Anthropic Claude Instant의 모델 단위 1개를 구입합니다.

    월별 총 발생 비용 = 모델 단위 1개 * 39.60 USD * 24시간 * 31일 = 2만 9,462.40 USD

  • 온디맨드 요금

    애플리케이션 개발자가 Amazon Bedrock에 다음과 같은 API 직접 호출을 수행합니다. Cohere의 Command 모델에 입력 텍스트의 토큰 입력 6,000개를 토큰 출력 2,000개로 요약하는 요청을 수행합니다.

    총 발생 비용 = 토큰 6,000개/1,000 * 0.0015 USD+ 토큰 2,000개/1,000 * 0.0020 USD = 0.013 USD

    애플리케이션 개발자가 Amazon Bedrock에 다음과 같은 API 직접 호출을 수행합니다. Cohere의 Command-Light 모델에 입력 텍스트의 토큰 입력 6,000개를 토큰 출력 2,000개로 요약하는 요청을 수행합니다.

    총 발생 비용 = 토큰 6,000개/1,000 * 0.0003 USD + 토큰 2,000개/1,000 * 0.0006 USD = 0.003 USD

    애플리케이션 개발자가 Amazon Bedrock에 다음과 같은 API 직접 호출을 수행합니다. Cohere의 Embed English 또는 Embed Multilingual 모델에 입력 토큰 1만 개에 대한 임베딩을 생성하는 요청을 수행합니다.

    총 발생 비용 = 토큰 1만 개/1,000 * 0.0001 USD = 0.001 USD

    사용자 지정(미세 조정) 요금

    애플리케이션 개발자가 1,000개의 데이터 토큰을 사용하여 Cohere Command 모델을 사용자 지정합니다. 훈련 후 1시간 동안 사용자 지정 모델 프로비저닝 처리량을 사용하여 모델의 성능을 평가합니다. 미세 조정된 모델은 1개월 동안 저장됩니다. 평가 후 개발자는 프로비저닝된 처리량(1개월 약정)을 사용하여 사용자 지정 모델을 호스팅합니다.

    미세 조정에 대해 발생한 월별 비용 = 미세 조정 훈련(0.004 USD * 1,000) +월별 사용자 지정 모델 스토리지(1.95 USD) + 사용자 지정 모델 추론 1시간(49.50 USD) = 55.45 USD

    사용자 지정 모델의 프로비저닝된 처리량(1개월 약정)에 대해 발생한 월별 비용 = 39.60 USD

    프로비저닝된 처리량 요금

    애플리케이션 개발자가 텍스트 요약 사용 사례에 대해 1개월 약정으로 Cohere Command의 모델 단위 1개를 구입합니다.

    월별 총 발생 비용 = 모델 단위 1개 * 39.60 USD * 24시간 * 31일 = 2만 9,462.40 USD

  • 온디맨드 요금

    애플리케이션 개발자가 Amazon Bedrock에 다음과 같은 API 직접 호출을 수행합니다. Meta의 Lama 2 Chat(13B) 모델에 입력 텍스트의 토큰 입력 2,000개를 토큰 출력 500개로 요약하는 요청을 수행합니다.

    총 발생 비용 = 토큰 2,000개/1,000 * 0.00075 USD + 토큰 500개/1,000 * 0.001 USD = 0.002 USD

    사용자 지정(미세 조정) 요금

    애플리케이션 개발자가 1,000개의 데이터 토큰을 사용하여 Lama 2 Pretrained(70B) 모델을 사용자 지정합니다. 훈련 후 1시간 동안 사용자 지정 모델 프로비저닝 처리량을 사용하여 모델의 성능을 평가합니다. 미세 조정된 모델은 1개월 동안 저장됩니다. 평가 후 개발자는 프로비저닝된 처리량(1개월 약정)을 사용하여 사용자 지정 모델을 호스팅합니다.

    미세 조정에 대해 발생한 월별 비용 = 미세 조정 훈련(0.00799 USD * 1,000) +월별 사용자 지정 모델 스토리지(1.95 USD) + 사용자 지정 모델 추론 1시간(23.50 USD) = 33.44 USD

    사용자 지정 모델의 프로비저닝된 처리량(1개월 약정)에 대해 발생한 월별 비용 = 21.18 USD

    프로비저닝된 처리량 요금

    애플리케이션 개발자가 텍스트 요약 사용 사례에 대해 1개월 약정으로 Meta Lama 2의 모델 단위 1개를 구입합니다.

    월별 총 발생 비용 = 모델 단위 1개 * 21.18 USD * 24시간 * 31일 = 1만 5,757.92 USD

  • 온디맨드 요금

    애플리케이션 개발자가 Amazon Bedrock에 시간당 다음과 같은 API 직접 호출을 수행합니다. Mistral 7B 모델에 입력 텍스트의 토큰 입력 2,000개를 토큰 출력 1,000개로 요약하는 요청을 수행합니다.

    시간당 총 발생 비용 = 토큰 2,000개/1,000 * 0.00015 USD + 토큰 1,000개/1,000 * 0.0002 USD = 0.0005 USD

    애플리케이션 개발자가 Amazon Bedrock에 시간당 다음과 같은 API 직접 호출을 수행합니다. Mixtral 8x7B 모델에 입력 텍스트의 토큰 입력 2,000개를 토큰 출력 1,000개로 요약하는 요청을 수행합니다.

    시간당 총 발생 비용 = 토큰 2,000개/1,000 * 0.00045 USD + 토큰 1,000개/1,000 * 0.0007 USD = 0.0016 USD

    애플리케이션 개발자가 Amazon Bedrock에 시간당 다음과 같은 API 직접 호출을 수행합니다. Mistral 대용량 모델에 입력 텍스트의 토큰 입력 2,000개를 토큰 출력 1,000개로 요약하는 요청을 수행합니다. 

    시간당 총 발생 비용 = 토큰 2,000개/1,000 * 0.008 USD + 토큰 1,000개/1,000 * 0.024 USD = 0.04 USD

  • 온디맨드 요금

    애플리케이션 개발자가 Amazon Bedrock에 다음과 같은 API 직접 호출을 수행합니다. SDXL 모델에 단계 크기가 70인 512 x 512 이미지(프리미엄 품질)를 생성하는 요청을 수행합니다.

    총 발생 비용 = 이미지 1개 * 이미지당 0.036 USD = 0.036 USD

    애플리케이션 개발자가 Amazon Bedrock에 다음과 같은 API 직접 호출을 수행합니다. SDXL 1.0 모델에 단계 크기가 70인 1024 x 1024 이미지(프리미엄 품질)를 생성하는 요청을 수행합니다.

    총 발생 비용 = 이미지 1개 * 이미지당 0.08 USD = 0.08 USD

    프로비저닝된 처리량 요금

    애플리케이션 개발자가 1개월 약정으로 SDXL1.0의 모델 단위 1개를 구입합니다.

    총 비용 = 1 * 49.86 USD * 24시간 * 31일 = 3만 7,095.84 USD

  • 모델 평가 예제 1:

    온디맨드 요금
    애플리케이션 개발자가 미국 동부(버지니아 북부) AWS 리전에서 Anthropic Claude 2.1과 Anthropic Claude Instant를 사용하여 인간 기반 모델 평가를 위한 데이터세트를 제출합니다.

    데이터세트에는 프롬프트 50개가 포함되어 있으며 개발자는 작업자 1명에게 각 프롬프트-응답 세트를 평가하도록 합니다[평가 작업을 생성할 때 ‘workers per prompt(프롬프트당 작업자 수)’ 파라미터로 구성 가능].

    이 평가 작업에는 태스크 50개가 포함됩니다(각 작업자당 각 프롬프트-응답 세트에 대한 태스크 1개) 프롬프트 50개가 합쳐져 입력 토큰 5,000개가 되고, 관련 응답을 합하면 Anthropic Claude Instant의 경우 토큰 1만 5,000개, Anthropic Claude 20.1의 경우 토큰 2만 개가 됩니다.

    이 모델 평가 작업에서 발생하는 요금은 다음과 같습니다.

    항목 입력 토큰 수 입력 토큰 1,000개당 요금 입력 비용 출력 토큰 수 출력 토큰 1,000개당 요금 출력 비용 인간 태스크 수 인간 태스크당 비용 인간 태스크 비용 합계
    Claude Instant 추론 5,000 0.0008 USD 0.004 USD 1만 5,000 0.0024 USD 0.036 USD       0.04 USD
    Claude 2.1 추론 5,000 0.008 USD 0.04 USD 2만 0.024 USD 0.48 USD       0.52 USD
    인간 태스크             50 0.21 USD 10.50 USD 10.50 USD
    합계                   11.06 USD

    모델 평가 예제 2:

    온디맨드 요금
    애플리케이션 개발자가 미국 동부(버지니아 북부) AWS 리전에서 Anthropic Claude 2.1과 Anthropic Claude Instant를 사용하여 인간 기반 모델 평가를 위한 데이터세트를 제출합니다.

    데이터세트에는 프롬프트 50개가 포함되어 있으며 개발자는 작업자 2명에게 각 프롬프트-응답 세트를 평가하도록 합니다[평가 작업을 생성할 때 ‘workers per prompt(프롬프트당 작업자 수)’ 파라미터로 구성 가능]. 이 평가 작업에는 태스크 100개가 포함됩니다(각 작업자당 각 프롬프트-응답 세트에 대한 태스크 1개: 작업자 2명 x 프롬프트-응답 세트 50개 = 인간 태스크 100개).

    프롬프트 50개가 합쳐져 입력 토큰 5,000개가 되고, 관련 응답을 합하면 Anthropic Claude Instant의 경우 토큰 1만 5,000개, Anthropic Claude 2.1의 경우 토큰 2만 개가 됩니다.

    이 모델 평가 작업에서 발생하는 요금은 다음과 같습니다.

    항목 입력 토큰 수 입력 토큰 1,000개당 요금 입력 비용 출력 토큰 수 출력 토큰 1,000개당 요금 출력 비용 인간 태스크 수 인간 태스크당 비용 인간 태스크 비용 합계
    Claude Instant 추론 5,000 0.0008 USD 0.0040 USD 1만 5,000 0.0024 USD 0.036 USD       0.04 USD
    Claude 2.1 추론 5,000 0.008 USD 0.0400 USD 2만 0.024 USD 0.48 USD       0.52 USD
    인간 태스크             100 0.21 USD 21.00 USD 21.00 USD
    합계                   21.56 USD
  • 예제 1: 고객 지원 챗봇
    애플리케이션 개발자가 고객 지원 챗봇을 만듭니다. 콘텐츠 필터를 사용하여 유해한 콘텐츠와 거부된 주제를 차단하여 원하지 않는 쿼리 및 응답을 필터링합니다.

    챗봇은 시간당 사용자 쿼리 1,000개를 처리합니다. 각 사용자 쿼리의 평균 입력 길이는 200자이고 FM 응답은 1,500자입니다.

    각 사용자 쿼리의 200자는 텍스트 단위 1개에 해당합니다.

    각 FM 응답의 1,500자는 텍스트 단위 2개에 해당합니다.

    시간당 처리되는 텍스트 단위 = (1 + 2) * 쿼리 1,000개 = 텍스트 단위 3,000개

    콘텐츠 필터 및 거부된 주제에 대해 시간당 발생한 총 비용 = 3000 * (0.75 USD + 1.00 USD) / 1,000 = 5.25 USD

     

    예제 2: 고객 센터 트랜스크립트 요약
    애플리케이션 개발자가 사용자와 지원 에이전트 간의 채팅 기록을 요약하는 애플리케이션을 만듭니다. 민감한 정보 필터를 사용하여 대화 1만 개에 대해 생성된 요약에서 개인 식별 정보(PII)를 삭제합니다.

    생성된 각 요약에는 평균 3,500자가 포함되며 이는 텍스트 단위 4개에 해당합니다.

    1만 개의 대화를 요약하는 데 발생한 총 비용 = 1만 * 4 * (0.1/1,000 USD) = 4 USD

    항목 입력 토큰 수 입력 토큰 1,000개당 요금 입력 비용 출력 토큰 수 출력 토큰 1,000개당 요금 출력 비용 인간 태스크 수 인간 태스크당 비용 인간 태스크 비용 합계
    Claude Instant 추론 5,000 0.0008 USD 0.004 USD 1만 5,000 0.0024 USD 0.036 USD       0.04 USD
    Claude 2.1 추론 5,000 0.008 USD 0.04 USD 2만 0.024 USD 0.48 USD       0.52 USD
    인간 태스크             100 0.21 USD 21.00 USD 21.00 USD
    합계                   21.56 USD