Amazon SageMaker를 통해 데이터 사이언티스트와 개발자는 기계 학습을 위해 특별히 구축된 다양한 기능 세트를 함께 활용하여 고품질 기계 학습 모형을 빠르게 준비, 구축, 훈련 및 배포할 수 있습니다. 선도적인 기계 학습 프레임워크, 도구 키트 및 프로그래밍 언어를 지원하는 SageMaker

SageMaker에서는 사용한 만큼만 비용을 지불하며, 최소 요금과 선불 약정이 없는 온디맨드 요금과 일정 사용량 약정을 조건으로 유연한 사용량 기반 요금 모델을 제공하는 SageMaker Savings Plans, 이렇게 두 가지 요금제가 있습니다.

Amazon SageMaker 프리 티어

Amazon SageMaker는 무료로 사용해볼 수 있습니다. AWS 프리 티어를 사용하는 고객은 Amazon SageMaker를 무료로 시작할 수 있습니다. 프리 티어는 첫 번째 SageMaker 리소스를 생성하는 첫 달부터 시작됩니다. 아래 표에서 Amazon SageMaker 프리 티어에 대해 자세히 설명합니다.

Amazon SageMaker 기능 처음 2개월간 월별 프리 티어 사용량
Studio 노트북 및 노트북 인스턴스 Studio 노트북에서 ml.t3.medium 인스턴스 250시간 또는 노트북 인스턴스에서 ml.t2 medium 인스턴스 또는 ml.t3.medium 인스턴스 250시간
RStudio on SageMaker RSession 앱에서 250시간의 ml.t3.medium 인스턴스 및 RStudioServerPro 앱용 무료 ml.t3.medium 인스턴스
Data Wrangler ml.m5.4xlarge 인스턴스 25시간
특성 저장소 1,000만 쓰기 단위, 1,000만 읽기 단위, 25GB 스토리지(표준 온라인 저장소)
교육 m4.xlarge 또는 m5.xlarge 인스턴스 50시간
TensorBoard가 포함된 Amazon SageMaker ml.r5.large 인스턴스 300시간
실시간 추론 m4.xlarge 또는 m5.xlarge 인스턴스 125시간
Serverless Inference 온디맨드 추론 기간 15만 초
Canvas 월 160시간의 세션 시간
HyperPod m5.xlarge 인스턴스 50시간
  처음 6개월간 월별 프리 티어 사용량
실험
 매월 수집된 지표 레코드 100,000개, 매월 검색된 지표 레코드 100만 개, 매월 저장된 지표 레코드 100,000개
AWS 요금 계산기

AWS 요금 계산기

Amazon SageMaker 및 아키텍처 비용을 단일 예상 요금으로 계산할 수 있습니다.

지금 사용자 지정 예상 비용 생성 »

온디맨드 요금

  • Studio Classic

  • Amazon SageMaker Studio Classic
    Studio Classic은 레거시 IDE 환경에서 원스텝 Jupyter Notebook을 제공합니다. 기본 컴퓨팅 리소스는 완전히 탄력적이며, 노트북은 다른 사용자와 손쉽게 공유할 수 있으므로 원활한 협업을 허용합니다. 사용 소요 시간에 따라 선택한 인스턴스에 대한 요금이 청구됩니다.

  • JupyterLab

  • Amazon SageMaker JupyterLab
    완전관리형 JupyterLab을 몇 초 만에 시작할 수 있습니다. 노트북, 코드 및 데이터를 위한 최신 웹 기반 대화형 개발 환경을 사용합니다. 사용 소요 시간에 따라 선택한 인스턴스에 대한 요금이 청구됩니다.

  • Code Editor

  • Amazon SageMaker Code Editor
    Code-OSS(Visual Studio 코드 - 오픈 소스)를 기반으로 하는 Code Editor를 사용하면 분석 및 ML 코드를 작성, 테스트, 디버깅 및 실행할 수 있습니다. SageMaker Studio와 완벽하게 통합되며 Open VSX 확장 레지스트리에서 사용할 수 있는 IDE 확장을 지원합니다.

  • RStudio

  • RStudio
    RStudio는 온디맨드 클라우드 컴퓨팅 리소스를 제공하여 모델 개발을 가속화하고 생산성을 높입니다. RStudio Session 앱과 RStudio Server Pro 앱을 실행하기 위해 선택하는 인스턴스 유형에 대해 요금이 부과됩니다.

    RStudioServerPro 앱

  • 노트북 인스턴스

  • 노트북 인스턴스
    노트북 인스턴스는 Jupyter Notebook 앱을 실행하는 컴퓨팅 인스턴스입니다. 사용 소요 시간에 따라 선택한 인스턴스에 대한 요금이 청구됩니다.

  • 처리

  • Amazon SageMaker Processing
    Amazon SageMaker Processing을 통해 완전 관리형 인프라에서 사전 처리, 사후 처리 및 모델 평가 워크로드를 쉽게 실행할 수 있습니다. 사용 소요 시간에 따라 선택한 인스턴스에 대한 요금이 청구됩니다.

  • TensorBoard

  • TensorBoard가 포함된 Amazon SageMaker
    TensorBoard가 포함된 Amazon SageMaker는 Amazon SageMaker 교육 작업에 대한 모델 수렴 문제를 시각화하고 디버깅할 수 있는 호스팅된 TensorBoard 환경을 제공합니다.

  • Data Wrangler

  • Amazon SageMaker Data Wrangler

    Amazon SageMaker Data Wrangler는 기계 학습용 데이터를 집계하고 준비하는 시간을 몇 주에서 몇 분으로 단축합니다. 데이터 정리, 탐색 및 시각화에 사용한 시간에 대해 요금을 지불합니다. SageMaker Data Wrangler 인스턴스를 실행하는 고객에게는 아래 요금이 적용됩니다.* SageMaker Canvas 워크스페이스 인스턴스에서 SageMaker Data Wrangler를 실행하는 고객에게는 SageMaker Canvas 요금이 적용됩니다. 자세한 내용은 SageMaker Canvas 요금 페이지를 참조하세요.

    Amazon SageMaker Data Wrangler 작업

    Amazon SageMaker Data Wrangler 작업은 SageMaker Data Wrangler에서 데이터 흐름을 내보낼 때 생성됩니다. SageMaker Data Wrangler 작업을 사용하면 데이터 준비 워크플로를 자동화할 수 있습니다. SageMaker Data Wrangler 작업은 새로운 데이터 집합에서 데이터 준비 워크플로를 재적용하여 시간을 절약하는 데 도움이 되며 요금은 초 단위로 청구됩니다.

  • Feature Store

  • Amazon SageMaker Feature Store
    Amazon SageMaker 특성 저장소는 기계 학습용 특성을 수집, 저장 및 서비스하는 중앙 리포지토리입니다. SageMaker 특성 저장소의 특성 그룹 쓰기, 읽기 및 데이터 저장 작업에는 표준 온라인 저장소와 인메모리 온라인 저장소에 대해 서로 다른 요금이 부과됩니다.

     표준 온라인 저장소의 경우 월별 GB당 데이터 스토리지 요금이 청구됩니다. 처리량의 경우 온디맨드 또는 프로비저닝된 용량 모드 중에서 선택할 수 있습니다. 온디맨드의 경우 쓰기는 KB당 쓰기 요청 단위로 청구되고 읽기는 4KB당 읽기 요청 단위로 청구됩니다. 프로비저닝된 용량 모드의 경우 애플리케이션에서 필요할 것으로 예상하는 읽기 및 쓰기 용량을 지정합니다. Sagemaker 특성 저장소는 초당 각 쓰기(최대 1KB)에 대해 하나의 WCU와 초당 각 읽기(최대 4KB)에 대해 하나의 RCU를 청구합니다. 프로비저닝된 용량을 완전히 활용하지 않더라도 특성 그룹에 대해 프로비저닝한 처리량 용량(읽기 및 쓰기)에 대해 요금이 청구됩니다.

    인메모리 온라인 저장소의 경우 쓰기는 KB당 쓰기 요청 단위(쓰기당 최소 1개 단위)로, 읽기는 KB당 읽기 요청 단위(읽기당 최소 1개 단위)로, 데이터 스토리지는 시간당 GB 기준으로 요금이 청구됩니다. 인메모리 온라인 저장소의 경우 시간당 최소 5GiB(5.37GB)의 데이터 스토리지 요금이 부과됩니다.

  • 훈련

  • Amazon SageMaker 훈련
    Amazon SageMaker는 모델을 훈련, 튜닝 및 디버깅하는 데 필요한 모든 기능을 제공하여 기계 학습(ML) 모델을 쉽게 훈련할 수 있습니다. 선택하는 인스턴스 유형의 사용량에 대해 요금이 청구됩니다. Amazon SageMaker Debugger를 사용하여 훈련 중에 문제를 디버깅하고 리소스를 모니터링하는 경우 기본 제공 규칙을 사용하여 훈련 작업을 디버깅하거나 고유한 사용자 지정 규칙을 작성할 수 있습니다. 훈련 작업을 디버깅하기 위해 기본 제공 규칙을 사용하는 경우 요금은 청구되지 않습니다. 사용자 지정 규칙의 경우 사용한 시간에 따라 선택한 인스턴스에 대한 요금이 청구됩니다.

  • 실험

  • Amazon SageMaker 실험
    Amazon SageMaker Experiments로 기계 학습 실험을 구성, 추적 및 비교 지표 레코드의 수집, 검색 및 저장에 대해서 요금이 부과됩니다. 지표 레코드는 지표 데이터의 키/값 쌍입니다. 수집 및 검색은 지표 레코드 수에 따라 요금이 부과됩니다. 매월 저장된 지표 레코드에 따라 스토리지 요금이 부과됩니다. SageMaker Studio를 사용하여 추가 비용 없이 실험을 시각화할 수 있습니다.

     

    요금 유형 요금
    수집 100만 지표 레코드당 1.25 USD
    검색 100만 지표 레코드당 0.25 USD
    스토리지 100만 지표 레코드당 0.25 USD - 월

     

  • 실시간 추론

  • Amazon SageMaker 호스팅: 실시간 추론
    Amazon SageMaker에서는 실시간 예측이 필요한 사용 사례를 위해 실시간 추론을 제공합니다. 선택하는 인스턴스 유형의 사용량에 대해 요금이 청구됩니다. Amazon SageMaker Model Monitor를 사용하여 실시간 추론을 제공해 고도로 정확한 모델을 유지 보수하는 경우 기본 제공 규칙을 사용하여 모델을 모니터링하거나 사용자 지정 규칙을 작성할 수 있습니다. 기본 제공 규칙의 경우 최대 30시간의 모니터링을 무료로 수행할 수 있습니다. 추가 요금은 사용한 시간을 기반으로 계산됩니다. 사용자 지정 규칙을 사용하는 경우 별도로 요금이 청구됩니다.

  • 비동기 추론

  • Amazon SageMaker 비동기 추론:
    Amazon SageMaker 비동기 추론은 수신되는 요청을 대기열에 배치하고 비동기식으로 처리하는 실시간에 가까운 추론 옵션입니다. 1초 미만의 대기 시간 요구 사항이 없고 추론 처리 시간이 긴 모델을 실행하거나 데이터가 도달할 때 많은 페이로드를 처리해야 하는 경우 이 옵션을 사용합니다. 선택한 인스턴스 유형에 대한 요금이 청구됩니다.

  • 배치 변환

  • Amazon SageMaker 배치 변환
    Amazon SageMaker 배치 변환을 사용하면 데이터 세트를 여러 데이터 청크로 분할하거나 실시간 엔드포인트를 관리할 필요가 없습니다. SageMaker 배치 변환에서는 대규모 또는 소규모 배치 데이터 세트에 대한 예측을 실행할 수 있습니다. 사용 소요 시간에 따라 선택한 인스턴스에 대한 요금이 청구됩니다.

  • Serverless Inference

  • Amazon SageMaker Serverless Inference
    Amazon SageMaker 서버리스 추론을 사용하면 기본 인프라를 구성하거나 관리하지 않고도 추론을 위한 기계 학습 모델을 배포할 수 있습니다. 예측 가능한 성능을 위해 온디맨드 서버리스 추론을 사용하거나 프로비저닝된 동시성을 엔드포인트에 추가할 수 있습니다.

    온디맨드 서버리스 추론을 사용하면 추론 요청을 처리하는 데 사용되는 컴퓨팅 용량(밀리초 단위로 청구됨)과 처리된 데이터 양에 대해서만 비용을 지불합니다. 컴퓨팅 요금은 선택한 메모리 구성에 따라 다릅니다.

    프로비저닝된 동시성

    선택적으로 서버리스 엔드포인트에 프로비저닝된 동시성을 활성화할 수도 있습니다. 프로비저닝된 동시성을 사용하면 지정된 수의 동시 요청와 지정된 시간에 대해 엔드포인트를 웜 상태로 유지하여 예측 가능한 성능과 높은 확장성으로 서버리스 엔드포인트에 모델을 배포할 수 있습니다. 온디맨드 Serverless Inference와 마찬가지로 프로비저닝된 동시성을 사용하는 경우 추론 요청을 처리하는 데 사용된 컴퓨팅 파워에 대한 요금이 부과됩니다. 요금은 밀리초 단위로 처리된 데이터 양에 따라 부과됩니다. 또한 프로비저닝된 동시성 사용 요금은 구성된 메모리, 프로비저닝된 기간 및 사용된 동시성 양에 따라서도 부과됩니다.

  • JumpStart

  • Amazon SageMaker JumpStart
    Amazon SageMaker JumpStart는 클릭 한 번으로 인기 모델 컬렉션(‘model zoo’라고 함)에 액세스하여 빠르고 쉽게 기계 학습을 시작하는 데 도움이 됩니다. Jumpstart는 요구 사항에 맞게 사용자 지정하여 일반적인 기계 학습 사용 사례를 해결하는 엔드 투 엔드 솔루션도 제공합니다. JumpStart 모델 또는 솔루션은 추가 비용 없이 사용할 수 있습니다. 모델 또는 솔루션을 수동으로 생성할 때와 마찬가지로, 사용된 기반 훈련 및 추론 인스턴스 시간에 대한 요금이 부과됩니다.

  • Profiler

  • Amazon SageMaker Profiler는 시스템 수준 데이터를 수집하여 CPU 및 GPU 추적도를 고해상도로 시각화합니다. 이 도구는 데이터 사이언티스트와 엔지니어가 딥 러닝 모델에서 하드웨어 관련 성능 병목 현상을 식별하여 전체적인 훈련 시간과 비용을 줄일 수 있도록 설계되었습니다. 현재 SageMaker Profiler는 ml.g4dn.12xlarge, ml.p3dn.24xlarge 및 ml.p4d.24xlarge 훈련 컴퓨팅 인스턴스 유형을 활용한 훈련 작업의 프로파일링만 지원합니다.

    리전: 미국 동부(오하이오), 미국 동부(버지니아 북부), 미국 서부(오레곤), 유럽(프랑크푸르트), 유럽(아일랜드) 및 이스라엘(텔아비브)

    Amazon SageMaker Profiler는 현재 평가판으로 제공되며, 지원되는 리전의 고객은 무료로 사용할 수 있습니다. 

  • HyperPod

  • Amazon SageMaker HyperPod
    Amazon SageMaker HyperPod는 파운데이션 모델(FM) 개발을 가속화하기 위해 특별히 제작되었습니다. FM 훈련의 복원력을 높이기 위해 클러스터 상태를 지속적으로 모니터링하고, 결함이 있는 노드를 즉석에서 복구 및 교체하며, 빈번한 체크포인트를 저장하여 진행 상황을 잃지 않고 자동으로 교육을 재개합니다. SageMaker HyperPod는 SageMaker 분산 훈련 라이브러리로 사전 구성되어 있어 클러스터의 컴퓨팅 및 네트워크 인프라를 완전히 활용하면서 FM 훈련 성능을 개선할 수 있습니다.

인스턴스 세부 정보

Amazon SageMaker P5 인스턴스 제품 세부 정보

인스턴스 크기 vCPU 인스턴스 메모리(TiB) GPU 모델 GPU 총 GPU 메모리(GB) GPU당 메모리(GB) 네트워크 대역폭(Gbps) GPUDirect RDMA GPU P2P 인스턴스 스토리지(TB) EBS 대역폭(Gbps)
ml.p5.48xlarge 192 2 NVIDIA H100 8 640 HBM3 80 3200 EFAv2   예 900GB/s NVSwitch   8x3.84 NVMe SSD 80

Amazon SageMaker P4d 인스턴스 제품 세부 정보

인스턴스 크기 vCPU 인스턴스 메모리(GiB) GPU 모델 GPU 총 GPU 메모리(GB) GPU당 메모리(GB) 네트워크 대역폭(Gbps) GPUDirect RDMA GPU P2P 인스턴스 스토리지(GB) EBS 대역폭(Gbps)
ml.p4d.24xlarge 96 1152 NVIDIA A100 8 320 HBM 2 40 400 ENA AND EFA 예 600GB/s NVSwitch 8x1,000 NVMe SSD 19
ml.p4de.24xlarge 96 1152 NVIDIA A100 8 640 HNM2e 80 400 ENA 및 EFA 예 600GB/s NVSwitch 8X1000 NVMe SSD 19

Amazon SageMaker P3 인스턴스 제품 세부 정보

인스턴스 크기 vCPU 인스턴스 메모리(GiB) GPU 모델 GPU 총 GPU 메모리(GB) GPU당 메모리(GB) 네트워크 대역폭(Gbps) GPU P2P 인스턴스 스토리지(GB) EBS 대역폭(Gbps)
ml.p3.2xlarge 8 61 NVIDIA V100 1 16 16 최대 10 해당 사항 없음 EBS 전용 1.5
ml.p3.8xlarge 32 244 NVIDIA V100 4개월 64 16 10 NVLink EBS 전용 7
ml.p3.16xlarge 64 488 NVIDIA V100 8 128 16 25 NVLink EBS 전용 14
ml.p3dn.24xlarge 96 768 NVIDIA V100 8 256 32 100 NVLink 2 x 900 NVMeSSD 19

Amazon SageMaker P2 인스턴스 제품 세부 정보

인스턴스 크기 vCPU 인스턴스 메모리(GiB) GPU 모델 GPU 총 GPU 메모리(GB) GPU당 메모리(GB) 네트워크 대역폭(Gbps) EBS 대역폭(Gbps)
ml.p2.xlarge 4개월 61 NVIDIA K80 1 12 12 최대 10 높음
ml.p2.8xlarge 32 488 NVIDIA K80 8 96 12 10 10
ml.p2.16xlarge 64 732 NVIDIA K80 16 192 12 25 20

Amazon SageMaker G4 인스턴스 제품 세부 정보

인스턴스 크기 vCPU 인스턴스 메모리(GiB) GPU 모델 GPU 총 GPU 메모리(GB) GPU당 메모리(GB) 네트워크 대역폭(Gbps) 인스턴스 스토리지(GB) EBS 대역폭(Gbps)
ml.g4dn.xlarge 4 16 NVIDIA T4 1 16 16 최대 25 1 x 125 NVMe SSD 최대 3.5
ml.g4dn.2xlarge 8 32 NVIDIA T4 1 16 16 최대 25 1 x 125 NVMe SSD 최대 3.5
ml.g4dn.4xlarge 16 64 NVIDIA T4 1 16 16 최대 25 1 x 125 NVMe SSD 4.75
ml.g4dn.8xlarge 32 128 NVIDIA T4 1 16 16 50 1 x 900 NVMe SSD 9.5
ml.g4dn.16xlarge 64 256 NVIDIA T4 1 16 16 50 1 x 900 NVMe SSD 9.5
ml.g4dn.12xlarge 48 192 NVIDIA T4 4개월 64 16 50 1 x 900 NVMe SSD 9.5

Amazon SageMaker G5 인스턴스 제품 세부 정보

인스턴스 크기 vCPU 인스턴스 메모리(GiB) GPU 모델 GPU 총 GPU 메모리(GB) GPU당 메모리(GB) 네트워크 대역폭(Gbps) EBS 대역폭(Gbps) 인스턴스 스토리지(GB)
ml.g5n.xlarge 4 16 NVIDIA A10G 1 24 24 최대 10 최대 3.5 1x250
ml.g5.2xlarge 8 32 NVIDIA A10G 1 24 24 최대 10 최대 3.5 1x450
ml.g5.4xlarge 16 64 NVIDIA A10G 1 24 24 최대 25 8 1x600
ml.g5.8xlarge 32 128 NVIDIA A10G 1 24 24 25 16 1x900
ml.g5.16xlarge 64 256 NVIDIA A10G 1 24 24 25 16 1x1,900
ml.g5.12xlarge 48 192 NVIDIA A10G 4개월 96 24 40 16 1x3,800
ml.g5.24xlarge 96 384 NVIDIA A10G 4개월 96 24 50 19 1x3,800
ml.g5.48xlarge 192 768 NVIDIA A10G 8 192 24 100 19 2x3,800

Amazon SageMaker Trn1 인스턴스 제품 세부 정보

인스턴스 크기 vCPU 메모리(GiB) Trainium 액셀러레이터 총 액셀러레이터 메모리(GB) 액셀러레이터당 메모리 (GB) 인스턴스 스토리지(GB) 네트워크 대역폭(Gbps) EBS 대역폭(Gbps)
ml.trn1.2xlarge 8 32 1 32 32 1 x 500 NVMe SSD 최대 12.5 최대 20
ml.trn1.32xlarge 128 512 16 512 32 4 x 2000 NVMe SSD 800 80

Amazon SageMaker Inf1 인스턴스 제품 세부 정보

인스턴스 크기 vCPU 메모리(GiB) Inferentia 액셀러레이터 총 액셀러레이터 메모리(GB) 액셀러레이터당 메모리(GB) 인스턴스 스토리지 액셀러레이터 간 상호 연결 네트워크 대역폭(Gbps) EBS 대역폭(Gbps)
ml.inf1.xlarge 4 8 1 8 8 EBS 전용 해당 사항 없음 최대 25 최대 4.75
ml.inf1.2xlarge 8 16 1 8 8 EBS 전용 해당 사항 없음 최대 25 최대 4.75
ml.inf1.6xlarge 24 48 4개월 32 8 EBS 전용 예 25 4.75
ml.inf1.24xlarge 96 192 16 128 8 EBS 전용 예 100 19

Amazon SageMaker Inf2 인스턴스 제품 세부 정보

인스턴스 크기 vCPU 메모리(GiB) Inferentia 액셀러레이터 총 액셀러레이터 메모리(GB) 액셀러레이터당 메모리(GB) 인스턴스 스토리지 액셀러레이터 간 상호 연결 네트워크 대역폭(Gbps) EBS 대역폭(Gbps)
ml.inf2.xlarge 4개월 16 1 32 32 EBS 전용 해당 사항 없음 최대 25 최대 10
ml.inf2.8xlarge 32 128 1 32 32 EBS 전용 해당 사항 없음 최대 25 10
ml.inf2.24xlarge 96 384 6 196 32 EBS 전용 예 50 30
ml.inf2.48xlarge 192 768 12 384 32 EBS 전용 예 100 60

Amazon SageMaker Studio

Amazon SageMaker Studio는 완벽한 ML 개발을 위한 단일 웹 기반 인터페이스로, 완전관리형 통합 개발 환경(IDE) 및 특수 제작된 도구를 선택할 수 있습니다. SageMaker Studio에 무료로 액세스할 수 있습니다. SageMaker Studio 내에서 다양한 IDE 및 ML 도구에 사용하는 기본 컴퓨팅 및 스토리지에 대해서만 요금이 부과됩니다.

다음을 포함하여 SageMaker Studio, AWS SDK for Python(Boto3) 또는 AWS Command Line Interface(AWS CLI)의 다양한 서비스를 사용할 수 있습니다.

  • SageMaker Studio의 IDE는 JupyterLab, Code-OSS 기반 Code Editor(Visual Studio Code - 오픈 소스), RStudio를 비롯한 광범위한 완전 관리형 IDE 세트를 사용하여 완전한 ML 개발을 수행합니다.
  • SageMaker Pipelines - 기계 학습 워크플로 자동화 및 관리
  • SageMaker Autopilot - 완전한 가시성을 제공하는 기계 학습 모델 자동 생성
  • SageMaker Experiments - 훈련 작업 및 버전 구성과 추적
  • SageMaker Debugger - 훈련 중 이상 디버깅
  • SageMaker Model Monitor - 고품질 모델 유지 관리
  • SageMaker Clarify - 기계 학습 모델을 효과적으로 설명
  • SageMaker JumpStart - 다수의 사용 사례에 대한 기계 학습 솔루션을 간편하게 배포. Amazon SageMaker가 사용자 대신 수행한 기본 API 호출에 대해 솔루션에 사용된 다른 AWS 서비스에서 요금이 발생할 수 있습니다.
  • SageMaker Inference Recommender - 적절한 엔드포인트 구성에 대한 권장 사항 제공

사용량에 따라 SageMaker 내 기본 컴퓨팅 및 스토리지 리소스 또는 다른 AWS 서비스에 대한 요금만 지불하면 됩니다.

파운데이션 모델 평가

SageMaker Clrivay는 자동 및 인간 기반 평가 방법을 모두 사용한 파운데이션 모델 평가를 지원합니다. 이들 각각은 요금이 다릅니다. Amazon SageMaker JumpStart의 파운데이션 모델을 아직 계정에 배포하지 않고 평가하는 경우 추론 기간에 JumpStart 모델이 SageMaker 인스턴스에 임시로 배포됩니다. 이 특정 인스턴스는 해당 모델에 대해 JumpStart에서 제공하는 인스턴스 권장 사항을 준수합니다.

자동 평가:
파운데이션 모델 평가는 SageMaker 처리 작업으로 실행됩니다. 평가 작업에서는 SageMaker 추론을 간접적으로 호출합니다. 추론 및 평가 작업에 대한 요금이 부과됩니다. 요금은 평가 작업 기간에 대해서만 부과됩니다. 평가 작업 비용은 평가 인스턴스의 시간당 비용과 호스팅 인스턴스의 시간당 비용을 합한 것입니다.

인간 기반 평가:
자체 인력을 데려오는 인간 기반 평가 기능을 사용하는 경우 1) 추론에 사용되는 SageMaker 인스턴스, 2) 인간 평가를 호스팅하는 SageMaker 처리 작업을 실행하는 데 사용된 인스턴스, 3) 완료된 인간 평가 태스크당 0.21 USD 수수료라는 세 가지 항목에 대한 요금이 부과됩니다. 인간 태스크는 인간 작업자가 인간 평가 사용자 인터페이스에서 단일 프롬프트 및 이와 관련된 추론 응답에 대한 평가를 제출하는 것으로 정의됩니다. 평가 작업에 모델이 1개 또는 2개 있든 자체 추론을 가져오든 요금은 동일하며, 포함하는 평가 차원 및 평가 방법의 수와 관계없이 동일합니다. 태스크당 0.21 USD의 요금은 모든 AWS 리전에서 동일합니다. 인력은 고객이 공급하므로 인력에 대한 별도의 비용은 없습니다.

AWS 관리형 평가:
AWS 관리형 전문가 평가의 경우 AWS의 전문가 평가 팀과 협력하는 동안 비공개 계약을 통해 평가 요구 사항에 맞게 요금이 사용자 지정됩니다.

Amazon SageMaker Studio Lab

무료로 Amazon SageMaker Studio Lab을 사용하여 기계 학습 모델을 구축하고 훈련할 수 있습니다. SageMaker Studio Lab은 개발자, 학계 및 데이터 사이언티스트에게 추가 비용 없이 기계 학습을 배우고 실험할 수 있으며 구성이 필요 없는 개발 환경을 제공합니다.

Amazon SageMaker Canvas

Amazon SageMaker Canvas는 비즈니스 분석가에게 코딩이나 기계 학습 경험이 없어도 시각적 포인트 앤 클릭 인터페이스를 사용하여 정확한 기계 학습 예측을 생성할 수 있는 기능을 제공하여 기계 학습 액세스를 확장합니다.

Amazon SageMaker 데이터 레이블 지정

Amazon SageMaker 데이터 레이블 지정은 Amazon SageMaker Ground Truth Plus 및 Amazon SageMaker Ground Truth라는 두 가지 데이터 레이블 지정 제품을 제공합니다. 기계 학습을 위한 고도로 정확한 훈련 데이터 집합을 손쉽게 구축할 수 있게 하는 완전관리형 데이터 레이블 지정 서비스인 Amazon SageMaker 데이터 레이블 지정에 대해 자세히 알아볼 수 있습니다.

Amazon SageMaker 섀도우 테스트

SageMaker는 프로덕션 릴리스 전에 현재 배포된 모델을 기준으로 새로운 ML 모델의 성능을 테스트하여 새 모델을 평가하는 섀도우 테스트를 실행하는 데 도움이 됩니다. 섀도우 모델을 호스팅하기 위해 프로비저닝된 ML 인스턴스 및 ML 스토리지에 대한 사용 요금 외에 SageMaker 섀도우 테스트에 대한 추가 요금은 없습니다. ML 인스턴스 및 ML 스토리지 차원의 요금은 이전 요금표에 지정된 실시간 추론 옵션과 동일합니다. 섀도우 배포 안팎에서 처리되는 데이터에 대한 추가 요금은 없습니다.

Amazon SageMaker Edge

엣지 디바이스 플릿에서 기계 학습 모델을 최적화, 실행 및 모니터링하는 Amazon SageMaker Edge의 요금에 대해 자세히 알아보세요. 

Amazon SageMaker Savings Plans

Amazon SageMaker 절감형 플랜은 최대 64%까지 비용을 절감하는 데 도움이 됩니다. 이 요금제는 인스턴스 패밀리, 크기 또는 리전에 상관없이 SageMaker Studio 노트북, SageMaker 노트북 인스턴스, SageMaker 처리, SageMaker Data Wrangler, SageMaker 훈련, SageMaker 실시간 추론 및 SageMaker 배치 변환을 포함하여 적격한 SageMaker 기계 학습 인스턴스 사용량에 자동으로 적용됩니다. 예를 들어 언제라도 추론 워크로드에 대해 미국 동부(오하이오)에서 실행되는 CPU 인스턴스 ml.c5.xlarge에서 미국 서부(오레곤)의 ml.Inf1 인스턴스로 변경할 수 있으며, 계속해서 자동으로 절감형 플랜 요금이 적용됩니다. 

자세히 알아보기 »

Amazon SageMaker 사용 시 총 소유 비용(TCO)

Amazon SageMaker를 통해 클라우드 기반 자체 관리형 솔루션에 비해 3년 동안 총 소유 비용(TCO)을 54% 이상 절감할 수 있습니다. Amazon SageMaker의 전체 TCO 분석은 여기에서 볼 수 있습니다.

요금 예제

  • 데이터 사이언티스트는 20일 동안 JupyterLab을 사용하여 ml.g4dn.xlarge 인스턴스에서 하루 6시간 동안 노트북, 코드 및 데이터를 빠르게 실험합니다. JupyterLab 스페이스를 만든 다음 실행하여 JupyterLab IDE에 액세스합니다. JupyterLab 스페이스가 실행 중일 때 사용된 인스턴스에 대해서만 컴퓨팅 요금이 청구됩니다. JupyterLab 스페이스에 대한 스토리지 요금은 삭제될 때까지 누적됩니다.

    컴퓨팅

    인스턴스 소요 시간 일수 전체 소요 시간 시간당 비용 합계
    ml.g4dn.xlarge 6시간 20 6 * 20 = 120시간 0.7364 USD 88.368 USD

    스토리지

    480시간(24시간* 20일) 동안 범용 SSD 스토리지를 사용하게 됩니다. 월별 GB당 요금이 0.1125 USD인 리전의 경우:
    GB-월당 0.112 USD * 5GB * 480/ (하루 24시간/일 * 한달 30일) = 0.373 USD

  • ML 엔지니어는 ML.g4dn.xlarge 인스턴스에서 하루 6시간 동안 ML 프로덕션 코드 편집, 실행 및 디버깅을 위해 Code Edito를 사용하여 20일을 보냅니다. Code Editor 스페이스를 만들고 실행하여 코드 편집기 IDE에 액세스합니다. 컴퓨팅 요금은 Code Editor 스페이스가 실행 중일 때 사용된 인스턴스에 대해서만 청구됩니다. Code Editor 스페이스 공간에 대한 스토리지 요금은 삭제될 때까지 누적됩니다.

    컴퓨팅

    인스턴스 소요 시간 일수 전체 소요 시간 시간당 비용 합계
    ml.g4dn.xlarge 6시간 20 6 * 20 = 120시간 0.7364 USD 88.368 USD

    스토리지

    480시간(24시간* 20일) 동안 범용 SSD 스토리지를 사용하게 됩니다. 월별 GB당 요금이 0.1125 USD인 리전의 경우:
    GB-월당 0.112 USD * 5GB * 480/ (하루 24시간/일 * 한달 30일) = 0.373 USD

  • 데이터 사이언티스트가 Amazon SageMaker Studio Classic의 노트북을 사용하면서 다음과 같은 일련의 작업을 수행합니다.

    1. ml.c5.xlarge 인스턴스의 TensorFlow 커널에서 노트북 1을 열고 1시간 동안 이 노트북에서 작업합니다.
    2. ml.c5.xlarge 인스턴스에서 노트북 2를 엽니다. 이 노트북은 노트북 1을 실행하는 동일한 ml.c5.xlarge 인스턴스에서 자동으로 열립니다. 
    3. 노트북 1과 노트북 2에서 동시에 1시간 동안 작업합니다.
    4. 데이터 사이언티스트에게는 ml.c5.xlarge 사용에 대해 총 2시간의 요금이 청구됩니다. 노트북 1과 노트북 2에서 동시에 작업한 중복된 시간에 대해서는 각 커널 애플리케이션은 작업 시간을 0.5시간으로 측정하고 1시간의 요금을 청구합니다.
    커널 애플리케이션 노트북 인스턴스 시간 시간당 비용 합계
    TensorFlow ml.c5.xlarge 1 0.204 USD 0.204 USD
    TensorFlow ml.c5.xlarge 0.5 0.204 USD 0.102 USD
    데이터 과학 ml.c5.xlarge 0.5 0.204 USD 0.102 USD
            0.408 USD

  • 데이터 사이언티스트가 RStudio를 사용하면서 다음과 같은 일련의 작업을 수행합니다.

    1. ml.c5.xlarge 인스턴스에서 RSession 1을 시작하고 1시간 동안 이 노트북에서 작업합니다.
    2. ml.c5.xlarge 인스턴스에서 RSession 2를 시작합니다. 이 노트북은 RSession 1을 실행 중인 동일한 ml.c5.xlarge 인스턴스에서 자동으로 열립니다.
    3. RSesssion 1 및 RSession 2에서 1시간 동안 동시에 작업합니다.
    4. 데이터 사이언티스트에게는 ml.c5.xlarge 사용에 대해 총 2시간의 요금이 청구됩니다. RSession 1과 RSession 2에서 동시에 작업한 중복된 시간에 대해서는 각 RSession 애플리케이션은 작업 시간을 0.5시간으로 측정하고 1시간의 요금을 청구합니다.

    그 동안 RServer는 실행 중인 RSession이 있는지 여부와 관계없이 상시 실행됩니다. 관리자가 ‘스몰’(ml.t3.medium)을 선택하는 경우 요금은 무료입니다. 관리자가 ‘미디엄’(ml.c5.4xlarge) 또는 ‘라지’(ml.c5.9xlarge)를 선택하는 경우 RStudio가 SageMaker Domain에 사용되는 동안 시간당 요금이 부과됩니다.

    RSession 앱 RSession 인스턴스 시간 시간당 비용 합계
    Base R ml.c5.xlarge 1 0.204 USD 0.204 USD
    Base R ml.c5.xlarge 0.5 0.204 USD 0.102 USD
    Base R ml.c5.xlarge 0.5 0.204 USD 0.102 USD
            0.408 USD

  • Amazon SageMaker Processing은 작업이 실행되는 동안 사용된 인스턴스에 대해서만 요금을 부과합니다. Amazon S3에서 처리할 입력 데이터를 제공하면 Amazon SageMaker에서는 처리 작업을 시작할 때 Amazon S3의 데이터를 로컬 파일 스토리지에 다운로드합니다.

    데이터 애널리스트는 처리 작업을 실행하여 10분의 작업 시간 동안 2개의 ml.m5.4xlarge 인스턴스에서 데이터를 사전 처리하고 유효성을 검사합니다. 애널리스트가 처리 작업의 입력으로 S3에 100GB의 데이터 집합을 업로드하면 대략 비슷한 크기의 출력 데이터가 S3에 다시 저장됩니다.

    시간  처리 인스턴스 시간당 비용 합계
    1 * 2 * 0.167 = 0.334 ml.m5.4xlarge 0.922 USD 0.308 USD
    범용(SSD) 스토리지(GB) 시간당 비용 합계
    100GB * 2 = 200 0.14 USD 0.0032 USD

    Amazon SageMaker 처리 작업의 소계는 0.308 USD이고,
    200GB의 범용 SSD 스토리지의 소계는 0.0032 USD입니다.
    이 예제의 요금 합계는 0.3112 USD입니다.

  • 표를 보면, 3일 동안 총 18시간에 걸쳐 데이터를 준비하기 위해 Amazon SageMaker Data Wrangler를 사용합니다. 또한 매주 업데이트된 데이터를 준비하기 위해 SageMaker Data Wrangler 작업을 생성합니다. 각 작업은 40분 동안 지속되며, 작업은 1개월 동안 매주 실행됩니다.

    Data Wrangler를 사용한 월별 비용 합계 = 16.596 USD + 2.461 USD = 19.097 USD

    애플리케이션 SageMaker Studio 인스턴스 일수 소요 시간 전체 소요 시간 시간당 비용 비용 소계
    SageMaker Data Wrangler ml.m5.4xlarge 3 6시간 18시간 0.922 USD 16.596 USD
    SageMaker Data Wrangler 작업 ml.m5.4xlarge - 40분 2.67시간 0.922 USD 2.461 USD

    데이터 사이언티스트가 Amazon SageMaker Data Wrangler를 3일 동안 사용하여 매일 6시간씩 데이터를 정리, 탐색 및 시각화하였습니다. 데이터 준비 파이프라인을 실행하기 위해, 매주 실행하도록 예약된 SageMaker Data Wrangler 작업을 시작합니다.

    아래 표에서는 매월 총 사용량과 Amazon SageMaker Data Wrangler 사용과 관련된 요금을 요약하여 표시합니다.

  • ++ 읽기 유닛의 모든 소수 자릿수는 다음 정수로 올림됨

    데이터 스토리지
    저장된 데이터 합계 = 31.5GB
    데이터 스토리지를 위한 월별 요금 = 31.5GB * 0.45 USD = 14.175 USD

    Amazon SageMaker 특성 저장소의 월별 요금 합계 = 56.875 USD + 3.185 USD + 14.175 USD = 74.235 USD

    해당 달의 날짜 쓰기 합계 쓰기 단위 합계 읽기 합계 읽기 단위 합계
    1일~10일 100,000건의 쓰기 
    (10,000건의 쓰기 * 10일)    		 2,500,000건 
    (100,000 * 25KB)    		 100,000건 
    (10,000 * 10일)    		 700,000건 초과 
    (100,000건 * 25/4KB)
             
    11일 200,000건의 쓰기 5,000,000건 
    (200,000 * 25KB)    		 200,000건의 읽기 1,400,000건 초과 
    (200,000 * 25/4KB)
             
    12일~30일 1,520,000건의 쓰기 
    (80,000 * 19일)    		 38,000,000건 
    (1,520,000건 * 25KB)    		 1,520,000건의 쓰기
    (80,000건 * 19일)    		 10,640,000건 초과
    (1,520,000건 * 25/4KB)
             
    청구 가능한 유닛 합계   45,500,000건의 쓰기 유닛   12,740,000건의 읽기 유닛
    월별 쓰기 및 읽기에 대한 요금   56.875 USD 
    (4,550만 쓰기 유닛 * 1.25 USD/쓰기 1백만 건당)    		   3.185 USD 
    (1,274만 읽기 유닛 * 0.25 USD/읽기 1백만 건당)

    Amazon SageMaker 특성 저장소에 대해 25KB의 읽기 및 쓰기 작업을 실행하는 웹 애플리케이션이 있습니다. 해당하는 달의 첫 10일 동안 애플리케이션의 수신 트래픽은 소규모입니다. 이 경우 SageMaker 특성 저장소에 대한 매일 10,000건의 쓰기 및 10,000건의 읽기가 수행되었습니다. 하지만 달의 11일째 날에 애플리케이션이 소셜 미디어의 관심을 얻으면서 애플리케이션 트래픽이 200,000건의 쓰기와 200,000건의 읽기로 급증합니다. 이후 애플리케이션은 더욱 규칙적인 트래픽 패턴을 보이면서 월말까지 매일 평균 80,000건의 읽기와 80,000건의 쓰기가 수행됩니다.

    아래 표에서는 매월 총 사용량과 Amazon SageMaker Feature Store 사용과 관련된 요금을 요약하여 표시합니다.

  • 이 예제에서 훈련 및 디버깅을 위한 요금 합계는 2.38 USD입니다. Amazon SageMaker Debugger 기본 제공 규칙에 사용된 컴퓨팅 인스턴스 및 범용 스토리지 볼륨에는 추가 요금이 부과되지 않습니다.

      훈련용 범용(SSD) 스토리지(GB) 디버거 기본 제공 규칙용 범용(SSD) 스토리지(GB) 디버거 사용자 지정 규칙용 범용(SSD) 스토리지(GB) GB-월당 비용 소계
    사용한 용량 3 2 1    
    요금 0 USD 기본 제공 스토리지 볼륨에 대해서는 추가 요금 없음 0 USD 0.10 USD 0 USD

    시간 훈련 인스턴스 디버그 인스턴스 시간당 비용 소계
    4 * 0.5 = 2.00 ml.m4.4xlarge 해당 사항 없음 0.96 USD 1.92 USD
    4 * 0.5 * 2 = 4 해당 사항 없음 기본 제공 규칙 인스턴스에 대해서는 추가 요금 없음 0 USD 0 USD
    4 * 0.5 = 2 ml.m5.xlarge 해당 사항 없음 0.23 USD 0.46 USD
            -------
            2.38 USD

    데이터 사이언티스트가 1주일 동안 새로운 아이디어를 위한 모델 작업을 수행합니다. 과학자는 기본 제공 규칙 2개와 직접 작성한 사용자 지정 규칙 1개를 사용하여 Amazon SageMaker 디버거를 활성화한 상태로 실행한 교육당 30분 동안 ml.m4.4xlarge에서 모델을 4번 교육합니다. 사용자 지정 규칙에 대해서는 ml.m5.xlarge 인스턴스를 지정했습니다. 그리고 Amazon S3에서 3GB의 훈련 데이터를 사용하여 훈련하고 1GB 모델 출력을 Amazon S3로 푸시합니다. SageMaker는 각 훈련 인스턴스에 대해 범용 SSD(gp2) 볼륨을 생성합니다. SageMaker는 또한 지정한 각 규칙에 대해서도 범용 SSD(gp2) 볼륨을 생성합니다. 이 예에서는 총 4개의 범용 SSD(gp2) 볼륨이 생성됩니다. SageMaker Debugger는 1GB의 디버그 데이터를 고객의 Amazon S3 버킷으로 내보냅니다.

  •   비용 총 단위 월별 요금
    수집 100만 지표 레코드당 1.25 USD 수집된 지표 레코드 100만 개(=데이터 과학자 1,000명 * 10회 * 20 Epoch * 지표 5개) 1.25 USD(= 1.25 * 1)
    SageMaker Studio 사용량 0 USD   0 USD
    검색 100만 지표 레코드당 0.25 USD 검색된 지표 레코드 1000만 개(= 수집된 지표 100만 개 * 수집된 지표당 검색 10건) 2.5 USD(= 0.25 * 10)
    스토리지 100만 지표 레코드당 0.25 USD - 월 저장된 지표 레코드 100만 개 0.25 USD(= 0.25 * 1)
    매월 총 요금     4 USD

    1,000명의 데이터 과학자가 사용하는 ML 워크벤치가 있습니다. 다양한 파라미터와 데이터 세트로 모델을 훈련시키면서 실험을 수행합니다. 각 데이터 과학자는 20 Epoch에 걸쳐 한 달에 10번 모델을 훈련시키고 5개의 사용자 지정 지표를 캡처합니다. 워크벤치는 검색 API를 사용하여 사용자 지정 분석을 위해 SageMaker Experiments에서 실험 데이터를 가져옵니다. 데이터 과학자는 기록된 데이터를 10번의 서로 다른 훈련 반복을 통해 비교하여 최상의 후보 모델을 찾습니다. 이 예제에서 요금은 다음과 같습니다.

      요금 총 단위 월별 요금
    수집 100만 지표 레코드당 1.25 USD 수집된 지표 레코드 100,000개(=데이터 과학자 100명 * 10회 * 20 Epoch * 지표 5개) 0.125 USD(= 1.25 * 100,000/1,000,000)
    SageMaker Studio 사용량 0 USD   0 USD
    검색 100만 지표 레코드당 0.25 USD 0 0 USD
    스토리지 100만 지표 레코드당 0.25 USD - 월 저장된 지표 레코드 100,000개 0.025 USD(= 0.25 * 100,000/1,000,000)
    매월 총 요금     0.15 USD

     

    100명의 데이터 과학자로 구성된 팀이 새로운 아이디어를 위한 프로젝트를 진행하고 있습니다. 다양한 파라미터와 데이터 세트로 모델을 훈련시키면서 실험을 수행합니다. 평균적으로 각 데이터 과학자는 20 Epoch에 걸쳐 한 달에 10번 모델을 훈련시키고 5개의 사용자 지정 지표를 캡처합니다. 데이터 과학자는 SageMaker Studio를 사용하여 실험을 분석합니다. 이 예제에서 요금은 다음과 같습니다.

  • 훈련, 호스팅 및 모니터링 소계는 305.827 USD입니다. 월 호스팅을 위해 처리된 데이터 수신 3,100MB와 처리된 데이터 송신 310MB의 소계는 0.054 USD입니다. 이 예제의 요금 합계는 월별 305.881 USD입니다.

    참고로, ml.m5.xlarge 인스턴스의 기본 제공 규칙에 대해서는 매월 모든 엔드포인트에서 집계된 모니터링에 대해 최대 30시간의 무료 모니터링을 지원합니다.

    월 데이터 수신 - 호스팅 월 데이터 송신 - 호스팅 수신 또는 송신 GB당 비용 합계
    100MB * 31 = 3,100MB   0.016 USD 0.0496 USD
      10MB * 31 = 310MB 0.016 USD 0.00496 USD
    월 시간 호스팅 인스턴스 Model Monitor 인스턴스 시간당 비용 합계
    24 * 31 * 2 = 1488 ml.c5.xlarge   0.204 USD 303.522 USD
    31 * 0.08 = 2.5   ml.m5.4xlarge 0.922 USD 2.305 USD

    안정적인 다중 AZ 호스팅을 위해 ml.c5.xlarge 인스턴스 2개에 예제 5의 모델을 프로덕션에 배포합니다. Amazon SageMaker Model Monitor는 ml.m5.4xlarge 인스턴스 1개를 통해 사용되고 모니터링 작업은 매일 한 번 예약됩니다. 각 모니터링 작업은 완료하는 데 5분이 소요됩니다. 이 모델은 하루 100MB의 데이터를 받으며 추론은 입력 데이터 크기의 1/10입니다.

  • SageMaker 비동기 추론의 소계는 15.81 USD + 0.56 USD + 2*.0048 = 16.38 USD입니다. 이 예제의 비동기 추론 요금 합계는 월별 16.38 USD입니다.

    월 데이터 수신 월 데이터 송신 수신 또는 송신 GB당 비용 합계
    10KB * 1,024 * 31 = 310MB 10KB * 1,024 * 31 = 310MB 0.02 USD 0.0048
      10KB * 1,024 * 31 = 310MB 0.02 USD 0.0048
    범용(SSD) 스토리지(GB) GB-월당 비용 합계
    4 0.14 USD 0.56 USD
    월 시간 호스팅 인스턴스 시간당 비용 합계
    2.5 * 31 * 1 = 77.5 ml.c5.xlarge 0.20 USD 15.81 USD

    Amazon SageMaker 비동기 추론은 엔드포인트에서 사용하는 인스턴스에 대한 요금을 청구합니다. 요청을 능동적으로 처리하지 않을 때 비용 절감을 위해 인스턴스 수를 0개로 축소하도록 자동 크기 조정 설정을 구성할 수 있습니다. Amazon S3에 입력 페이로드가 있는 경우 Amazon S3에서 입력 데이터를 읽고 동일한 리전의 S3에 출력 데이터를 쓰는 작업에 대해서는 비용이 들지 않습니다.

    예제 5의 모델을 사용하여 SageMaker 비동기 추론 엔드포인트를 실행합니다. 엔드포인트는 1개의 ml.c5.xlarge 인스턴스에서 실행하고 요청을 능동적으로 처리하지 않을 때 인스턴스 수를 0개로 축소하도록 구성됩니다. 엔드포인트의 ml.c5.xlarge 인스턴스에는 4GB 범용(SSD) 스토리지가 연결되어 있습니다. 이 예제에서 엔드포인트는 하루에 2시간 동안 인스턴스 수를 1개로 유지하며, 30분 동안 휴지 기간을 갖고 이후 하루의 나머지 시간 동안 인스턴스 수를 0개로 축소합니다. 따라서 하루에 2.5시간의 사용량에 대한 요금이 청구됩니다. 

    엔드포인트는 하루에 1,024개의 요청을 처리합니다. 각 호출 요청/응답 본문의 크기는 10KB이며, Amazon S3에서 각 추론 요청 페이로드는 100MB입니다. 추론 출력은 입력 데이터 크기의 1/10에 해당하며, 동일한 리전의 Amazon S3에 다시 저장됩니다. 이 예제에서 데이터 처리 요금은 요청 및 응답 본문에 적용되지만, Amazon S3에서 송수신되는 데이터에 대해서는 적용되지 않습니다. 

  • 이 예시에서 추론에 대한 요금 합계는 2.88 USD입니다.

    시간  호스팅 인스턴스 시간당 비용 합계
    3 * 0.25 * 4 = 3시간 ml.m4.4xlarge 0.96 USD 2.88 USD

    예제 5의 모델을 사용하여 SageMaker 배치 변환을 실행합니다. 데이터 사이언티스트는 작업 실행당 15분 동안 3개의 ml.m4.4xlarge에서 4개의 개별 SageMaker 배치 변환 작업을 실행합니다. 그리고 각 실행에 대해 S3에 1GB의 평가 데이터 집합을 업로드합니다. 추론은 S3에 다시 저장되는 입력 데이터 크기의 1/10에 해당합니다.

  • 월간 데이터 처리 요금 

    데이터 처리(GB) 수신 또는 송신 GB당 비용 월간 데이터 처리 요금
    10GB 0.016 USD 0.16 USD

    온디맨드 SageMaker Serverless 추론 기간 요금의 소계는 40 USD입니다. 10GB 데이터 처리 요금의 소계는 0.16 USD입니다. 이 예시의 요금 합계는 40.16 USD입니다.

    월별 컴퓨팅 요금

    요청 수 각 요청의 기간 총 추론 기간(초) 초당 비용 월간 추론 기간 요금
    1,000만 100밀리초 1백만 0.00004 USD 40 USD

    온디맨드 서버리스 추론을 사용하면 추론 요청을 처리하는 데 사용되는 컴퓨팅 용량(밀리초 단위로 청구됨)과 처리된 데이터 양에 대해서만 비용을 지불합니다. 컴퓨팅 요금은 선택한 메모리 구성에 따라 다릅니다.

    엔드포인트에 2GB의 메모리를 할당하고 한 달에 1,000만 회 실행하고 매번 100밀리초 동안 실행하고 총 10GB의 데이터 입/출력을 처리한 경우 요금은 다음과 같이 계산됩니다.

  • 급여 처리 회사를 위한 챗봇 서비스를 운영하고 있다고 가정해 보겠습니다. 세금 신고 마감일 전인 3월 말에는 고객 문의가 급증할 것으로 예상됩니다. 그러나 이달의 나머지 기간에는 문의가 적을 것으로 예상됩니다. 따라서 2GB 메모리가 있는 서버리스 엔드포인트를 배포하고 매월 마지막 5일간 오전 9시~오후 5시(8시간)에 프로비저닝된 동시성 100을 추가합니다. 이 기간 동안 엔드포인트가 총 1,000만 개의 요청과 10GB의 데이터 입/출력을 처리합니다. 이달의 나머지 기간에는 채팅 봇이 온디맨드 서버리스 추론에서 실행되고 300만 건의 요청과 3GB의 데이터 입/출력을 처리합니다. 각 요청의 지속 시간을 100밀리초로 가정해 보겠습니다.

    프로비저닝된 동시성(PC) 요금
    PC 가격은 초당 0.000010 USD입니다.
    PC 사용 시간(초) = 5일 * PC 100대 * 8시간 * 3,600초 = 14,400,000초
    PC 사용 요금 = 14,400,000초 * 0.000010 USD/초 = 144 USD

    프로비저닝된 동시성에 의해 처리되는 트래픽에 대한 추론 기간 요금
    추론 기간 가격은 0.000023 USD/초입니다.
    PC에 대한 총 추론 기간(초) = 1천만 분 * (100밀리초)/1000 = 1백만 초
    PC에 대한 추론 기간 요금 = 1,000,000초 * 0.000023 USD/초 = 23 USD

    온디맨드 추론 기간 요금
    월별 컴퓨팅 요금은 0.00004 USD/초이고 프리 티어에서 15만 초를 제공합니다.
    총 컴퓨팅 시간(초) = 3백만 * (100밀리초) /1000 = 30만 초
    총 컴퓨팅 – 프리 티어 컴퓨팅 = 월별 청구 대상 컴퓨팅(초)
    30만 초 - 15만 초 = 15만 초
    월별 컴퓨팅 요금 = 150,000 x 0.00004 USD = 6 USD

    데이터 처리
    처리된 데이터 수신/송신의 GB당 비용 = 0.016 USD
    처리된 총 GB = 10 + 3 = 13
    총 비용= 0.016 USD * 13 = 0.208 USD

    3월의 요금 합계
    요금 합계 = 프로비저닝된 동시성 요금 + 프로비저닝된 동시성에 대한 추론 기간 + 온디맨드 컴퓨팅에 대한 추론 기간 + 데이터 처리 요금
    = 144 USD + 23 USD + 6 USD + 0.208 USD = 173.2 USD

  • 고객은 JumpStart를 사용하여 사전 훈련된 BERT Base Uncased 모델을 배포합니다. 이 모델은 고객 후기의 감정을 긍정 또는 부정으로 분류합니다.

    이 고객은 안정적인 다중 AZ 호스트를 위해 ml.c5.xlarge 인스턴스 2개에 모델을 배포합니다. 이 모델은 하루 100MB의 데이터를 받으며 추론은 입력 데이터 크기의 1/10입니다.

    월 시간 호스팅 인스턴스 시간당 비용 합계
    24 * 31 * 2 = 1488 ml.c5.xlarge 0.204 USD 303.55 USD
     
    월 데이터 수신 – 호스팅 월 데이터 송신 – 호스팅 수신 또는 송신 GB당 비용

    		 합계
    100MB * 31 = 3,100MB   0.02 USD 0.06 USD
      10MB * 31 = 310MB 0.02 USD 0.01 USD
     

    훈련, 호스팅 및 모니터링 소계는 305.827 USD입니다. 월 호스팅을 위해 처리된 데이터 수신 3,100MB와 처리된 데이터 송신 310MB의 소계는 0.06 USD입니다. 이 예제의 요금 합계는 월별 305.887 USD입니다.

  • 엔드 투 엔드 모델 배포를 지원하기 위해 3개월 동안 지속적으로 사용할 수 있는 64 p5 규모의 클러스터를 원한다고 가정해 보겠습니다.

    시간 훈련 인스턴스 시간당 비용
    3개월 * 30일* 24시간 = 2,160시간 ml.p5.48xlarge 113.07 USD
     

    이 예제에서 클러스터의 총 요금은 244,321.20 USD입니다.

  • SageMaker Clartily를 사용한 파운데이션 모델 평가에서는 자동 평가 작업이 실행되는 동안 사용한 인스턴스에 대해서만 요금이 부과됩니다. 자동 평가 태스크 및 데이터세트를 선택하면 Amazon S3의 프롬프트 데이터세트가 SageMaker 평가 인스턴스에 로드됩니다.

    다음 예제에서는 ML 엔지니어가 미국 동부(버지니아 북부)에서 Llama2 7B 모델을 평가하여 요약 태스크의 정확도를 확인합니다. Llama 2 7B의 추론에 권장되는 인스턴스 유형은 ml.g5.2xlarge입니다. 평가에 권장되는 최소 인스턴스는 ml.m5.2xlarge입니다. 이 예제에서 작업은 45분 동안 실행됩니다(데이터세트의 크기에 따라 다름). 이 예제에서 평가 작업 및 세부 결과에 대한 비용은 1.48 USD입니다.

    처리 작업 시간(예)

    리전

    인스턴스 유형

    인스턴스

    시간당 비용

    비용

    0.45

    US-east-1

    LLM 호스팅

    ml.g5.2xlarge

    1.52 USD

    1.14 USD

    0.45

    US-east-1

    평가

    ml.m5.2xlarge

    0.46 USD

    0.35 USD

    합계

    		        

    1.48 USD

    다음 예제에서는 버지니아의 동일한 엔지니어가 요약 태스크의 정확성을 확인하기 위한 또 다른 평가 작업을 실행하지만, 자신의 계정에 배포되어 가동되고 실행되고 있는 Lama 2 7B의 사용자 지정 버전을 사용합니다. 이 경우 모델이 해당 계정에 이미 배포되었으므로 유일한 증가 비용은 평가 인스턴스에 대한 비용입니다.

    처리 작업 시간

    리전

    인스턴스 유형

    인스턴스

    시간당 비용

    비용

    0.45

    US-east-1

    평가

    ml.m5.2xlarge

    0.46 USD

    0.35 USD

    합계

    		        

    0.35 USD

  • 다음 예제에서는 미국 동부(버지니아 북부)의 한 기계 학습 엔지니어가 요약 태스크의 정확성을 확인하기 위해 Llama-2-7B에 대한 인간 기반 평가를 실행하며 자체 개인 인력을 통해 평가합니다. Llama-2-7B에 권장되는 인스턴스 유형은 ml.g5.2xlarge입니다. 인간 기반 평가 처리 작업에 권장되는 최소 인스턴스는 ml.t3.medium입니다. Llama-2-7B에 대한 추론은 45분 동안 실행됩니다(데이터세트의 크기에 따라 다름). 데이터세트에는 프롬프트 50개가 포함되어 있으며 개발자는 작업자 2명에게 각 프롬프트-응답 세트를 평가하도록 합니다[평가 작업을 생성할 때 ‘workers per prompt(프롬프트당 작업자 수)’ 파라미터로 구성 가능]. 이 평가 작업에는 태스크 100개가 포함됩니다(각 작업자당 각 프롬프트-응답 페어에 대한 태스크 1개: 작업자 2명 x 프롬프트-응답 세트 50개 = 인간 태스크 100개). 인간 인력이 평가 작업에서 인간 평가 태스크 100개를 완료하려면 하루(24시간)가 걸립니다(작업자의 수와 기술 수준, 프롬프트 및 추론 응답의 길이와 복잡성에 따라 다름).

    컴퓨팅 시간

    인간 태스크

    리전

    인스턴스 유형

    인스턴스

    시간당 비용

    인간 태스크당 비용

    총 비용

    0.45

    		  

    미국 동부(버지니아 북부)

    LLM 호스팅

    ml.g5.2xlarge

    1.52 USD

    		  

    1.14 USD

    24

    		  

    미국 동부(버지니아 북부)

    처리 작업

    ml.t3.medium

    0.05 USD

    		  

    1.20 USD
     

    100

    모두

    		      

    0.21 USD

    21.00 USD

    합계

    		            

    23.34 USD

    다음 예제에서는 미국 동부(버지니아 북부)의 동일한 엔지니어가 동일한 평가 작업을 실행하지만 계정에 이미 배포되어 실행 중인 Llama-2-7B를 사용합니다. 이 경우 유일한 증가 비용은 평가 처리 작업과 인간 태스크에 대한 비용입니다.

    컴퓨팅 시간

    인간 태스크

    리전

    인스턴스 유형

    인스턴스

    시간당 비용

    인간 태스크당 비용

    총 비용

    24

    		  

    미국 동부(버지니아 북부)

    처리 작업

    ml.t3.medium

    0.05 USD

    		  

    1.20 USD
     

    100

    모두

    		      

    0.21 USD

    21.00 USD

    합계

    		            

    22.20 USD