Định giá Amazon SageMaker

Ví dụ về định giá

• Ví dụ về định giá #1: JupyterLab

  Là một nhà khoa học dữ liệu, bạn dành 20 ngày sử dụng JupyterLab để thử nghiệm nhanh trên sổ tay, mã và dữ liệu trong 6 giờ mỗi ngày trên phiên bản ml.g4dn.xlarge. Bạn tạo, rồi chạy một không gian JupyterLab để truy cập IDE JupyterLab. Chỉ tính phí tài nguyên điện toán cho phiên bản được sử dụng khi không gian JupyterLab đang chạy. Phí lưu trữ cho không gian JupyterLab được cộng dồn cho đến khi bị xóa.

  Điện toán

  Phiên bản	Thời lượng	Số ngày	Tổng thời lượng	Chi phí mỗi giờ	Tổng
  ml.g4dn.xlarge	6 giờ	20	6 * 20 = 120 giờ	0,7364 USD	88,368 USD

  Dung lượng lưu trữ

  Bạn sẽ sử dụng dung lượng lưu trữ SSD đa dụng trong 480 giờ (24 giờ * 20 ngày). Trong Khu vực tính phí 0,1125 USD/GB-tháng:
  0,112 USD mỗi GB-tháng * 5 GB * 480 / (24 giờ/ngày * 30 ngày/tháng) = 0,373 USD

• Ví dụ về định giá 2: Trình soạn mã

  Là một kỹ sư ML, bạn dành 20 ngày sử dụng Trình soạn mã để chỉnh sửa mã sản xuất ML, thực thi và gỡ lỗi trong 6 giờ/ngày trên phiên bản ml.g4dn.xlarge. Bạn tạo, rồi chạy không gian Trình soạn mã để truy cập IDE Trình soạn mã. Chỉ tính phí tài nguyên điện toán cho phiên bản được sử dụng khi không gian Trình soạn mã đang chạy. Phí lưu trữ cho không gian Trình soạn mã được cộng dồn cho đến khi bị xóa.

  Điện toán

  Phiên bản	Thời lượng	Số ngày	Tổng thời lượng	Chi phí mỗi giờ	Tổng
  ml.g4dn.xlarge	6 giờ	20	6 * 20 = 120 giờ	0,7364 USD	88,368 USD

  Dung lượng lưu trữ

  Bạn sẽ sử dụng dung lượng lưu trữ SSD đa dụng trong 480 giờ (24 giờ * 20 ngày). Trong Khu vực tính phí 0,1125 USD/GB-tháng:
  0,112 USD mỗi GB-tháng * 5 GB * 480 / (24 giờ/ngày * 30 ngày/tháng) = 0,373 USD
  

• Ví dụ về định giá 3: Phiên bản Classic của Studio

  Một nhà khoa học dữ liệu sẽ thực hiện chuỗi hành động sau đây khi sử dụng sổ tay trong Phiên bản Classic của Studio Amazon SageMaker.
  

  1. Mở sổ tay 1 trong nhân TensorFlow trên phiên bản ml.c5.xlarge, sau đó làm việc trên sổ tay này trong 1 giờ.
  2. Mở sổ tay 2 trên phiên bản ml.c5.xlarge. Sổ này sẽ tự động mở trong cùng một phiên bản ml.c5.xlarge đang chạy sổ ghi chép 1. 
  3. Làm việc trên sổ ghi chép 1 và sổ ghi chép 2 đồng thời trong 1 giờ.
     
  4. Nhà khoa học dữ liệu sẽ bị tính phí cho tổng 2 giờ sử dụng phiên bản ml.c5.xlarge. Đối với giờ bị trùng mà nhà khoa học dữ liệu làm việc đồng thời trên cả sổ tay 1 và sổ tay 2, mỗi ứng dụng nhân sẽ được tính thành 0,5 giờ và nhà khoa học dữ liệu sẽ bị tính phí cho 1 giờ sử dụng.
     

  Ứng dụng nhân	Phiên bản sổ ghi chép	Số giờ	Chi phí mỗi giờ	Tổng
  TensorFlow	ml.c5.xlarge	1	0,204 USD	0,204 USD
  TensorFlow	ml.c5.xlarge	0,5	0,204 USD	0,102 USD
  Khoa học dữ liệu	ml.c5.xlarge	0,5	0,204 USD	0,102 USD
  				0,408 USD

• Ví dụ về định giá #4: RStudio

  Một nhà khoa học dữ liệu thực hiện chuỗi hành động dưới đây trong khi sử dụng RStudio:

  1. Khởi chạy RSession 1 trên một phiên bản ml.c5.xlarge, sau đó làm việc trên sổ ghi chép này trong 1 giờ.
  2. Khởi chạy RSession 2 trên một phiên bản ml.c5.xlarge. RSession 2 sẽ tự động mở trong cùng một phiên bản ml.c5.xlarge đang chạy RSession 1.
  3. Đồng thời làm việc trên RSesssion 1 và RSession 2 trong 1 giờ.
  4. Nhà khoa học dữ liệu sẽ bị tính phí cho tổng số hai (2) giờ sử dụng ml.c5.xlarge. Đối với số giờ trùng mà nhà khoa học đồng thời làm việc trên RSession 1 và RSession 2, mỗi lần ứng dụng RSession sẽ được đo lường thành 0,5 giờ, như vậy, nhà khoa học đó sẽ bị tính phí cho 1 giờ sử dụng.

  Trong khi đó, RServer đang chạy 24/7 bất kể có RSession nào đang chạy hay không. Nếu quản trị viên chọn “Small” (Nhỏ) (ml.t3.medium), vậy thì không mất phí. Nếu quản trị viên chọn “Medium” (Trung bình) (ml.c5.4xlarge) hoặc “Large” (Lớn) (ml.c5.9xlarge), vậy thì phí được tính theo giờ dựa trên việc bật RStudio cho Miền SageMaker.
  

  Ứng dụng RSession	Phiên bản RSession	Số giờ	Chi phí mỗi giờ	Tổng
  Base R	ml.c5.xlarge	1	0,204 USD	0,204 USD
  Base R	ml.c5.xlarge	0,5	0,204 USD	0,102 USD
  Base R	ml.c5.xlarge	0,5	0,204 USD	0,102 USD
  				0,408 USD

• Ví dụ về định giá #5: Xử lý

  Xử lý trong Amazon SageMaker chỉ tính phí cho các phiên bản bạn sử dụng trong khi các tác vụ của bạn đang chạy. Khi bạn cung cấp dữ liệu đầu vào để xử lý trong Amazon S3, Amazon SageMaker tải dữ liệu từ Amazon S3 về bộ lưu trữ tệp cục bộ khi bắt đầu tác vụ xử lý.

  Nhà phân tích dữ liệu chạy một tác vụ xử lý để xử lý trước và xác thực dữ liệu trên hai phiên bản ml.m5.4xlarge trong thời gian tác vụ là 10 phút. Cô ấy tải lên bộ dữ liệu 100 GB trong S3 làm đầu vào cho tác vụ xử lý và dữ liệu đầu ra (có kích thước tương đương) được lưu trữ trở lại trong S3.
  

  Số giờ	Phiên bản xử lý	Chi phí mỗi giờ	Tổng
  1 * 2 * 0,167 = 0,334	ml.m5.4xlarge	0,922 USD	0,308 USD

  Dung lượng lưu trữ đa dụng (SSD) (GB)	Chi phí mỗi giờ	Tổng
  100 GB * 2 = 200	0,14 USD	0,0032 USD

  Tổng phụ của tác vụ Amazon SageMaker Processing = 0,308 USD.
  Tổng phụ của 200 GB dung lượng lưu trữ SSD đa dụng = 0,0032 USD.
  Tổng chi phí trong ví dụ này là 0,3112 USD.
  

• Ví dụ về định giá #6: Data Wrangler

  Từ bảng, bạn sử dụng Amazon SageMaker Data Wrangler tổng cộng 18 giờ trong 3 ngày để chuẩn bị dữ liệu của mình. Ngoài ra, bạn tạo tác vụ của Trình sắp xếp dữ liệu SageMaker để chuẩn bị dữ liệu cập nhật hàng tuần. Mỗi tác vụ kéo dài 40 phút và tác vụ chạy hàng tuần trong một tháng.

  Tổng chi phí hàng tháng để sử dụng Data Wrangler = 16,596 USD + 2,461 USD = 19,097 USD

  Ứng dụng	Phiên bản SageMaker Studio	Số ngày	Thời lượng	Tổng thời lượng	Chi phí mỗi giờ	Tổng phụ chi phí
  SageMaker Data Wrangler	ml.m5.4xlarge	3	6 giờ	18 giờ	0,922 USD	16,596 USD
  Tác vụ SageMaker Data Wrangler	ml.m5.4xlarge	-	40 phút	2,67 giờ	0,922 USD	2,461 USD

  Là một nhà khoa học dữ liệu, bạn dành ba ngày sử dụng Amazon SageMaker Data Wrangler để dọn dẹp, khám phá và hiển thị trực quan dữ liệu của mình trong 6 giờ mỗi ngày. Để thực hiện quy trình chuẩn bị dữ liệu, bạn bắt đầu một tác vụ của Trình sắp xếp dữ liệu SageMaker được lên lịch chạy hàng tuần.

  Bảng dưới đây tóm tắt tổng mức sử dụng của bạn trong tháng và các khoản phí liên quan để sử dụng Amazon SageMaker Data Wrangler.
  

• Ví dụ về định giá #7: Cửa hàng tính năng

  ++ Tất cả các đơn vị đọc lẻ được làm tròn thành số nguyên tiếp theo

  Lưu trữ dữ liệu
  Tổng dữ liệu lưu trữ = 31,5 GB
  Phí lưu trữ dữ liệu hàng tháng = 31,5 GB * 0,45 USD = 14,175 USD

  Tổng phí hàng tháng cho Cửa hàng tính năng của Amazon SageMaker = 56,875 USD + 3,185 USD + 14,175 USD = 74,235 USD
  

  Ngày trong tháng	Tổng số lần ghi	Tổng số đơn vị ghi	Tổng số lần đọc	Tổng số đơn vị đọc
  Ngày 1 đến 10	100.000 lần ghi  (10.000 lần ghì * 10 ngày)	2.500.000  (100.000 * 25KB )	100.000  (10.000 * 10 ngày)	Trên 700.000  (100.000 * 25/4 KB )
  Ngày 11	200.000 lần ghi	5.000.000  (200.000 * 25KB )	200.000 lần đọc	1.400.000++  (200.000* 25/4KB)
  Ngày 12 đến 30	1.520.000 lần ghi  (80.000 * 19 ngày)	38.000.000  (1.520.000 * 25KB )	1.520.000 lần ghi (80.000 * 19 ngày)	10,640,000++ (1.520.000* 25/4KB)
  Tổng số đơn vị tính phí		45.500.000 đơn vị ghi		12.740.000 đơn vị đọc
  Phí ghi và đọc hàng tháng		56,875 USD  (45,5 triệu đơn vị ghi * 1,25 USD cho mỗi triệu lần ghi)		3,185 USD  (12,74 triệu đơn vị đọc * 0,25 USD cho mỗi triệu lần đọc)

  Bạn có một ứng dụng web thực hiện đọc và ghi 25 KB mỗi ngày trên Cửa hàng tính năng của Amazon SageMaker. Trong 10 ngày đầu tiên của tháng, bạn nhận được ít lưu lượng truy cập vào ứng dụng của mình, với 10.000 lần ghi và 10.000 lần đọc mỗi ngày trên SageMaker Feature Store. Tuy nhiên, vào ngày 11 của tháng, ứng dụng của bạn thu hút được sự chú ý trên phương tiện truyền thông xã hội và lưu lượng truy cập ứng dụng tăng vọt lên 200.000 lần đọc và 200.000 lần ghi trong ngày đó. Sau đó, ứng dụng ổn định ở mức lưu lượng thường xuyên hơn, với trung bình 80.000 lần đọc và 80.000 lần ghi mỗi ngày cho đến cuối tháng.

  Bảng dưới đây tóm tắt tổng mức sử dụng của bạn trong tháng và các khoản phí liên quan để sử dụng Cửa hàng tính năng của Amazon SageMaker.
  

• Ví dụ về định giá #8: Đào tạo

  Tổng chi phí cho đào tạo và gỡ lỗi trong ví dụ này là 2,38 USD. Các phiên bản điện toán và các ổ đĩa lưu trữ cho mục đích chung được sử dụng bởi các quy tắc tích hợp sẵn của Trình gỡ lỗi của Amazon SageMaker sẽ không phát sinh thêm phí.
  

  	Dung lượng lưu trữ đa dụng (SSD) cho quá trình đào tạo (GB)	Dung lượng lưu trữ đa dụng (SSD) cho những quy tắc được tích hợp trong Debugger (GB)	Dung lượng lưu trữ đa dụng (SSD) cho những quy tắc tùy chỉnh trong trình gỡ lỗi (GB)	Phí cho mỗi GB-tháng	Tổng phụ
  Dung lượng đã sử dụng	3	2	1
  Chi phí	0 USD	Không có phụ phí cho các ổ đĩa lưu trữ quy tắc tích hợp	0 USD	0,10 USD	0 USD

   

  Số giờ	Phiên bản đào tạo	Phiên bản gỡ lỗi	Chi phí mỗi giờ	Tổng phụ
  4 * 0,5 = 2,00	ml.m4.4xlarge	không áp dụng	0,96 USD	1,92 USD
  4 * 0,5 * 2 = 4	không áp dụng	Không có phụ phí cho các phiên bản quy tắc tích hợp	0 USD	0 USD
  4 * 0.5 = 2	ml.m5.xlarge	không áp dụng	0,23 USD	0,46 USD
  				-------
  				2,38 USD

  Một nhà khoa học dữ liệu đã dành một tuần nghiên cứu mô hình xây dựng ý tưởng mới. Cô ấy đào tạo mô hình 4 lần trên một ml.m4.4xlarge trong 30 phút cho mỗi lần đào tạo với Trình gỡ lỗi Amazon SageMaker được kích hoạt bằng cách sử dụng 2 quy tắc tích hợp và 1 quy tắc tùy chỉnh mà cô ấy đã viết. Đối với quy tắc tùy chỉnh, cô ấy đã chỉ định phiên bản ml.m5.xlarge. Cô ấy đào tạo bằng cách sử dụng 3 GB dữ liệu đào tạo trong Amazon S3 và đẩy tệp đầu ra mô hình 1 GB vào Amazon S3. SageMaker tạo các ổ đĩa SSD mục đích chung (gp2) cho mỗi phiên bản đào tạo. SageMaker cũng tạo các ổ đĩa SSD mục đích chung (gp2) cho mỗi quy tắc được chỉ định. Trong ví dụ này, tổng cộng 4 ổ đĩa SSD mục đích chung (gp2) sẽ được tạo. Trình gỡ lỗi của SageMaker phát sinh 1 GB dữ liệu gỡ lỗi vào vùng lưu trữ Amazon S3 của khách hàng.
  

• Ví dụ về định giá #9: Thử nghiệm

  	Chi phí	Tổng số đơn vị	Phí hàng tháng
  Thu nạp	1.25 USD trên một triệu bản ghi chỉ số	1 triệu (=1,000 nhà khoa học dữ liệu * 10 lần * 20 giai đoạn * 5 chỉ số) bản ghi chỉ số đã thu nạp	1,25 USD (= 1,25 * 1)
  Mức độ sử dụng SageMaker Studio	0 USD		0 USD
  Truy xuất	0,25 USD trên một triệu bản ghi chỉ số	10 triệu (= 1 triệu chỉ số được tải nhập * 10 lần truy xuất trên mỗi chỉ số được tải nhập) bản ghi chỉ số đã truy xuất	2,5 USD (= 0,25 * 10)
  Dung lượng lưu trữ	0.25 USD trên một triệu bản ghi chỉ số - tháng	1 triệu bản ghi chỉ số được lưu trữ	0,25 USD (= 0,25 * 1)
  Tổng phí hàng tháng			4 USD

  Bạn có một workbench ML được 1.000 nhà khoa học dữ liệu sử dụng. Họ tiến hành thử nghiệm bằng cách đào tạo các mô hình của mình với các thông số và tập dữ liệu khác nhau. Mỗi nhà khoa học dữ liệu đào tạo một mô hình mười lần một tháng trong 20 giai đoạn và thu được năm chỉ số tùy chỉnh. Workbench sử dụng API truy xuất để nhận dữ liệu thử nghiệm từ SageMaker Experiments để thực hiện phân tích tùy chỉnh. Các nhà khoa học dữ liệu so sánh dữ liệu được ghi lại trong mười lượt đào tạo khác nhau để tìm ra mô hình ứng viên tốt nhất. Trong ví dụ này, tổng phí phải trả sẽ là như sau:
  

  	Chi phí	Tổng số đơn vị	Phí hàng tháng
  Thu nạp	1.25 USD trên một triệu bản ghi chỉ số	100.000 (=100 nhà khoa học dữ liệu * 10 lần * 20 giai đoạn * 5 chỉ số) bản ghi chỉ số đã thu nạp	0,125 USD (= 1,25 * 100.000/1.000.000)
  Mức độ sử dụng SageMaker Studio	0 USD		0 USD
  Truy xuất	0.25 USD trên một triệu bản ghi chỉ số	0	0 USD
  Dung lượng lưu trữ	0.25 USD trên một triệu bản ghi chỉ số - tháng	100.000 bản ghi chỉ số được lưu trữ	0,025 USD (= 0,25 * 100.000/1.000.000)
  Tổng phí hàng tháng			0,15 USD

   

  Một nhóm gồm 100 nhà khoa học dữ liệu đang thực hiện một dự án nhằm triển khai một ý tưởng mới. Họ tiến hành thử nghiệm bằng cách đào tạo các mô hình của mình với các thông số và tập dữ liệu khác nhau. Trung bình, mỗi nhà khoa học dữ liệu đào tạo một mô hình mười lần một tháng trong 20 giai đoạn và thu được năm chỉ số tùy chỉnh. Các nhà khoa học dữ liệu sử dụng SageMaker Studio để phân tích các thử nghiệm của họ. Trong ví dụ này, tổng phí phải trả sẽ là như sau:
  

• Ví dụ về định giá #10: Suy luận theo thời gian thực

  Tổng phụ của chi phí đào tạo, lưu trữ và giám sát = 305,827 USD. Tổng phụ của 3.100 MB dữ liệu được xử lý nhận về và 310MB dữ liệu được xử lý truyền đi cho quá trình lưu trữ mỗi tháng = 0,054 USD. Tổng chi phí trong ví dụ này là 305,881 USD mỗi tháng.
  

  Lưu ý: đối với các quy tắc tích hợp sẵn với phiên bản ml.m5.xlarge, bạn có tổng tối đa 30 giờ giám sát miễn phí trên tất cả các điểm cuối mỗi tháng.
  

   

  Dữ liệu vào mỗi tháng - lưu trữ	Dữ liệu truyền đi mỗi tháng - lưu trữ	Chi phí trên mỗi GB vào hoặc ra	Tổng
  100 MB * 31 = 3.100 MB		0,016 USD	0.0496 USD
  	10 MB * 31 = 310 MB	0,016 USD	0,00496 USD

  Số giờ mỗi tháng	Phiên bản lưu trữ	Phiên bản Giám sát mô hình	Chi phí mỗi giờ	Tổng
  24 * 31 * 2 = 1488	ml.c5.xlarge		0,204 USD	303,522 USD
  31*0,08 = 2,5		ml.m5.4xlarge	0,922 USD	2,305 USD

  Khi đó, mô hình trong ví dụ 5 được triển khai để tạo thành hai (2) phiên bản ml.c5.xlarge nhằm lưu trữ ổn định nhiều AZ. Amazon SageMaker Model Monitor được kích hoạt với một (1) phiên bản ml.m5.4xlarge và các tác vụ giám sát được lên lịch một lần mỗi ngày. Mỗi tác vụ giám sát mất 5 phút để hoàn thành. Mô hình này nhận 100 MB dữ liệu mỗi ngày và kết quả bằng 1/10 kích thước dữ liệu đầu vào.
  

• Ví dụ về định giá #11: Suy luận không đồng bộ

  Tổng phụ của Suy luận không đồng bộ của SageMaker = 15,81 USD + 0,56 USD + 2 * 0,0048 = 16,38 USD. Tổng chi phí cho Suy luận không đồng bộ trong ví dụ này sẽ là 16,38 USD mỗi tháng. 
  

  Dữ liệu vào mỗi tháng	Dữ liệu ra mỗi tháng	Chi phí trên mỗi GB vào hoặc ra	Tổng
  10 KB * 1.024 * 31 = 310 MB	10 KB * 1.024 * 31 = 310 MB	0,02 USD	0,0048
  	10 KB * 1.024 * 31 = 310 MB	0,02 USD	0,0048

  Dung lượng lưu trữ đa dụng (SSD) (GB)	Phí cho mỗi Gb-tháng	Tổng
  4	0,14 USD	0,56 USD

  Số giờ mỗi tháng	Phiên bản lưu trữ	Chi phí mỗi giờ	Tổng
  2,5 * 31 * 1 = 77,5	ml.c5.xlarge	0,20 USD	15,81 USD

  Tính năng Suy luận không đồng bộ của Amazon SageMaker tính phí cho các phiên bản được điểm cuối của bạn sử dụng. Khi không thực sự cần xử lý yêu cầu, bạn có thể cấu hình cho tính năng tự động thay đổi quy mô để thay đổi số lượng phiên bản về không nhằm tiết kiệm chi phí. Đối với trọng tải đầu vào trong Amazon S3, bạn không phải trả phí cho việc đọc dữ liệu đầu vào từ Amazon S3 cũng như ghi dữ liệu đầu ra đến S3 trong cùng Khu vực.
  

  Mô hình trong ví dụ 5 được sử dụng để chạy điểm cuối Suy luận không đồng bộ của SageMaker. Điểm cuối được cấu hình để chạy trên 1 phiên bản ml.c5.xlarge và giảm số lượng phiên bản về không khi không thực sự cần xử lý các yêu cầu. Phiên bản ml.c5.xlarge tại điểm cuối có ổ đĩa đa dụng (SSD) dung lượng 4 GB đi kèm. Trong ví dụ này, điểm cuối duy trì 1 phiên bản trong 2 giờ mỗi ngày và có 30 phút thời gian nguội đi, sau đó, trong suốt thời gian còn lại của ngày hôm đó, điểm cuối giảm số lượng phiên bản về không. Do đó, bạn bị tính phí cho 2,5 giờ sử dụng mỗi ngày. 
  

  Điểm cuối xử lý 1.024 yêu cầu mỗi ngày. Kích thước của mỗi nội dung yêu cầu/phản hồi lệnh gọi là 10 KB và mỗi yêu cầu suy luận trong Amazon S3 có trọng tải là 100 MB. Đầu ra suy luận có kích thước bằng 1/10 dữ liệu đầu vào được dự trữ trong Amazon S3 ở cùng Khu vực. Trong ví dụ này, phí xử lý dữ liệu áp dụng cho nội dung yêu cầu và phản hồi, không áp dụng cho dữ liệu được truyền đến/từ Amazon S3. 
  

• Ví dụ về định giá #12: Chuyển đổi hàng loạt

  Tổng chi phí suy luận trong ví dụ này sẽ là 2,88 USD.
  

  Số giờ	Phiên bản máy chủ lưu trữ	Chi phí mỗi giờ	Tổng
  3 * 0,25 * 4 = 3 giờ	ml.m4.4xlarge	0,96 USD	2,88 USD

  Mô hình ở ví dụ 5 được dùng để chạy Chuyển đổi hàng loạt của Amazon SageMaker. Nhà khoa học dữ liệu chạy bốn tác vụ Amazon SageMaker Batch Transform riêng biệt trên 3 ml.m4.4xlarge trong 15 phút vào mỗi lần chạy tác vụ. Cô tải tập dữ liệu đánh giá có kích thước 1 GB lên S3 trong mỗi lần chạy và suy luận bằng 1/10 kích thước dữ liệu đầu vào, được lưu trữ trở lại trên S3.
  

• Ví dụ về định giá #13: Suy luận phi máy chủ theo nhu cầu

  Phí xử lý dữ liệu hàng tháng 
  

  Xử lý dữ liệu (GB)	Chi phí trên mỗi GB vào hoặc ra	Phí xử lý dữ liệu hàng tháng
  10 GB	0,016 USD	0,16 USD

  Tổng phụ của phí thời gian Suy luận phi máy chủ SageMaker theo nhu cầu = 40 USD. Tổng phụ của phí xử lý 10 GB dữ liệu = 0,16 USD. Tổng chi phí trong ví dụ này là 40,16 USD.

  Phí điện toán hàng tháng

  Số lượng yêu cầu	Thời lượng của mỗi yêu cầu	Tổng thời gian suy luận (giây)	Chi phí mỗi giây	Phí thời gian suy luận hàng tháng
  10 triệu	100 mili giây	1 triệu	0,00004 USD	40 USD

  
  

  Với Suy luận phi máy chủ theo nhu cầu, bạn chỉ thanh toán chi phí năng lực điện toán được sử dụng để xử lý các yêu cầu suy luận, tính theo mili giây, cũng như lượng dữ liệu được xử lý. Chi phí điện toán phụ thuộc vào cấu hình bộ nhớ bạn chọn.

  Nếu bạn dành 2 GB bộ nhớ cho điểm cuối, đã thực thi điểm cuối đó 10 triệu lần trong một tháng và mỗi lần mất 100 mili giây, đồng thời xử lý tổng cộng 10 GB dữ liệu vào/ra thì chi phí của bạn sẽ như sau:
  

• Ví dụ về định giá #14: Tính đồng thời được cung cấp trên Suy luận phi máy chủ

  Giả sử bạn đang chạy một dịch vụ chat-bot cho một công ty xử lý tiền lương. Bạn dự kiến số lượng yêu cầu của khách hàng tăng đột biến vào cuối tháng 3, trước thời hạn nộp thuế. Tuy nhiên, trong thời gian còn lại của tháng, lưu lượng truy cập dự kiến sẽ thấp. Vì vậy, bạn triển khai một điểm cuối phi máy chủ với bộ nhớ 2GB và thêm Đồng thời được cung cấp là 100 trong 5 ngày cuối cùng của tháng trong 9 giờ sáng - 5 giờ chiều (8 giờ), trong đó điểm cuối của bạn xử lý 10 triệu yêu cầu và 10GB dữ liệu vào/ra tổng cộng. Trong thời gian còn lại của tháng, chat-bot chạy trên Suy luận phi máy chủ theo nhu cầu và xử lý 3 triệu yêu cầu và 3GB dữ liệu vào/ra. Giả sử thời lượng của mỗi yêu cầu là 100ms.
  
  Phí Tính đồng thời được cung cấp (PC)
  Giá PC là 0,000010 USD/ giây
  Thời lượng sử dụng PC (giây) = 5 ngày* 100 PC* 8 giờ* 3600 giây = 14.400.000 giây
  Phí sử dụng PC = 14.400.000 giây* 0,000010 USD/ giây = 144 USD.

  Phí thời lượng suy luận đối với lưu lượng được cung cấp bởi Đồng thời được cung cấp
  Giá thời gian suy luận là 0,000023 USD/giây
  Tổng thời lượng suy luận cho PC (giây) = 10M* (100ms) /1000 = 1M giây.
  Phí thời lượng suy luận cho PC = 1.000.000 giây* 0,000023 USD/giây = 23 USD

  Phí thời gian suy luận theo nhu cầu
  Giá điện toán hàng tháng là 0,00004 USD mỗi giây, đồng thời bậc miễn phí cung cấp 150.000 giây.
  Tổng số tính toán (giây) = (3) M * (100ms) /1000 = 0,3M giây.
  Tổng điện toán – Điện toán bậc miễn phí = Điện toán phải thanh toán hàng tháng tính bằng giây
  0,3M giây – 150k giây = 150k giây
  Phí điện toán hàng tháng = 150.000 *0,00004 USD = 6 USD

  Xử lý dữ liệu
  Chi phí/GB dữ liệu được xử lý vào/ra = 0,016 USD
  Tổng GB được xử lý = 10+3 = 13
  Tổng chi phí = 0,016 USD* 13 = 0,208 USD
  
  Tổng phí cho tháng 3
  Tổng phí = Phí đồng thời được cung cấp + Thời lượng suy luận cho phí Đồng thời được cung cấp + Thời gian suy luận cho tính toán theo nhu cầu + Phí xử lý dữ liệu
  = 144 USD+23 USD+ 6 USD+ 0,208 USD= 173,2 USD

• Ví dụ về định giá #15: Jumpstart

  Khách hàng sử dụng JumpStart để triển khai một mô hình BERT Base Uncased đã được đào tạo trước nhằm phân loại ý kiến đánh giá của khách hàng là tích cực hay tiêu cực.

  Khách hàng triển khai mô hình thành hai (2) phiên bản ml.c5.xlarge nhằm lưu trữ ổn định nhiều AZ. Mô hình này nhận 100 MB dữ liệu mỗi ngày và kết quả bằng 1/10 kích thước dữ liệu đầu vào.
  

  Số giờ mỗi tháng	Phiên bản lưu trữ	Chi phí mỗi giờ	Tổng
  24 * 31 * 2 = 1488	ml.c5.xlarge	0,204 USD	303,55 USD

   

  Dữ liệu vào mỗi tháng - Lưu trữ	Dữ liệu truyền đi mỗi tháng - Lưu trữ	Chi phí trên mỗi GB vào hoặc ra	Tổng
  100 MB * 31 = 3.100 MB		0,02 USD	0,06 USD
  	10 MB * 31 = 310 MB	0,02 USD	0,01 USD

   

  Tổng phụ của chi phí đào tạo, lưu trữ và giám sát = 305,827 USD. Tổng phụ của 3.100 MB dữ liệu được xử lý nhận về và 310 MB dữ liệu được xử lý truyền đi cho quá trình Lưu trữ mỗi tháng = 0,06 USD. Tổng chi phí trong ví dụ này là 305,887 USD mỗi tháng.
  

• Ví dụ về định giá #16: HyperPod

  Giả sử bạn muốn sử dụng một cụm 64 p5 trong 3 tháng liên tục để hỗ trợ triển khai mô hình toàn diện.

  Số giờ	Phiên bản đào tạo	Chi phí mỗi giờ
  3 tháng * 30 ngày * 24 giờ = 2.160 giờ	ml.p5.48xlarge	113,07 USD

   

  Tổng phí cho cụm trong ví dụ này là 244.321,20 USD

• Ví dụ về định giá #17: Đánh giá mô hình nền tảng (đánh giá tự động)

  Đánh giá mô hình nền tảng với SageMaker Clarify chỉ tính phí cho các phiên bản được sử dụng trong khi các công việc đánh giá tự động của bạn đang chạy. Khi bạn chọn một tác vụ đánh giá tự động và tập dữ liệu, SageMaker sẽ tải tập dữ liệu câu lệnh từ Amazon S3 vào phiên bản đánh giá SageMaker.
  
  Trong ví dụ sau đây, một kỹ sư ML chạy đánh giá mô hình Llama2 7B ở Miền Đông Hoa Kỳ (Bắc Virginia) về độ chính xác của tác vụ tóm tắt. Loại phiên bản được đề xuất để suy luận cho Llama 2 7B là ml.g5.2xlarge. Phiên bản tối thiểu được đề xuất cho đánh giá là ml.m5.2xlarge. Trong ví dụ này, công việc chạy trong 45 phút (tùy thuộc vào kích thước của tập dữ liệu). Trong ví dụ này, chi phí sẽ là 1,48 USD cho công việc đánh giá và kết quả chi tiết.

  Số giờ công việc xử lý (ví dụ)	Khu vực	Loại phiên bản	Phiên bản	Chi phí mỗi giờ	Chi phí
  0,45	US-east-1	Lưu trữ LLM	ml.g5.2xlarge	1,52 USD	1,14 USD
  0,45	US-east-1	đánh giá	ml.m5.2xlarge	0,46 USD	0,35 USD
  Tổng					1,48 USD

  Trong ví dụ tiếp theo, cùng một kỹ sư ở Virginia chạy một công việc đánh giá khác về độ chính xác của tác vụ tóm tắt, nhưng sử dụng phiên bản tùy chỉnh của Llama 2 7B được triển khai vào tài khoản của họ và đang chạy. Trong trường hợp này, vì mô hình đã được triển khai vào tài khoản của họ nên chi phí gia tăng duy nhất sẽ dành cho phiên bản đánh giá.

  Số giờ công việc xử lý	Khu vực	Loại phiên bản	Phiên bản	Chi phí mỗi giờ	Chi phí
  0,45	US-east-1	đánh giá	ml.m5.2xlarge	0,46 USD	0,35 USD
  Tổng					0,35 USD

• Ví dụ về định giá #18: Đánh giá mô hình nền tảng (đánh giá của con người)

  Trong ví dụ sau đây, một kỹ sư máy học ở Miền Đông Hoa Kỳ (Bắc Virginia) chạy đánh giá của con người về Llama-2-7B để tóm tắt độ chính xác của tác vụ và sử dụng lực lượng lao động tư nhân của họ để đánh giá. Loại phiên bản được đề xuất cho Llama-2-7B là ml.g5.2xlarge. Phiên bản tối thiểu được đề xuất cho Công việc xử lý đánh giá của con người là ml.t3.medium. Suy luận về Llama-2-7B chạy trong 45 phút (phụ thuộc vào kích thước tập dữ liệu). Tập dữ liệu chứa 50 lời nhắc và nhà phát triển yêu cầu 2 nhân viên đánh giá mỗi tập hợp phản hồi câu lệnh (có thể định cấu hình trong quá trình tạo công việc đánh giá dưới dạng tham số “nhân viên trên mỗi câu lệnh”). Sẽ có 100 tác vụ trong công việc đánh giá này (1 tác vụ cho mỗi cặp phản hồi câu lệnh cho mỗi nhân viên: 2 nhân viên x 50 tập hợp phản hồi câu lệnh = 100 tác vụ của con người). Lực lượng lao động con người mất một ngày (24 giờ) để hoàn thành tất cả 100 nhiệm vụ đánh giá của con người trong công việc đánh giá (phụ thuộc vào số lượng và trình độ kỹ năng của nhân viên, và độ dài/độ phức tạp của câu lệnh và phản hồi suy luận).

  Số giờ điện toán	Tác vụ của con người	Khu vực	Loại phiên bản	Phiên bản	Chi phí mỗi giờ	Chi phí cho mỗi tác vụ của con người	Tổng chi phí
  0,45		Miền Đông Hoa Kỳ (Bắc Virginia)	Lưu trữ LLM	ml.g5.2xlarge	1,52 USD		1,14 USD
  24		Miền Đông Hoa Kỳ (Bắc Virginia)	Công việc xử lý	ml.t3.medium	0,05 USD		1,20 USD
  	100	Bất kỳ				0,21 USD	21,00 USD
  Tổng							23,34 USD

  Trong ví dụ tiếp theo, cùng một kỹ sư ở Miền Đông Hoa Kỳ (Bắc Virginia) chạy cùng một công việc đánh giá nhưng sử dụng Llama-2-7B đã được triển khai vào tài khoản của họ và đang chạy. Trong trường hợp này, chi phí gia tăng duy nhất sẽ là cho công việc xử lý đánh giá và các tác vụ của con người.

  Số giờ điện toán	Tác vụ của con người	Khu vực	Loại phiên bản	Phiên bản	Chi phí mỗi giờ	Chi phí cho mỗi tác vụ của con người	Tổng chi phí
  24		Miền Đông Hoa Kỳ (Bắc Virginia)	Công việc xử lý	ml.t3.medium	0,05 USD		1,20 USD
  	100	Bất kỳ				0,21 USD	21,00 USD
  Tổng							22,20 USD