Định giá Amazon Bedrock

Tổng quan về giá cả

Amazon Bedrock là một dịch vụ được quản lý toàn phần cung cấp sự lựa chọn các mô hình nền tảng (FM) hiệu suất cao thông qua một API đơn lẻ, cùng với một loạt tính năng bạn cần để xây dựng các ứng dụng AI tạo sinh với khả năng bảo mật, quyền riêng tư và AI có trách nhiệm.

Khi sử dụng Amazon Bedrock, bạn sẽ bị tính phí suy luận và tùy chỉnh mô hình. Bạn có thể chọn trong số hai gói định giá dành cho suy luận: 1. Theo yêu cầu và hàng loạt: Chế độ này cho phép bạn sử dụng FM trên cơ sở thanh toán theo mức sử dụng mà không phải thực hiện bất kỳ cam kết thời hạn nào dựa trên thời gian. 2. Thông lượng cung cấp: Chế độ này cho phép bạn cung cấp đủ thông lượng để đáp ứng các yêu cầu về hiệu năng của ứng dụng thay cho cam kết thời hạn dựa trên thời gian.

Mô hình định giá

Theo nhu cầu

Với chế độ Theo nhu cầu, bạn chỉ trả tiền cho những gì bạn sử dụng mà không cần cam kết thời hạn dựa trên thời gian. Đối với các mô hình tạo văn bản, bạn bị tính phí cho mỗi token đầu vào được xử lý và mọi token đầu ra được tạo. Đối với các mô hình nhúng, bạn bị tính phí cho mỗi token đầu vào được xử lý. Một token bao gồm một vài ký tự và đề cập đến đơn vị văn bản cơ bản mà mô hình học để hiểu dữ liệu đầu vào và câu lệnh của người dùng. Đối với mô hình tạo hình ảnh, bạn bị tính phí cho mỗi hình ảnh được tạo.

Loạt

Với chế độ Hàng loạt, bạn có thể cung cấp tập hợp câu lệnh dưới dạng một tệp đầu vào duy nhất và nhận phản hồi dưới dạng một tệp đầu ra duy nhất, cho phép bạn thu thập cùng lúc các dự đoán quy mô lớn. Các phản hồi được xử lý và lưu trữ trong vùng lưu trữ Amazon S3 để bạn có thể truy cập chúng sau. Cách định giá cho chế độ Hàng loạt cũng giống như cách định giá cho chế độ Theo nhu cầu.

Thông lượng được cung cấp

Với chế độ Thông lượng được cung cấp, bạn có thể mua các đơn vị mô hình cho một mô hình cơ sở hoặc tùy chỉnh cụ thể. Chế độ Thông lượng được cung cấp được thiết kế chủ yếu cho khối lượng công việc suy luận nhất quán lớn cần thông lượng được đảm bảo. Các mô hình tùy chỉnh chỉ có thể được truy cập bằng Thông lượng được cung cấp. Một đơn vị mô hình cung cấp một thông lượng nhất định, được đo bằng số lượng token đầu vào hoặc đầu ra tối đa được xử lý trong mỗi phút. Với cách định giá Thông lượng được cung cấp, bạn bị tính phí theo giờ và có thể linh hoạt lựa chọn giữa các thời hạn cam kết 1 tháng hoặc 6 tháng.

Tùy chỉnh mô hình

Với Amazon Bedrock, bạn có thể tùy chỉnh FM với dữ liệu của mình để cung cấp các phản hồi phù hợp cho những tác vụ cụ thể và bối cảnh kinh doanh của bạn. Bạn có thể tinh chỉnh các mô hình có dữ liệu được gắn nhãn hoặc tiếp tục huấn luyện trước với dữ liệu không được gắn nhãn. Để tùy chỉnh mô hình tạo văn bản, bạn bị tính phí đào tạo mô hình dựa trên tổng số token được mô hình xử lý (số lượng token trong kho dữ liệu đào tạo x số giai đoạn) và phí lưu trữ mô hình được tính mỗi tháng cho mỗi mô hình. Một giai đoạn là một lần đọc toàn bộ tập dữ liệu đào tạo của bạn trong quá trình tinh chỉnh hoặc đào tạo trước liên tục. Các suy luận sử dụng mô hình tùy chỉnh được tính phí theo gói Thông lượng được cung cấp và yêu cầu bạn mua Thông lượng được cung cấp. Một đơn vị mô hình được cung cấp mà không cần thời hạn cam kết để suy luận trên mô hình tùy chỉnh. Bạn sẽ bị tính phí cho số giờ bạn sử dụng trong đơn vị mô hình đầu tiên để suy luận mô hình tùy chỉnh. Nếu muốn tăng thông lượng của mình vượt quá một đơn vị mô hình, bạn phải mua thời hạn cam kết 1 tháng hoặc 6 tháng.

Đánh giá mô hình

Với đánh giá mô hình trên Amazon Bedrock, bạn trả tiền cho những gì bạn sử dụng mà không cần cam kết về số lượng câu lệnh hoặc phản hồi. Đối với đánh giá tự động, bạn chỉ trả tiền cho suy luận từ lựa chọn mô hình của bạn trong đánh giá. Điểm số thuật toán được tạo tự động được cung cấp mà không tính thêm phí. Đối với đánh giá của con người, trong đó bạn sử dụng nhóm làm việc riêng của mình, bạn sẽ bị tính phí suy luận mô hình trong quá trình đánh giá và khoản phí 0,21 USD cho mỗi nhiệm vụ do người hoàn thành. Tác vụ của con người được định nghĩa là việc một phiên bản nhân viên con người gửi bản đánh giá về một lời nhắc duy nhất cùng các phản hồi suy luận liên quan trong giao diện người dùng đánh giá của con người. Giá cả giống nhau cho dù bạn có một hay hai mô hình trong công việc đánh giá, và cũng giống nhau bất kể bạn đưa vào bao nhiêu số liệu đánh giá và phương pháp xếp hạng. Phí cho các tác vụ của con người sẽ xuất hiện trong phần Amazon SageMaker trong hóa đơn AWS của bạn và giống nhau đối với tất cả Khu vực AWS. Không có phí riêng cho lực lượng lao động, vì lực lượng lao động do chính bạn cung cấp. Đối với đánh giá do AWS quản lý, giá được tùy chỉnh cho nhu cầu đánh giá của bạn trong một tương tác riêng tư khi làm việc với nhóm đánh giá chuyên gia AWS.

Các công cụ mạnh mẽ để xây dựng mà không phải trả thêm phí

Khi sử dụng Tác tử dành cho Amazon Bedrock và Cơ sở kiến thức cho Amazon Bedrock, bạn chỉ bị tính phí cho các mô hình và cơ sở dữ liệu véc-tơ mà bạn sử dụng với các tính năng này.

Bảng phân tích giá

Mức giá phụ thuộc vào phương thức, nhà cung cấp và mô hình. Vui lòng chọn nhà cung cấp mô hình để xem mức giá chi tiết.

AI21 Labs

Định giá theo nhu cầu và theo loạt

Mô hình của AI21 Labs Giá cho mỗi 1.000 token đầu vào Giá cho mỗi 1.000 token đầu ra

Jurassic-2 Mid

0,0125 USD

0,0125 USD

Jurassic-2 Ultra

0,0188 USD

0,0188 USD

Jamba-Instruct

0,0005 USD

0,0007 USD

Amazon

Region

Anthropic

Định giá theo nhu cầu và theo loạt

Khu vực: Miền Đông Hoa Kỳ (Bắc Virginia) và Miền Tây Hoa Kỳ (Oregon)

Mô hình của Anthropic Giá cho mỗi 1.000 token đầu vào Giá cho mỗi 1.000 token đầu ra

Claude 3.5 Sonnet**

0,003 USD

0,015 USD

Claude 3 Opus*

0,015 USD

0,075 USD

Claude 3 Haiku

0,00025 USD

0,00125 USD

Claude 3 Sonnet

0,003 USD

0,015 USD

Claude 2.1

0,008 USD

0,024 USD

Claude 2.0

0,008 USD

0,024 USD

Claude Instant

0,0008 USD

0,0024 USD

*Claude 3 Opus hiện đã có ở Khu vực Miền Tây Hoa Kỳ (Oregon)
**Claude 3.5 Sonnet hiện đã có ở Khu vực Miền Đông Hoa Kỳ (Bắc Virginia)

Khu vực: Châu Âu (London)

Các mô hình của Anthropic Giá cho mỗi 1.000 token đầu vào Giá cho mỗi 1.000 token đầu ra

Claude 3 Sonnet

0,003 USD

0,015 USD

Claude 3 Haiku

0,00025 USD

0,00125 USD

Khu vực: Nam Mỹ (Sao Paolo)

Các mô hình của Anthropic Giá cho mỗi 1.000 token đầu vào Giá cho mỗi 1.000 token đầu ra

Claude 3 Sonnet

0,003 USD

0,015 USD

Claude 3 Haiku

0,00025 USD

0,00125 USD

Khu vực: Canada (Miền Trung)

Các mô hình của Anthropic Giá cho mỗi 1.000 token đầu vào Giá cho mỗi 1.000 token đầu ra

Claude 3 Sonnet

0,003 USD

0,015 USD

Claude 3 Haiku

0,00025 USD

0,00125 USD

Khu vực: Châu Á Thái Bình Dương (Mumbai)

Các mô hình của Anthropic Giá cho mỗi 1.000 token đầu vào Giá cho mỗi 1.000 token đầu ra

Claude 3 Sonnet

0,003 USD

0,015 USD

Claude 3 Haiku

0,00025 USD

0,00125 USD

Khu vực: Châu Á Thái Bình Dương (Sydney)

Các mô hình của Anthropic Giá cho mỗi 1.000 token đầu vào Giá cho mỗi 1.000 token đầu ra

Claude 3 Sonnet

0,003 USD

0,015 USD

Claude 3 Haiku

0,00025 USD

0,00125 USD

Khu vực: Châu Á Thái Bình Dương (Tokyo)

Mô hình của Anthropic Giá cho mỗi 1.000 token đầu vào Giá cho mỗi 1.000 token đầu ra

Claude Instant

0,0008 USD

0,0024 USD

Claude 2.0/2.1

0,008 USD

0,024 USD

Khu vực: Châu Âu (Paris)

Các mô hình của Anthropic Giá cho mỗi 1.000 token đầu vào Giá cho mỗi 1.000 token đầu ra

Claude 3 Sonnet

0,003 USD

0,015 USD

Claude 3 Haiku

0,00025 USD

0,00125 USD

Khu vực: Châu Âu (Frankfurt)

Mô hình của Anthropic Giá cho mỗi 1.000 token đầu vào Giá cho mỗi 1.000 token đầu ra

Claude Instant

0,0008 USD

0,0024 USD

Claude 2.0/2.1

0,008 USD

0,024 USD

Claude 3 Sonnet

0,003 USD

0,015 USD

Claude 3 Haiku

0,00025 USD

0,00125 USD

Giá của thông lượng được cung cấp

Khu vực: Miền Đông Hoa Kỳ (Bắc Virginia) và Miền Tây Hoa Kỳ (Oregon)

Mô hình của Anthropic Giá mỗi giờ cho mỗi mô hình
không có cam kết
Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 1 tháng Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 6 tháng

Claude Instant

44,00 USD

39,60 USD

22,00 USD

Claude 2.0/2.1

70,00 USD

63,00 USD

35,00 USD

Mô hình của Anthropic Giá mỗi giờ cho mỗi mô hình
không có cam kết
Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 1 tháng Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 6 tháng

Claude Instant

44,00 USD

39,60 USD

22,00 USD

Claude 2.0/2.1

70,00 USD

63,00 USD

35,00 USD

Khu vực: Châu Á Thái Bình Dương (Tokyo)

Mô hình của Anthropic Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 1 tháng Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 6 tháng

Claude Instant

53,00 USD

29,00 USD

Claude 2.0/2.1

86,00 USD

48,00 USD

Khu vực: Châu Âu (Frankfurt)

Mô hình của Anthropic Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 1 tháng Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 6 tháng

Claude Instant

49,00 USD

27,00 USD

Claude 2.0/2.1

79,00 USD

44,00 USD

Vui lòng liên hệ với đội ngũ phụ trách tài khoản AWS của bạn để biết thêm thông tin chi tiết về các đơn vị mô hình. 

Cohere

Định giá theo nhu cầu và theo loạt

Mô hình của Cohere Giá cho mỗi 1.000 token đầu vào Giá cho mỗi 1.000 token đầu ra
Command 0,0015 USD 0,0020 USD
Command-Light 0,0003 USD 0,0006 USD
Command R+ 0,0030 USD 0,0150 USD
Command R 0,0005 USD 0,0015 USD
Embed – tiếng Anh 0,0001 USD Không áp dụng
Embed – Đa ngôn ngữ 0,0001 USD Không áp dụng

Định giá tùy chỉnh (tinh chỉnh)

Mô hình của Cohere Giá đào tạo 1.000 token Giá để lưu trữ từng mô hình tùy chỉnh mỗi tháng Giá suy luận từ mô hình tùy chỉnh cho mỗi đơn vị mô hình mỗi giờ (với cách định giá Thông lượng được cung cấp không cam kết)

Cohere Command

0,004 USD

1,95 USD

49,50 USD

Cohere Command-Light 0,001 USD

1,95 USD

8,56 USD

*Tổng số token được đào tạo = số token trong kho dữ liệu đào tạo x số giai đoạn

Giá của thông lượng được cung cấp

Mô hình của Cohere Giá mỗi giờ cho mỗi mô hình 
không có cam kết
Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 1 tháng

Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 6 tháng

Cohere Command

49,50 USD

39,60 USD

23,77 USD

Cohere Command – Light 8,56 USD

6,85 USD

4,11 USD
Embed – tiếng Anh 7,12 USD

6,76 USD

6,41 USD
Embed – Đa ngôn ngữ 7,12 USD

6,76 USD

6,41 USD

Vui lòng liên hệ với đội ngũ tài khoản hoặc bán hàng của AWS để biết thêm thông tin chi tiết về các đơn vị mô hình. 

Meta Llama

Llama 3

Định giá theo nhu cầu và theo loạt

Region

Llama 2

Định giá theo nhu cầu và theo loạt

Khu vực: Miền Đông Hoa Kỳ (Bắc Virginia) và Miền Tây Hoa Kỳ (Oregon)

Mô hình của Meta Giá cho mỗi 1.000 token đầu vào Giá cho mỗi 1.000 token đầu ra

Llama 2 Chat (13B)

0,00075 USD

0,001 USD

Llama 2 Chat (70B)

0,00195 USD

0,00256 USD

Định giá tùy chỉnh mô hình (tinh chỉnh)

Mô hình của Meta Giá đào tạo 1.000 token Giá lưu trữ từng mô hình tùy chỉnh* mỗi tháng Giá suy luận từ mô hình tùy chỉnh cho 1 đơn vị mô hình mỗi giờ (với cách định giá Thông lượng được cung cấp không cam kết)

Llama 2 Pretrained (13B)

0,00149 USD

1,95 USD

23,50 USD

Llama 2 Pretrained (70B)

0,00799 USD

1,95 USD 23,50 USD

*Lưu trữ mô hình tùy chỉnh = 1,95 USD

Giá của thông lượng được cung cấp

Mô hình của Meta Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 1 tháng Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 6 tháng

Llama 2 Pretrained và Chat (13B)

21,18 USD

13,08 USD

Llama 2 Pretrained (70B)

21,18 USD

13,08 USD

*Các mô hình Llama 2 Pre-trained chỉ được cung cấp trong thông lượng được cung cấp sau khi tùy chỉnh. 

Vui lòng liên hệ với đội ngũ tài khoản hoặc bán hàng của AWS để biết thêm thông tin chi tiết về các đơn vị mô hình.

Mistral AI

Region

Stability AI

Định giá theo nhu cầu và theo loạt

Các mô hình hình ảnh do Stability AI cung cấp được định giá cho mỗi hình ảnh, tùy thuộc vào số bước và độ phân giải hình ảnh

Mô hình của Stability AI Độ phân giải hình ảnh Giá cho mỗi hình ảnh được tạo với chất lượng tiêu chuẩn (từ 50 bước trở xuống) Giá cho mỗi hình ảnh được tạo với chất lượng cao (trên 50 bước)

 

SDXL 0.8

512 x 512 hoặc nhỏ hơn

0,018 USD mỗi hình ảnh

0,036 USD mỗi hình ảnh

Lớn hơn 512 x 512

0,036 USD mỗi hình ảnh

0,072 USD mỗi hình ảnh

SDXL 1.0

Tối đa 1024 x 1024

0,04 USD 0,08 USD

Giá của thông lượng được cung cấp

Mô hình của Stability AI Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 1 tháng* Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 6 tháng*

SDXL 1.0

49,86 USD

46,18 USD

*Bao gồm suy luận cho các mô hình cơ sở và tùy chỉnh

Vui lòng liên hệ với đội ngũ tài khoản hoặc bán hàng của AWS để biết thêm thông tin chi tiết về các đơn vị mô hình.

Hiện tại, tính năng tùy chỉnh mô hình (tinh chỉnh) không được hỗ trợ cho các mô hình của Stability AI trên Amazon Bedrock.

Quy tắc bảo vệ dành cho Amazon Bedrock

Định giá theo nhu cầu

Chính sách quy tắc bảo vệ* Giá mỗi 1.000 đơn vị văn bản**

Bộ lọc nội dung

0,75 USD

Chủ đề bị từ chối

1 USD

Bộ lọc thông tin nhạy cảm (PII)

0,10 USD

Bộ lọc thông tin nhạy cảm (biểu thức chính quy)  Miễn phí
Bộ lọc từ

Miễn phí

* Mỗi chính sách quy tắc bảo vệ đều không bắt buộc và có thể được kích hoạt dựa trên các yêu cầu của ứng dụng. Phí sẽ được tính dựa trên loại chính sách dùng trong quy tắc bảo vệ. Ví dụ: nếu quy tắc bảo vệ được cấu hình theo bộ lọc nội dung và chủ đề bị từ chối, thì hai chính sách này sẽ bị tính phí, đồng thời sẽ không có khoản phí nào liên quan đến các bộ lọc thông tin nhạy cảm.

**Một đơn vị văn bản có thể chứa lên đến 1000 ký tự. Nếu văn bản đầu vào nhiều hơn 1000 ký tự, thì dữ liệu đó được xử lý dưới dạng nhiều đơn vị văn bản, mỗi đơn vị chứa 1000 ký tự trở xuống. Ví dụ: nếu văn bản đầu vào chứa 5600 ký tự thì sẽ bị tính phí 6 đơn vị văn bản.


Quy tắc bảo vệ không được hỗ trợ hình ảnh và dữ liệu nhúng.

Ví dụ về giá

  • Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình Jurrasic-2 Mid của AI21 để tóm tắt đầu vào gồm 10000 token văn bản đầu vào thành đầu ra gồm 2000 token.

    Tổng chi phí phát sinh = 10000 token/1000 * 0,0125 USD + 2000 token/1000 * 0,0125 USD = 0,15 USD

  • Định giá theo nhu cầu

    Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock mỗi giờ: yêu cầu tới mô hình Amazon Titan Text Lite để tóm tắt đầu vào gồm 2.000 token văn bản đầu vào thành đầu ra gồm 1.000 token.

    Tổng chi phí phát sinh hàng giờ = 2.000 token/1.000 * 0,0003 USD + 1.000 token/1.000 * 0,0004 USD = 0,001 USD.

    Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình cơ sở của Trình tạo hình ảnh Amazon Titan để tạo 1000 hình ảnh cỡ 1024 x 1024 với chất lượng tiêu chuẩn.

    Tổng chi phí phát sinh = 1.000 hình ảnh * 0,01 USD trên mỗi hình ảnh = 10 USD

    Giá tùy chỉnh (tinh chỉnh và đào tạo trước liên tục)

    Nhà phát triển ứng dụng tùy chỉnh mô hình Trình tạo hình ảnh Amazon Titan bằng 1000 cặp hình ảnh – văn bản. Sau khi đào tạo, nhà phát triển sử dụng thông lượng được cung cấp của mô hình tùy chỉnh trong 1 giờ để đánh giá hiệu năng của mô hình. Mô hình đã tinh chỉnh được lưu trữ trong 1 tháng. Sau khi đánh giá, nhà phát triển sử dụng thông lượng được cung cấp (kỳ hạn cam kết 1 tháng) để lưu trữ mô hình tùy chỉnh.

    Chi phí hàng tháng phát sinh cho hoạt động tinh chỉnh = đào tạo tinh chỉnh (0,005 USD * 500 * 64), trong đó 0,005 USD là giá mỗi hình ảnh nhìn thấy, 500 là số bước và 64 là kích cỡ loạt + lưu trữ mô hình tùy chỉnh mỗi tháng (1,95 USD) + 1 giờ suy luận mô hình tùy chỉnh (21 USD) = 160 USD + 1,95 USD + 21 = 182,95 USD

    Giá của thông lượng được cung cấp

    Nhà phát triển ứng dụng mua hai đơn vị mô hình Amazon Titan Text Express với cam kết 1 tháng cho trường hợp sử dụng tóm tắt văn bản của họ.

    Tổng chi phí phát sinh hàng tháng = 2 đơn vị mô hình * 18,40 USD/giờ * 24 giờ * 31 ngày = 27.379,20 USD

    Nhà phát triển ứng dụng mua một đơn vị mô hình của mô hình Trình tạo hình ảnh Amazon Titan cơ sở với cam kết 1 tháng.

    Tổng chi phí phát sinh = 1 đơn vị mô hình * 16,2 USD * 24 giờ * 31 ngày = 12.052,8 USD

  • Định giá theo nhu cầu

    Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock trong Khu vực Miền Tây Hoa Kỳ (Oregon): yêu cầu tới mô hình Claude của Anthropic để tóm tắt đầu vào gồm 11.000 token văn bản đầu vào thành đầu ra gồm 4.000 token.

    Tổng chi phí phát sinh = 11.000 token/1000 * 0,008 USD + 4.000 token/1000 * 0,024 USD = 0,088 USD + 0,096 USD = 0,184 USD

    Giá của thông lượng được cung cấp

    Nhà phát triển ứng dụng mua một đơn vị mô hình Claude Instant của Anthropic trong Khu vực Miền Tây Hoa Kỳ (Oregon):

    Tổng chi phí phát sinh hàng tháng = 1 đơn vị mô hình * 39,6 USD * 24 giờ * 31 ngày = 29.462,4 USD

  • Định giá theo nhu cầu

    Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình Command của Cohere để tóm tắt đầu vào gồm 6.000 token văn bản đầu vào thành đầu ra gồm 2.000 token.

    Tổng chi phí phát sinh = 6.000 token/1.000 * 0,0015 USD + 2.000 token/1.000 * 0,0020 USD = 0,013 USD

    Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình Command – Light của Cohere để tóm tắt đầu vào gồm 6.000 token văn bản đầu vào thành đầu ra gồm 2.000 token.

    Tổng chi phí phát sinh = 6.000 token/1000 * 0,0003 USD + 2.000 token/1000 * 0,0006 USD = 0,003 USD

    Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình Embed tiếng Anh hoặc đa ngôn ngữ của Cohere để tạo ra các phần nhúng cho 10000 token đầu vào.

    Tổng chi phí phát sinh = 10000 token/1000 * 0,0001 USD = 0,001 USD

    Giá tùy chỉnh (tinh chỉnh)

    Nhà phát triển ứng dụng tùy chỉnh mô hình Command của Cohere bằng 1000 token dữ liệu. Sau khi đào tạo, hãy sử dụng thông lượng được cung cấp của mô hình tùy chỉnh trong 1 giờ để đánh giá hiệu năng của mô hình. Mô hình đã tinh chỉnh được lưu trữ trong 1 tháng. Sau khi đánh giá, nhà phát triển sử dụng thông lượng được cung cấp (cam kết 1 tháng) để lưu trữ mô hình tùy chỉnh.

    Chi phí phát sinh hàng tháng cho hoạt động tinh chỉnh = đào tạo tinh chỉnh (0,004 USD * 1000) + lưu trữ mô hình tùy chỉnh mỗi tháng (1,95 USD) + 1 giờ suy luận mô hình tùy chỉnh (49,5 USD) = 55,45 USD

    Chi phí phát sinh hàng tháng cho thông lượng được cung cấp (cam kết 1 tháng) của mô hình tùy chỉnh = 39,6 USD

    Giá của thông lượng được cung cấp

    Nhà phát triển ứng dụng mua một đơn vị mô hình Command của Cohere với cam kết 1 tháng cho trường hợp sử dụng tóm tắt văn bản của họ.

    Tổng chi phí phát sinh hàng tháng = 1 đơn vị mô hình * 39,6 USD * 24 giờ * 31 ngày = 29.462,4 USD

  • Định giá theo nhu cầu

    Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình Llama 2 Chat (13B) của Meta để tóm tắt đầu vào gồm 2.000 token văn bản đầu vào thành đầu ra gồm 500 token.

    Tổng chi phí phát sinh = 2.000 token/1000 * 0,00075 USD + 500 token/1000 * 0,001 USD = 0,002 USD

    Giá tùy chỉnh (tinh chỉnh)

    Nhà phát triển ứng dụng tùy chỉnh mô hình Llama 2 Pre-trained (70B) bằng 1000 token dữ liệu. Sau khi đào tạo, hãy sử dụng thông lượng được cung cấp của mô hình tùy chỉnh trong 1 giờ để đánh giá hiệu năng của mô hình. Mô hình đã tinh chỉnh được lưu trữ trong 1 tháng. Sau khi đánh giá, nhà phát triển sử dụng thông lượng được cung cấp (cam kết 1 tháng) để lưu trữ mô hình tùy chỉnh.

    Chi phí phát sinh hàng tháng cho hoạt động tinh chỉnh = đào tạo tinh chỉnh (0,00799 USD * 1000) + lưu trữ mô hình tùy chỉnh mỗi tháng (1,95 USD) + 1 giờ suy luận mô hình tùy chỉnh (23,5 USD) = 33,44 USD

    Chi phí phát sinh hàng tháng cho thông lượng được cung cấp (cam kết 1 tháng) của mô hình tùy chỉnh = 21,18 USD

    Giá của thông lượng được cung cấp

    Nhà phát triển ứng dụng mua một đơn vị mô hình Llama 2 của Meta với cam kết 1 tháng cho trường hợp sử dụng tóm tắt văn bản của họ.

    Tổng chi phí phát sinh hàng tháng = 1 đơn vị mô hình * 21,18 USD * 24 giờ * 31 ngày = 15.757,92 USD

  • Định giá theo nhu cầu

    Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock mỗi giờ: yêu cầu tới mô hình Mistral 7B để tóm tắt đầu vào gồm 2.000 token văn bản đầu vào thành đầu ra gồm 1000 token.

    Tổng chi phí phát sinh hàng giờ = 2000 token/1000 * 0,00015 USD + 1000 token/1.000 * 0,0002 USD = 0,0005 USD

    Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock mỗi giờ: yêu cầu tới mô hình Mixtral 8x7B để tóm tắt đầu vào gồm 2000 token văn bản đầu vào thành đầu ra gồm 1000 token.

    Tổng chi phí phát sinh hàng giờ = 2000 token/1000 * 0,00045 USD + 1000 token/1000 * 0,0007 USD = 0,0016 USD

    Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock mỗi giờ: yêu cầu tới mô hình Mistral Large để tóm tắt dữ liệu đầu vào gồm 2000 token văn bản đầu vào thành đầu ra gồm 1000 token. 

    Tổng chi phí phát sinh hàng giờ = 2000 token/1000 * 0,008 USD + 1000 token/1.000 * 0,024 USD = 0,04 USD

  • Định giá theo nhu cầu

    Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình SDXL để tạo hình ảnh cỡ 512 x 512 với kích thước bước là 70 (chất lượng cao).

    Tổng chi phí phát sinh = 1 hình ảnh * 0,036 USD mỗi hình ảnh = 0,036 USD

    Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình SDXL 1.0 để tạo hình ảnh cỡ 1024 x 1024 với kích thước bước là 70 (chất lượng cao).

    Tổng chi phí phát sinh = 1 hình ảnh * 0,08 USD mỗi hình ảnh = 0,08 USD

    Giá của thông lượng được cung cấp

    Nhà phát triển ứng dụng mua một đơn vị mô hình của SDXL 1.0 với cam kết 1 tháng.

    Tổng chi phí phát sinh = 1 * 49,86 USD * 24 giờ * 31 ngày = 37.095,84 USD

  • Ví dụ về đánh giá mô hình 1:

    Định giá theo nhu cầu
    Nhà phát triển ứng dụng gửi tập dữ liệu dành cho đánh giá mô hình do con người thực hiện bằng Anthropic Claude 2.1 và Anthropic Claude Instant tại Khu vực AWS Miền Đông Hoa Kỳ (Bắc Virginia).

    Tập dữ liệu này chứa 50 câu lệnh và nhà phát triển yêu cầu một nhân viên đánh giá mỗi tập hợp phản hồi-câu lệnh (có thể cấu hình trong quá trình tạo công việc đánh giá dưới dạng thông số “nhân viên trên mỗi câu lệnh”).

    Sẽ có 50 tác vụ trong công việc đánh giá này (một tác vụ cho mỗi bộ phản hồi-câu lệnh cho mỗi nhân viên). 50 câu lệnh kết hợp với 5000 token đầu vào và các phản hồi liên quan kết hợp với 15.000 token cho Anthropic Claude Instant và 20000 token cho Anthropic Claude 2.1.

    Các khoản phí sau đây phát sinh cho công việc đánh giá mô hình này:

    Mục Số lượng token đầu vào Giá cho mỗi 1.000 token đầu vào Chi phí đầu vào Số lượng token đầu ra Giá cho mỗi 1.000 token đầu ra Chi phí đầu ra Số tác vụ của con người Giá cho mỗi tác vụ của con người Chi phí tác vụ của con người Tổng
    Suy luận Claude Instant 5.000 0,0008 USD 0,004 USD 15000 0,0024 USD 0,036 USD       0,04 USD
    Claude 2.1 Inference 5000 0,008 USD 0,04 USD 20000 0,024 USD 0,48 USD       0,52 USD
    Tác vụ do con người thực hiện             50 0,21 USD 10,50 USD 10,50 USD
    Tổng                   11,06 USD

    Ví dụ về đánh giá mô hình 2:

    Định giá theo nhu cầu
    Nhà phát triển ứng dụng gửi tập dữ liệu dành cho đánh giá mô hình do con người thực hiện bằng Anthropic Claude 2.1 và Anthropic Claude Instant tại Khu vực AWS Miền Đông Hoa Kỳ (Bắc Virginia).

    Tập dữ liệu này chứa 50 câu lệnh và nhà phát triển yêu cầu hai nhân viên đánh giá mỗi tập hợp phản hồi-câu lệnh (có thể cấu hình trong quá trình tạo công việc đánh giá dưới dạng thông số “nhân viên trên mỗi câu lệnh”). Sẽ có 100 tác vụ trong công việc đánh giá này (1 tác vụ cho mỗi bộ phản hồi-câu lệnh cho mỗi nhân viên: 2 nhân viên x 50 tập hợp phản hồi câu lệnh = 100 tác vụ của con người).

    50 câu lệnh kết hợp với 5000 token đầu vào và các phản hồi liên quan kết hợp với 15000 token cho Anthropic Claude Instant và 20000 token cho Anthropic Claude 2.1.

    Các khoản phí sau đây phát sinh cho công việc đánh giá mô hình này:

    Mục Số lượng token đầu vào Giá cho mỗi 1.000 token đầu vào Chi phí đầu vào Số lượng token đầu ra Giá cho mỗi 1.000 token đầu ra Chi phí đầu ra Số tác vụ của con người Giá cho mỗi tác vụ của con người Chi phí tác vụ của con người Tổng
    Suy luận Claude Instant 5.000 0.0008 USD 0,0040 USD 15.000 0,0024 USD 0,036 USD       0,04 USD
    Claude 2.1 Inference 5000 0,008 USD 0,0400 USD 20000 0,024 USD 0,48 USD       0,52 USD
    Tác vụ do con người thực hiện             100 0,21 USD 21,00 USD 21,00 USD
    Tổng                   21,56 USD
  • Ví dụ 1: Chatbot hỗ trợ khách hàng
    Một nhà phát triển ứng dụng tạo một chatbot hỗ trợ khách hàng và sử dụng các bộ lọc nội dung để chặn nội dung gây hại và các chủ đề bị từ chối nhằm lọc các truy vấn và phản hồi không mong muốn.

    Chatbot phục vụ 1000 truy vấn của người dùng mỗi giờ. Mỗi truy vấn người dùng có độ dài đầu vào trung bình là 200 ký tự và nhận được phản hồi FM gồm 1500 ký tự.

    Mỗi truy vấn của người dùng gồm 200 ký tự tương ứng với 1 đơn vị văn bản.

    Mỗi phản hồi FM gồm 1.500 ký tự tương ứng với 2 đơn vị văn bản.

    Đơn vị văn bản được xử lý mỗi giờ = (1 + 2) * 1000 truy vấn = 3000 đơn vị văn bản

    Tổng chi phí phát sinh mỗi giờ cho bộ lọc nội dung và chủ đề bị từ chối = 3000 * (0,75 USD + 1 USD) / 1000 = 5,25 USD

     

    Ví dụ 2: Tóm tắt bản ghi trung tâm cuộc gọi
    Một nhà phát triển ứng dụng tạo một ứng dụng để tóm tắt bản ghi cuộc trò chuyện giữa người dùng và nhân viên hỗ trợ. Ứng dụng đó sử dụng bộ lọc thông tin nhạy cảm để biên tập thông tin nhận dạng cá nhân (PII) trong các bản tóm tắt được tạo cho 10000 cuộc hội thoại.

    Mỗi bản tóm tắt được tạo có trung bình 3.500 ký tự tương ứng với 4 đơn vị văn bản.

    Tổng chi phí phát sinh để tóm tắt 10000 cuộc hội thoại = 10000 * 4 * (0,1 USD / 1000) = 4 USD

    Mục Số lượng token đầu vào Giá cho mỗi 1.000 token đầu vào Chi phí đầu vào Số lượng token đầu ra Giá cho mỗi 1.000 token đầu ra Chi phí đầu ra Số tác vụ của con người Giá cho mỗi tác vụ của con người Chi phí tác vụ của con người Tổng
    Suy luận Claude Instant 5.000 0,0008 USD 0,004 USD 15000 0,0024 USD 0,036 USD       0,04 USD
    Claude 2.1 Inference 5000 0,008 USD 0,04 USD 20000 0,024 USD 0,48 USD       0,52 USD
    Tác vụ do con người thực hiện             100 0,21 USD 21,00 USD 21,00 USD
    Tổng                   21,56 USD