Định giá Amazon Bedrock
Tổng quan về giá cả
Amazon Bedrock là một dịch vụ được quản lý toàn phần cung cấp sự lựa chọn các mô hình nền tảng (FM) hiệu suất cao thông qua một API đơn lẻ, cùng với một loạt tính năng bạn cần để xây dựng các ứng dụng AI tạo sinh với khả năng bảo mật, quyền riêng tư và AI có trách nhiệm.
Khi sử dụng Amazon Bedrock, bạn sẽ bị tính phí suy luận và tùy chỉnh mô hình. Bạn có thể chọn trong số hai gói định giá dành cho suy luận: 1. Theo yêu cầu và hàng loạt: Chế độ này cho phép bạn sử dụng FM trên cơ sở thanh toán theo mức sử dụng mà không phải thực hiện bất kỳ cam kết thời hạn nào dựa trên thời gian. 2. Thông lượng cung cấp: Chế độ này cho phép bạn cung cấp đủ thông lượng để đáp ứng các yêu cầu về hiệu năng của ứng dụng thay cho cam kết thời hạn dựa trên thời gian.
Mô hình định giá
Theo nhu cầu
Với chế độ Theo nhu cầu, bạn chỉ trả tiền cho những gì bạn sử dụng mà không cần cam kết thời hạn dựa trên thời gian. Đối với các mô hình tạo văn bản, bạn bị tính phí cho mỗi token đầu vào được xử lý và mọi token đầu ra được tạo. Đối với các mô hình nhúng, bạn bị tính phí cho mỗi token đầu vào được xử lý. Một token bao gồm một vài ký tự và đề cập đến đơn vị văn bản cơ bản mà mô hình học để hiểu dữ liệu đầu vào và câu lệnh của người dùng. Đối với các mô hình tạo hình ảnh, bạn sẽ bị tính phí cho mỗi hình ảnh được tạo. Suy luận liên khu vực: Chế độ Theo nhu cầu cũng hỗ trợ khả năng suy luận liên khu vực đối với một số mô hình. Chế độ này cho phép các nhà phát triển quản lý lưu lượng truy cập đột biến một cách liền mạch bằng cách sử dụng điện toán trên các Khu vực AWS khác nhau và đạt giới hạn thông lượng cao hơn cùng khả năng phục hồi nâng cao. Không tính thêm phí khi sử dụng suy luận liên khu vực và giá được tính dựa trên khu vực nơi bạn thực hiện yêu cầu (khu vực nguồn).
Thông lượng được cung cấp
Với chế độ Thông lượng được cung cấp, bạn có thể mua các đơn vị mô hình cho một mô hình cơ sở hoặc tùy chỉnh cụ thể. Chế độ Thông lượng được cung cấp được thiết kế chủ yếu cho khối lượng công việc suy luận nhất quán lớn cần thông lượng được đảm bảo. Các mô hình tùy chỉnh chỉ có thể được truy cập bằng Thông lượng được cung cấp. Một đơn vị mô hình cung cấp một thông lượng nhất định, được đo bằng số lượng token đầu vào hoặc đầu ra tối đa được xử lý trong mỗi phút. Với cách định giá Thông lượng được cung cấp, bạn bị tính phí theo giờ và có thể linh hoạt lựa chọn giữa các thời hạn cam kết 1 tháng hoặc 6 tháng.
Tùy chỉnh mô hình
Với Amazon Bedrock, bạn có thể tùy chỉnh FM với dữ liệu của mình để cung cấp các phản hồi phù hợp cho những tác vụ cụ thể và bối cảnh kinh doanh của bạn. Bạn có thể tinh chỉnh các mô hình có dữ liệu được gắn nhãn hoặc tiếp tục huấn luyện trước với dữ liệu không được gắn nhãn. Để tùy chỉnh mô hình tạo văn bản, bạn bị tính phí đào tạo mô hình dựa trên tổng số token được mô hình xử lý (số lượng token trong kho dữ liệu đào tạo x số giai đoạn) và phí lưu trữ mô hình được tính mỗi tháng cho mỗi mô hình. Một giai đoạn là một lần đọc toàn bộ tập dữ liệu đào tạo của bạn trong quá trình tinh chỉnh hoặc đào tạo trước liên tục. Các suy luận sử dụng mô hình tùy chỉnh được tính phí theo gói Thông lượng được cung cấp và yêu cầu bạn mua Thông lượng được cung cấp. Một đơn vị mô hình được cung cấp mà không cần thời hạn cam kết để suy luận trên mô hình tùy chỉnh. Bạn sẽ bị tính phí cho số giờ bạn sử dụng trong đơn vị mô hình đầu tiên để suy luận mô hình tùy chỉnh. Nếu muốn tăng thông lượng của mình vượt quá một đơn vị mô hình, bạn phải mua thời hạn cam kết 1 tháng hoặc 6 tháng.
Hàng loạt
Với chế độ Hàng loạt, bạn có thể cung cấp tập hợp câu lệnh dưới dạng một tệp đầu vào duy nhất và nhận phản hồi dưới dạng một tệp đầu ra duy nhất, cho phép bạn thu thập cùng lúc các dự đoán quy mô lớn. Các phản hồi được xử lý và lưu trữ trong vùng lưu trữ Amazon S3 để bạn có thể truy cập chúng sau. Amazon Bedrock cung cấp các mô hình nền tảng (FM) được chọn lọc từ những nhà cung cấp AI hàng đầu như Anthropic, Meta, Mistral AI và Amazon để suy luận hàng loạt với mức giá thấp hơn 50% so với giá suy luận theo yêu cầu. Vui lòng tham khảo danh sách mô hình tại đây.
Đánh giá mô hình
Với đánh giá mô hình trên Amazon Bedrock, bạn trả tiền cho những gì bạn sử dụng mà không cần cam kết về số lượng câu lệnh hoặc phản hồi. Đối với đánh giá tự động, bạn chỉ trả tiền cho suy luận từ lựa chọn mô hình của bạn trong đánh giá. Điểm số thuật toán được tạo tự động được cung cấp mà không tính thêm phí. Đối với đánh giá của con người, trong đó bạn sử dụng nhóm làm việc riêng của mình, bạn sẽ bị tính phí suy luận mô hình trong quá trình đánh giá và khoản phí 0,21 USD cho mỗi nhiệm vụ do người hoàn thành. Tác vụ của con người được định nghĩa là việc một phiên bản nhân viên con người gửi bản đánh giá về một lời nhắc duy nhất cùng các phản hồi suy luận liên quan trong giao diện người dùng đánh giá của con người. Giá cả giống nhau cho dù bạn có một hay hai mô hình trong công việc đánh giá, và cũng giống nhau bất kể bạn đưa vào bao nhiêu số liệu đánh giá và phương pháp xếp hạng. Phí cho các tác vụ của con người sẽ xuất hiện trong phần Amazon SageMaker trong hóa đơn AWS của bạn và giống nhau đối với tất cả Khu vực AWS. Không có phí riêng cho lực lượng lao động, vì lực lượng lao động do chính bạn cung cấp. Đối với đánh giá do AWS quản lý, giá được tùy chỉnh cho nhu cầu đánh giá của bạn trong một tương tác riêng tư khi làm việc với nhóm đánh giá chuyên gia AWS.
Các công cụ mạnh mẽ để xây dựng mà không phải trả thêm phí
Khi sử dụng Tác tử Amazon Bedrock và Cơ sở kiến thức của Amazon Bedrock, bạn chỉ bị tính phí cho các mô hình và cơ sở dữ liệu véc-tơ mà bạn sử dụng với các tính năng này.
Bảng phân tích giá
Mức giá phụ thuộc vào phương thức, nhà cung cấp và mô hình. Vui lòng chọn nhà cung cấp mô hình để xem mức giá chi tiết.
Amazon Bedrock cung cấp các mô hình nền tảng (FM) được chọn lọc từ những nhà cung cấp AI hàng đầu như Anthropic, Meta, Mistral AI và Amazon để suy luận hàng loạt với mức giá thấp hơn 50% so với giá suy luận theo yêu cầu. Vui lòng tham khảo danh sách mô hình tại đây.
AI21 Labs
Định giá theo nhu cầu
Mô hình của AI21 Labs | Giá cho mỗi 1.000 token đầu vào | Giá cho mỗi 1.000 token đầu ra |
Jamba 1.5 Large |
0,002 USD |
0,008 USD |
Jamba 1.5 Mini |
0,0002 USD |
0,0004 USD |
Jurassic-2 Mid |
0,0125 USD |
0,0125 USD |
Jurassic-2 Ultra |
0,0188 USD |
0,0188 USD |
Jamba-Instruct |
0,0005 USD |
0,0007 USD |
Amazon
Anthropic
Định giá theo nhu cầu
Khu vực: Miền Đông Hoa Kỳ (Bắc Virginia) và Miền Tây Hoa Kỳ (Oregon)
Mô hình của Anthropic | Giá cho mỗi 1.000 token đầu vào | Giá cho mỗi 1.000 token đầu ra |
Claude 3.5 Sonnet |
0,003 USD |
0,015 USD |
Claude 3 Opus* |
0,015 USD |
0,075 USD |
Claude 3 Haiku |
0,00025 USD |
0,00125 USD |
Claude 3 Sonnet |
0,003 USD |
0,015 USD |
Claude 2.1 |
0,008 USD |
0,024 USD |
Claude 2.0 |
0,008 USD |
0,024 USD |
Claude Instant |
0,0008 USD |
0,0024 USD |
*Claude 3 Opus hiện đã có ở Khu vực Miền Tây Hoa Kỳ (Oregon) |
Khu vực: Châu Âu (London)
Các mô hình của Anthropic | Giá cho mỗi 1.000 token đầu vào | Giá cho mỗi 1.000 token đầu ra |
Claude 3 Sonnet |
0,003 USD |
0,015 USD |
Claude 3 Haiku |
0,00025 USD |
0,00125 USD |
Khu vực: Nam Mỹ (Sao Paolo)
Các mô hình của Anthropic | Giá cho mỗi 1.000 token đầu vào | Giá cho mỗi 1.000 token đầu ra |
Claude 3 Sonnet |
0,003 USD |
0,015 USD |
Claude 3 Haiku |
0,00025 USD |
0,00125 USD |
Khu vực: Canada (Miền Trung)
Các mô hình của Anthropic | Giá cho mỗi 1.000 token đầu vào | Giá cho mỗi 1.000 token đầu ra |
Claude 3 Sonnet |
0,003 USD |
0,015 USD |
Claude 3 Haiku |
0,00025 USD |
0,00125 USD |
Khu vực: Châu Á Thái Bình Dương (Mumbai)
Các mô hình của Anthropic | Giá cho mỗi 1.000 token đầu vào | Giá cho mỗi 1.000 token đầu ra |
Claude 3 Sonnet |
0,003 USD |
0,015 USD |
Claude 3 Haiku |
0,00025 USD |
0,00125 USD |
Khu vực: Châu Á Thái Bình Dương (Sydney)
Các mô hình của Anthropic | Giá cho mỗi 1.000 token đầu vào | Giá cho mỗi 1.000 token đầu ra |
Claude 3 Sonnet |
0,003 USD |
0,015 USD |
Claude 3 Haiku |
0,00025 USD |
0,00125 USD |
Khu vực: Châu Á Thái Bình Dương (Tokyo)
Mô hình của Anthropic | Giá cho mỗi 1.000 token đầu vào | Giá cho mỗi 1.000 token đầu ra |
Claude Instant |
0,0008 USD |
0,0024 USD |
Claude 2.0/2.1 |
0,008 USD |
0,024 USD |
Claude 3 Haiku |
0,00025 USD |
0,00125 USD |
Claude 3.5 Sonnet |
0,003 USD |
0,015 USD |
Khu vực: Châu Á Thái Bình Dương (Singapore)
Các mô hình của Anthropic | Giá cho mỗi 1.000 token đầu vào | Giá cho mỗi 1.000 token đầu ra |
Claude Instant |
0,0008 USD |
0,0024 USD |
Claude 2.0/2.1 |
0,008 USD |
0,024 USD |
Claude 3 Haiku |
0,00025 USD |
0,00125 USD |
Claude 3.5 Sonnet |
0,003 USD |
0,015 USD |
Khu vực: Châu Âu (Paris)
Các mô hình của Anthropic | Giá cho mỗi 1.000 token đầu vào | Giá cho mỗi 1.000 token đầu ra |
Claude 3 Sonnet |
0,003 USD |
0,015 USD |
Claude 3 Haiku |
0,00025 USD |
0,00125 USD |
Khu vực: Châu Âu (Frankfurt)
Mô hình của Anthropic | Giá cho mỗi 1.000 token đầu vào | Giá cho mỗi 1.000 token đầu ra |
Claude Instant |
0,0008 USD |
0,0024 USD |
Claude 2.0/2.1 |
0,008 USD |
0,024 USD |
Claude 3 Sonnet |
0,003 USD |
0,015 USD |
Claude 3.5 Sonnet |
0,003 USD |
0,015 USD |
Claude 3 Haiku |
0,00025 USD |
0,00125 USD |
Giá của thông lượng được cung cấp
Khu vực: Miền Đông Hoa Kỳ (Bắc Virginia) và Miền Tây Hoa Kỳ (Oregon)
Mô hình của Anthropic | Giá mỗi giờ cho mỗi mô hình không có cam kết |
Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 1 tháng | Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 6 tháng |
Claude Instant |
44,00 USD | 39,60 USD |
22,00 USD |
Claude 2.0/2.1 |
70,00 USD | 63,00 USD |
35,00 USD |
Mô hình của Anthropic | Giá mỗi giờ cho mỗi mô hình không có cam kết |
Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 1 tháng | Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 6 tháng |
Claude Instant |
44,00 USD | 39,60 USD |
22,00 USD |
Claude 2.0/2.1 |
70,00 USD | 63,00 USD |
35,00 USD |
Khu vực: Châu Á Thái Bình Dương (Tokyo)
Mô hình của Anthropic | Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 1 tháng | Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 6 tháng |
Claude Instant |
53,00 USD |
29,00 USD |
Claude 2.0/2.1 |
86,00 USD |
48,00 USD |
Khu vực: Châu Âu (Frankfurt)
Mô hình của Anthropic | Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 1 tháng | Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 6 tháng |
Claude Instant |
49,00 USD |
27,00 USD |
Claude 2.0/2.1 |
79,00 USD |
44,00 USD |
Vui lòng liên hệ với đội ngũ phụ trách tài khoản AWS của bạn để biết thêm thông tin chi tiết về các đơn vị mô hình.
Cohere
Định giá theo nhu cầu
Mô hình của Cohere | Giá cho mỗi 1.000 token đầu vào | Giá cho mỗi 1.000 token đầu ra |
Command | 0,0015 USD | 0,0020 USD |
Command-Light | 0,0003 USD | 0,0006 USD |
Command R+ | 0,0030 USD | 0,0150 USD |
Command R | 0,0005 USD | 0,0015 USD |
Embed – tiếng Anh | 0,0001 USD | Không áp dụng |
Embed – Đa ngôn ngữ | 0,0001 USD | Không áp dụng |
Định giá tùy chỉnh (tinh chỉnh)
Mô hình của Cohere | Giá đào tạo 1.000 token | Giá để lưu trữ từng mô hình tùy chỉnh mỗi tháng | Giá suy luận từ mô hình tùy chỉnh cho mỗi đơn vị mô hình mỗi giờ (với cách định giá Thông lượng được cung cấp không cam kết) |
Cohere Command |
0,004 USD |
1,95 USD |
49,50 USD |
Cohere Command-Light | 0,001 USD | 1,95 USD |
8,56 USD |
*Tổng số token được đào tạo = số token trong kho dữ liệu đào tạo x số giai đoạn
Giá của thông lượng được cung cấp
Mô hình của Cohere | Giá mỗi giờ cho mỗi mô hình không có cam kết |
Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 1 tháng | Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 6 tháng |
Cohere Command |
49,50 USD | 39,60 USD |
23,77 USD |
Cohere Command – Light | 8,56 USD | 6,85 USD |
4,11 USD |
Embed – tiếng Anh | 7,12 USD | 6,76 USD |
6,41 USD |
Embed – Đa ngôn ngữ | 7,12 USD | 6,76 USD |
6,41 USD |
Vui lòng liên hệ với đội ngũ tài khoản hoặc bán hàng của AWS để biết thêm thông tin chi tiết về các đơn vị mô hình.
Meta Llama
Llama 3.2
Định giá theo nhu cầu
Llama 3.1
Định giá theo nhu cầu
Llama 3
Định giá theo nhu cầu
Llama 2
Định giá theo nhu cầu
Khu vực: Miền Đông Hoa Kỳ (Bắc Virginia) và Miền Tây Hoa Kỳ (Oregon)
Mô hình của Meta | Giá cho mỗi 1.000 token đầu vào | Giá cho mỗi 1.000 token đầu ra |
Llama 2 Chat (13B) |
0,00075 USD |
0,001 USD |
Llama 2 Chat (70B) | 0,00195 USD |
0,00256 USD |
Định giá tùy chỉnh mô hình (tinh chỉnh)
Mô hình của Meta | Giá đào tạo 1.000 token | Giá lưu trữ từng mô hình tùy chỉnh* mỗi tháng | Giá suy luận từ mô hình tùy chỉnh cho 1 đơn vị mô hình mỗi giờ (với cách định giá Thông lượng được cung cấp không cam kết) |
Llama 2 Pretrained (13B) |
0,00149 USD |
1,95 USD |
23,50 USD |
Llama 2 Pretrained (70B) | 0,00799 USD |
1,95 USD | 23,50 USD |
*Lưu trữ mô hình tùy chỉnh = 1,95 USD
Giá của thông lượng được cung cấp
Mô hình của Meta | Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 1 tháng | Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 6 tháng |
Llama 2 Pretrained và Chat (13B) |
21,18 USD |
13,08 USD |
Llama 2 Pretrained (70B) | 21,18 USD |
13,08 USD |
*Các mô hình Llama 2 Pre-trained chỉ được cung cấp trong thông lượng được cung cấp sau khi tùy chỉnh.
Vui lòng liên hệ với đội ngũ tài khoản hoặc bán hàng của AWS để biết thêm thông tin chi tiết về các đơn vị mô hình.
Mistral AI
Stability AI
Định giá theo nhu cầu
Mô hình của Stability AI | Giá cho mỗi hình ảnh được tạo |
Stable Image Core | 0,04 USD |
SD3 Large | 0,08 USD |
Stable Image Ultra | 0,14 USD |
Khả năng tạo mô hình hình ảnh trước đây do Stability AI cung cấp được định giá cho mỗi hình ảnh, tùy thuộc vào số bước và độ phân giải hình ảnh.
Mô hình của Stability AI | Độ phân giải hình ảnh | Giá cho mỗi hình ảnh được tạo với chất lượng tiêu chuẩn (từ 50 bước trở xuống) | Giá cho mỗi hình ảnh được tạo với chất lượng cao (trên 50 bước) |
SDXL 1.0 | Tối đa 1024 x 1024 | 0,04 USD | 0,08 USD |
Giá của thông lượng được cung cấp
Mô hình của Stability AI | Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 1 tháng* | Giá mỗi giờ cho mỗi đơn vị mô hình có cam kết 6 tháng* |
SDXL 1.0 |
49,86 USD |
46,18 USD |
*Bao gồm suy luận cho các mô hình cơ sở và tùy chỉnh
Vui lòng liên hệ với đội ngũ tài khoản hoặc bán hàng của AWS để biết thêm thông tin chi tiết về các đơn vị mô hình.
Hiện tại, tính năng tùy chỉnh mô hình (tinh chỉnh) không được hỗ trợ cho các mô hình của Stability AI trên Amazon Bedrock.
Quy tắc bảo vệ của Amazon Bedrock
Định giá theo nhu cầu
Chính sách quy tắc bảo vệ* |
Giá mỗi 1.000 đơn vị văn bản** |
Bộ lọc nội dung |
0,75 USD |
Chủ đề bị từ chối |
1 USD |
Kiểm tra nền tảng theo ngữ cảnh*** |
0,1 USD |
Bộ lọc thông tin nhạy cảm (PII) |
0,1 USD |
Bộ lọc thông tin nhạy cảm (biểu thức chính quy) |
Miễn phí |
Bộ lọc từ |
Miễn phí |
* Mỗi chính sách quy tắc bảo vệ đều không bắt buộc và có thể được kích hoạt dựa trên các yêu cầu của ứng dụng. Phí sẽ được tính dựa trên loại chính sách dùng trong quy tắc bảo vệ. Ví dụ: nếu quy tắc bảo vệ được cấu hình theo bộ lọc nội dung và chủ đề bị từ chối, thì hai chính sách này sẽ bị tính phí, đồng thời sẽ không có khoản phí nào liên quan đến các bộ lọc thông tin nhạy cảm.
**Một đơn vị văn bản có thể chứa lên đến 1000 ký tự. Nếu văn bản đầu vào nhiều hơn 1000 ký tự, thì dữ liệu đó được xử lý dưới dạng nhiều đơn vị văn bản, mỗi đơn vị chứa 1000 ký tự trở xuống. Ví dụ: nếu văn bản đầu vào chứa 5600 ký tự thì sẽ bị tính phí 6 đơn vị văn bản.
*** Kiểm tra nền tảng theo ngữ cảnh sử dụng nguồn tham chiếu và truy vấn để xác định xem phản hồi của mô hình có dựa trên nguồn tham chiếu và có liên quan đến truy vấn hay không. Tổng số đơn vị văn bản tính phí được tính bằng cách kết hợp tất cả các ký tự trong nguồn tham chiếu, truy vấn và phản hồi của mô hình.
Quy tắc bảo vệ không được hỗ trợ hình ảnh và dữ liệu nhúng.
Ví dụ về giá
-
AI21 labs
Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình Jurrasic-2 Mid của AI21 để tóm tắt đầu vào gồm 10000 token văn bản đầu vào thành đầu ra gồm 2000 token.
Tổng chi phí phát sinh = 10000 token/1000 * 0,0125 USD + 2000 token/1000 * 0,0125 USD = 0,15 USD
-
Amazon
Định giá theo nhu cầu
Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock mỗi giờ: yêu cầu tới mô hình Amazon Titan Text Lite để tóm tắt đầu vào gồm 2.000 token văn bản đầu vào thành đầu ra gồm 1.000 token.
Tổng chi phí phát sinh hàng giờ = 2.000 token/1.000 * 0,0003 USD + 1.000 token/1.000 * 0,0004 USD = 0,001 USD.
Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình cơ sở của Trình tạo hình ảnh Amazon Titan để tạo 1000 hình ảnh cỡ 1024 x 1024 với chất lượng tiêu chuẩn.
Tổng chi phí phát sinh = 1.000 hình ảnh * 0,01 USD trên mỗi hình ảnh = 10 USD
Giá tùy chỉnh (tinh chỉnh và đào tạo trước liên tục)
Nhà phát triển ứng dụng tùy chỉnh mô hình Trình tạo hình ảnh Amazon Titan bằng 1000 cặp hình ảnh – văn bản. Sau khi đào tạo, nhà phát triển sử dụng thông lượng được cung cấp của mô hình tùy chỉnh trong 1 giờ để đánh giá hiệu năng của mô hình. Mô hình đã tinh chỉnh được lưu trữ trong 1 tháng. Sau khi đánh giá, nhà phát triển sử dụng thông lượng được cung cấp (kỳ hạn cam kết 1 tháng) để lưu trữ mô hình tùy chỉnh.
Chi phí hàng tháng phát sinh cho hoạt động tinh chỉnh = đào tạo tinh chỉnh (0,005 USD * 500 * 64), trong đó 0,005 USD là giá mỗi hình ảnh nhìn thấy, 500 là số bước và 64 là kích cỡ loạt + lưu trữ mô hình tùy chỉnh mỗi tháng (1,95 USD) + 1 giờ suy luận mô hình tùy chỉnh (21 USD) = 160 USD + 1,95 USD + 21 = 182,95 USD
Giá của thông lượng được cung cấp
Nhà phát triển ứng dụng mua hai đơn vị mô hình Amazon Titan Text Express với cam kết 1 tháng cho trường hợp sử dụng tóm tắt văn bản của họ.
Tổng chi phí phát sinh hàng tháng = 2 đơn vị mô hình * 18,40 USD/giờ * 24 giờ * 31 ngày = 27.379,20 USD
Nhà phát triển ứng dụng mua một đơn vị mô hình của mô hình Trình tạo hình ảnh Amazon Titan cơ sở với cam kết 1 tháng.
Tổng chi phí phát sinh = 1 đơn vị mô hình * 16,2 USD * 24 giờ * 31 ngày = 12.052,8 USD
-
Anthropic
Định giá theo nhu cầu
Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock trong Khu vực Miền Tây Hoa Kỳ (Oregon): yêu cầu tới mô hình Claude của Anthropic để tóm tắt đầu vào gồm 11.000 token văn bản đầu vào thành đầu ra gồm 4.000 token.
Tổng chi phí phát sinh = 11.000 token/1000 * 0,008 USD + 4.000 token/1000 * 0,024 USD = 0,088 USD + 0,096 USD = 0,184 USD
Giá của thông lượng được cung cấp
Nhà phát triển ứng dụng mua một đơn vị mô hình Claude Instant của Anthropic trong Khu vực Miền Tây Hoa Kỳ (Oregon):
Tổng chi phí phát sinh hàng tháng = 1 đơn vị mô hình * 39,6 USD * 24 giờ * 31 ngày = 29.462,4 USD
-
Cohere
Định giá theo nhu cầu
Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình Command của Cohere để tóm tắt đầu vào gồm 6.000 token văn bản đầu vào thành đầu ra gồm 2.000 token.
Tổng chi phí phát sinh = 6.000 token/1.000 * 0,0015 USD + 2.000 token/1.000 * 0,0020 USD = 0,013 USD
Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình Command – Light của Cohere để tóm tắt đầu vào gồm 6.000 token văn bản đầu vào thành đầu ra gồm 2.000 token.
Tổng chi phí phát sinh = 6.000 token/1000 * 0,0003 USD + 2.000 token/1000 * 0,0006 USD = 0,003 USD
Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình Embed tiếng Anh hoặc đa ngôn ngữ của Cohere để tạo ra các phần nhúng cho 10000 token đầu vào.
Tổng chi phí phát sinh = 10000 token/1000 * 0,0001 USD = 0,001 USD
Giá tùy chỉnh (tinh chỉnh)
Nhà phát triển ứng dụng tùy chỉnh mô hình Command của Cohere bằng 1000 token dữ liệu. Sau khi đào tạo, hãy sử dụng thông lượng được cung cấp của mô hình tùy chỉnh trong 1 giờ để đánh giá hiệu năng của mô hình. Mô hình đã tinh chỉnh được lưu trữ trong 1 tháng. Sau khi đánh giá, nhà phát triển sử dụng thông lượng được cung cấp (cam kết 1 tháng) để lưu trữ mô hình tùy chỉnh.
Chi phí phát sinh hàng tháng cho hoạt động tinh chỉnh = đào tạo tinh chỉnh (0,004 USD * 1000) + lưu trữ mô hình tùy chỉnh mỗi tháng (1,95 USD) + 1 giờ suy luận mô hình tùy chỉnh (49,5 USD) = 55,45 USD
Chi phí phát sinh hàng tháng cho thông lượng được cung cấp (cam kết 1 tháng) của mô hình tùy chỉnh = 39,6 USD
Giá của thông lượng được cung cấp
Nhà phát triển ứng dụng mua một đơn vị mô hình Command của Cohere với cam kết 1 tháng cho trường hợp sử dụng tóm tắt văn bản của họ.
Tổng chi phí phát sinh hàng tháng = 1 đơn vị mô hình * 39,6 USD * 24 giờ * 31 ngày = 29.462,4 USD
-
Meta Llama
Định giá theo nhu cầu
Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình Llama 2 Chat (13B) của Meta để tóm tắt đầu vào gồm 2.000 token văn bản đầu vào thành đầu ra gồm 500 token.
Tổng chi phí phát sinh = 2.000 token/1000 * 0,00075 USD + 500 token/1000 * 0,001 USD = 0,002 USD
Giá tùy chỉnh (tinh chỉnh)
Nhà phát triển ứng dụng tùy chỉnh mô hình Llama 2 Pre-trained (70B) bằng 1000 token dữ liệu. Sau khi đào tạo, hãy sử dụng thông lượng được cung cấp của mô hình tùy chỉnh trong 1 giờ để đánh giá hiệu năng của mô hình. Mô hình đã tinh chỉnh được lưu trữ trong 1 tháng. Sau khi đánh giá, nhà phát triển sử dụng thông lượng được cung cấp (cam kết 1 tháng) để lưu trữ mô hình tùy chỉnh.
Chi phí phát sinh hàng tháng cho hoạt động tinh chỉnh = đào tạo tinh chỉnh (0,00799 USD * 1000) + lưu trữ mô hình tùy chỉnh mỗi tháng (1,95 USD) + 1 giờ suy luận mô hình tùy chỉnh (23,5 USD) = 33,44 USD
Chi phí phát sinh hàng tháng cho thông lượng được cung cấp (cam kết 1 tháng) của mô hình tùy chỉnh = 21,18 USD
Giá của thông lượng được cung cấp
Nhà phát triển ứng dụng mua một đơn vị mô hình Llama 2 của Meta với cam kết 1 tháng cho trường hợp sử dụng tóm tắt văn bản của họ.
Tổng chi phí phát sinh hàng tháng = 1 đơn vị mô hình * 21,18 USD * 24 giờ * 31 ngày = 15.757,92 USD
-
Mistral AI
Định giá theo nhu cầu
Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock mỗi giờ: yêu cầu tới mô hình Mistral 7B để tóm tắt đầu vào gồm 2.000 token văn bản đầu vào thành đầu ra gồm 1000 token.
Tổng chi phí phát sinh hàng giờ = 2000 token/1000 * 0,00015 USD + 1000 token/1.000 * 0,0002 USD = 0,0005 USD
Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock mỗi giờ: yêu cầu tới mô hình Mixtral 8x7B để tóm tắt đầu vào gồm 2000 token văn bản đầu vào thành đầu ra gồm 1000 token.
Tổng chi phí phát sinh hàng giờ = 2000 token/1000 * 0,00045 USD + 1000 token/1000 * 0,0007 USD = 0,0016 USD
Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock mỗi giờ: yêu cầu tới mô hình Mistral Large để tóm tắt dữ liệu đầu vào gồm 2000 token văn bản đầu vào thành đầu ra gồm 1000 token.
Tổng chi phí phát sinh hàng giờ = 2000 token/1000 * 0,008 USD + 1000 token/1.000 * 0,024 USD = 0,04 USD
-
Stability AI
Định giá theo nhu cầu
Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình SDXL để tạo hình ảnh cỡ 512 x 512 với kích thước bước là 70 (chất lượng cao).
Tổng chi phí phát sinh = 1 hình ảnh * 0,036 USD mỗi hình ảnh = 0,036 USD
Nhà phát triển ứng dụng thực hiện các lệnh gọi API sau tới Amazon Bedrock: yêu cầu tới mô hình SDXL 1.0 để tạo hình ảnh cỡ 1024 x 1024 với kích thước bước là 70 (chất lượng cao).
Tổng chi phí phát sinh = 1 hình ảnh * 0,08 USD mỗi hình ảnh = 0,08 USD
Giá của thông lượng được cung cấp
Nhà phát triển ứng dụng mua một đơn vị mô hình của SDXL 1.0 với cam kết 1 tháng.
Tổng chi phí phát sinh = 1 * 49,86 USD * 24 giờ * 31 ngày = 37.095,84 USD
-
Đánh giá mô hình
Ví dụ về đánh giá mô hình 1:
Định giá theo nhu cầu
Nhà phát triển ứng dụng gửi tập dữ liệu dành cho đánh giá mô hình do con người thực hiện bằng Anthropic Claude 2.1 và Anthropic Claude Instant tại Khu vực AWS Miền Đông Hoa Kỳ (Bắc Virginia).Tập dữ liệu này chứa 50 câu lệnh và nhà phát triển yêu cầu một nhân viên đánh giá mỗi tập hợp phản hồi-câu lệnh (có thể cấu hình trong quá trình tạo công việc đánh giá dưới dạng thông số “nhân viên trên mỗi câu lệnh”).
Sẽ có 50 tác vụ trong công việc đánh giá này (một tác vụ cho mỗi bộ phản hồi-câu lệnh cho mỗi nhân viên). 50 câu lệnh kết hợp với 5000 token đầu vào và các phản hồi liên quan kết hợp với 15.000 token cho Anthropic Claude Instant và 20000 token cho Anthropic Claude 2.1.
Các khoản phí sau đây phát sinh cho công việc đánh giá mô hình này:Mục Số lượng token đầu vào Giá cho mỗi 1.000 token đầu vào Chi phí đầu vào Số lượng token đầu ra Giá cho mỗi 1.000 token đầu ra Chi phí đầu ra Số tác vụ của con người Giá cho mỗi tác vụ của con người Chi phí tác vụ của con người Tổng Suy luận Claude Instant 5.000 0,0008 USD 0,004 USD 15000 0,0024 USD 0,036 USD 0,04 USD Claude 2.1 Inference 5000 0,008 USD 0,04 USD 20000 0,024 USD 0,48 USD 0,52 USD Tác vụ do con người thực hiện 50 0,21 USD 10,50 USD 10,50 USD Tổng 11,06 USD Ví dụ về đánh giá mô hình 2:
Định giá theo nhu cầu
Nhà phát triển ứng dụng gửi tập dữ liệu dành cho đánh giá mô hình do con người thực hiện bằng Anthropic Claude 2.1 và Anthropic Claude Instant tại Khu vực AWS Miền Đông Hoa Kỳ (Bắc Virginia).
Tập dữ liệu này chứa 50 câu lệnh và nhà phát triển yêu cầu hai nhân viên đánh giá mỗi tập hợp phản hồi-câu lệnh (có thể cấu hình trong quá trình tạo công việc đánh giá dưới dạng thông số “nhân viên trên mỗi câu lệnh”). Sẽ có 100 tác vụ trong công việc đánh giá này (1 tác vụ cho mỗi bộ phản hồi-câu lệnh cho mỗi nhân viên: 2 nhân viên x 50 tập hợp phản hồi câu lệnh = 100 tác vụ của con người).
50 câu lệnh kết hợp với 5000 token đầu vào và các phản hồi liên quan kết hợp với 15000 token cho Anthropic Claude Instant và 20000 token cho Anthropic Claude 2.1.
Các khoản phí sau đây phát sinh cho công việc đánh giá mô hình này:
Mục Số lượng token đầu vào Giá cho mỗi 1.000 token đầu vào Chi phí đầu vào Số lượng token đầu ra Giá cho mỗi 1.000 token đầu ra Chi phí đầu ra Số tác vụ của con người Giá cho mỗi tác vụ của con người Chi phí tác vụ của con người Tổng Suy luận Claude Instant 5.000 0.0008 USD 0,0040 USD 15.000 0,0024 USD 0,036 USD 0,04 USD Claude 2.1 Inference 5000 0,008 USD 0,0400 USD 20000 0,024 USD 0,48 USD 0,52 USD Tác vụ do con người thực hiện 100 0,21 USD 21,00 USD 21,00 USD Tổng 21,56 USD -
Quy tắc bảo vệ của Amazon Bedrock
Ví dụ 1: Chatbot hỗ trợ khách hàng
Một nhà phát triển ứng dụng tạo một chatbot hỗ trợ khách hàng và sử dụng các bộ lọc nội dung để chặn nội dung gây hại và các chủ đề bị từ chối nhằm lọc các truy vấn và phản hồi không mong muốn.
Chatbot phục vụ 1000 truy vấn của người dùng mỗi giờ. Mỗi truy vấn người dùng có độ dài đầu vào trung bình là 200 ký tự và nhận được phản hồi FM gồm 1500 ký tự.
Mỗi truy vấn của người dùng gồm 200 ký tự tương ứng với 1 đơn vị văn bản.
Mỗi phản hồi FM gồm 1.500 ký tự tương ứng với 2 đơn vị văn bản.
Đơn vị văn bản được xử lý mỗi giờ = (1 + 2) * 1000 truy vấn = 3000 đơn vị văn bản
Tổng chi phí phát sinh mỗi giờ cho bộ lọc nội dung và chủ đề bị từ chối = 3000 * (0,75 USD + 1 USD) / 1000 = 5,25 USDVí dụ 2: Tóm tắt bản ghi trung tâm cuộc gọi
Một nhà phát triển ứng dụng tạo một ứng dụng để tóm tắt bản ghi cuộc trò chuyện giữa người dùng và nhân viên hỗ trợ. Ứng dụng đó sử dụng bộ lọc thông tin nhạy cảm để biên tập thông tin nhận dạng cá nhân (PII) trong các bản tóm tắt được tạo cho 10000 cuộc hội thoại.
Mỗi bản tóm tắt được tạo có trung bình 3.500 ký tự tương ứng với 4 đơn vị văn bản.
Tổng chi phí phát sinh để tóm tắt 10000 cuộc hội thoại = 10000 * 4 * (0,1 USD / 1000) = 4 USDMục Số lượng token đầu vào Giá cho mỗi 1.000 token đầu vào Chi phí đầu vào Số lượng token đầu ra Giá cho mỗi 1.000 token đầu ra Chi phí đầu ra Số tác vụ của con người Giá cho mỗi tác vụ của con người Chi phí tác vụ của con người Tổng Suy luận Claude Instant 5.000 0,0008 USD 0,004 USD 15000 0,0024 USD 0,036 USD 0,04 USD Claude 2.1 Inference 5000 0,008 USD 0,04 USD 20000 0,024 USD 0,48 USD 0,52 USD Tác vụ do con người thực hiện 100 0,21 USD 21,00 USD 21,00 USD Tổng 21,56 USD