Câu hỏi thường gặp về Amazon Bedrock

Các tác tử dành cho Amazon Bedrock là các chức năng được quản lý toàn phần giúp nhà phát triển dễ dàng tạo các ứng dụng dựa trên AI tạo sinh mà có thể hoàn thành các tác vụ phức tạp cho nhiều trường hợp sử dụng và cung cấp câu trả lời cập nhật dựa trên các nguồn kiến thức độc quyền. Chỉ với vài cú nhấp chuột, Tác tử dành cho Amazon Bedrock sẽ tự động phân tích các tác vụ và tạo kế hoạch điều phối mà không cần bất kỳ thao tác viết mã thủ công nào. Tác tử kết nối một cách bảo mật với dữ liệu công ty thông qua API, tự động chuyển đổi dữ liệu sang định dạng có thể đọc được bằng máy và tăng cường yêu cầu với thông tin liên quan để tạo phản hồi chính xác nhất. Sau đó, các tác tử có thể tự động gọi API để thực hiện yêu cầu của người dùng. Ví dụ: một công ty sản xuất có thể muốn phát triển một ứng dụng AI tạo sinh cho phép tự động theo dõi mức hàng tồn kho, dữ liệu bán hàng, thông tin chuỗi cung ứng và có thể đề xuất các điểm và số lượng sắp xếp lại tối ưu để đạt hiệu quả tối đa. Là chức năng được quản lý toàn phần, Tác tử dành cho Amazon Bedrock loại bỏ việc quản lý tích hợp hệ thống và cung cấp cơ sở hạ tầng không tạo ra giá trị khác biệt, cho phép các nhà phát triển sử dụng AI tạo sinh đến mức tối đa trong toàn bộ tổ chức.

Bạn có thể kết nối FM một cách bảo mật với các nguồn dữ liệu của công ty bằng Tác tử dành cho Amazon Bedrock. Với cơ sở kiến thức, bạn có thể sử dụng các tác tử để cung cấp cho FM trong Amazon Bedrock quyền truy cập vào dữ liệu bổ sung giúp mô hình tạo ra các phản hồi phù hợp, cụ thể theo ngữ cảnh và chính xác hơn mà không cần liên tục đào tạo lại FM. Dựa trên thông tin đầu vào của người dùng, các tác tử xác định cơ sở kiến thức thích hợp, truy xuất thông tin liên quan và thêm thông tin vào lời nhắc đầu vào, từ đó cung cấp cho mô hình thêm thông tin ngữ cảnh để hoàn thiện.

Các tác tử dành cho Amazon Bedrock có thể giúp bạn tăng năng suất, cải thiện trải nghiệm dịch vụ khách hàng hoặc tự động hóa các tác vụ DevOps.

Nhờ các tác tử, nhà phát triển cung cấp khả năng hỗ trợ liền mạch trong giám sát, mã hóa, quyền người dùng và quản lý gọi API mà không cần viết mã tùy chỉnh. Các tác tử dành cho Amazon Bedrock tự động hóa quy trình tạo câu lệnh và điều phối các tác vụ do người dùng yêu cầu. Các nhà phát triển có thể sử dụng mẫu nhắc do tác tử tạo làm cơ sở để tinh chỉnh hơn nữa nhằm nâng cao trải nghiệm người dùng. Họ có thể cập nhật đầu vào của người dùng, kế hoạch điều phối và phản hồi của FM. Với quyền truy cập vào mẫu nhắc, các nhà phát triển có quyền kiểm soát tốt hơn đối với việc điều phối tác tử.

Với các tác tử được quản lý toàn phần, bạn không phải lo lắng về việc cung cấp hoặc quản lý cơ sở hạ tầng và có thể đưa các ứng dụng vào sản xuất nhanh hơn.

Mọi nội dung của khách hàng mà Amazon Bedrock xử lý đều được mã hóa và lưu trữ ở trang thái lưu trữ trong Khu vực AWS nơi bạn đang dùng Amazon Bedrock.

Không. Thông tin đầu vào của người dùng và đầu ra mô hình không được chia sẻ với bất kỳ nhà cung cấp mô hình nào.

Amazon Bedrock cung cấp một số tính năng để hỗ trợ các yêu cầu về bảo mật và quyền riêng tư. Bedrock nằm trong phạm vi đáp ứng các tiêu chuẩn tuân thủ chung như Kiểm soát dịch vụ và tổ chức (SOC), Tổ chức tiêu chuẩn hóa quốc tế (ISO), Đạo luật về trách nhiệm giải trình và cung cấp thông tin bảo hiểm y tế (HIPAA) đủ điều kiện và khách hàng có thể sử dụng Bedrock tuân thủ Quy định bảo vệ dữ liệu chung (GDPR). Amazon Bedrock được bao gồm trong phạm vi báo cáo SOC 1, 2, 3, cho phép khách hàng nắm được thông tin chuyên sâu về các biện pháp kiểm soát bảo mật của chúng tôi. Chúng tôi chứng minh sự tuân thủ thông qua những cuộc kiểm tra sâu rộng của bên thứ ba về các biện pháp kiểm soát AWS của chúng tôi. Amazon Bedrock là một trong những dịch vụ của AWS đáp ứng Tuân thủ ISO đối với các tiêu chuẩn ISO 9001, ISO 27001, ISO 27017, ISO 27018, ISO 27701, ISO 22301 và ISO 20000. Amazon Bedrock đạt được chứng nhận Đảm bảo độ tin cậy bảo mật và rủi ro (STAR) Cấp 2 của CSA, xác nhận việc sử dụng các phương pháp tốt nhất và khả năng bảo mật của các dịch vụ đám mây AWS. Amazon Bedrock không sử dụng nội dung của bạn để cải thiện các mô hình cơ sở và không chia sẻ chúng với bất kỳ nhà cung cấp mô hình nào. Bạn có thể sử dụng AWS PrivateLink để thiết lập kết nối riêng từ Đám mây riêng ảo (VPC) của Amazon đến Amazon Bedrock mà dữ liệu của bạn không cần phải tiếp xúc với lưu lượng truy cập Internet.

Không, AWS và các nhà cung cấp mô hình bên thứ ba sẽ không sử dụng bất kỳ dữ liệu đầu vào hoặc đầu ra nào từ Bedrock để đào tạo Amazon Titan hoặc bất kỳ mô hình của bên thứ ba nào.

Amazon Bedrock hỗ trợ SDK cho các dịch vụ thực thi. Các SDK iOS và Android, cũng như Java, JS, Python, CLI, .Net, Ruby, PHP, Go và CPP hỗ trợ cả đầu vào bằng văn bản và giọng nói.

Tất cả SDK đều hỗ trợ truyền phát.

Vui lòng tham khảo Trang định giá của Amazon Bedrock để biết thông tin về giá cả hiện tại.

Tùy thuộc vào hợp đồng hỗ trợ AWS của bạn, Amazon Bedrock nằm trong phạm vi hỗ trợ của các gói Hỗ trợ nhà phát triển, Hỗ trợ kinh doanh và Hỗ trợ dành cho doanh nghiệp.

Bạn có thể sử dụng chỉ số CloudWatch để theo dõi mã thông báo đầu vào và đầu ra.

Với Amazon Bedrock, bạn có thể tùy chỉnh các FM một cách riêng tư, giữ quyền kiểm soát cách dữ liệu được sử dụng và mã hóa. Amazon Bedrock tạo một bản sao riêng biệt của mô hình nền tảng cơ sở và đào tạo bản sao riêng tư này của mô hình. Dữ liệu của bạn bao gồm lời nhắc, thông tin được sử dụng để bổ sung lời nhắc, phản hồi FM và các FM tùy chỉnh vẫn nằm trong Khu vực nơi xử lý lệnh gọi API.

Khi bạn tinh chỉnh mô hình, dữ liệu của bạn tuyệt đối không bị tiết lộ trên internet công cộng, tuyệt đối không rời khỏi mạng AWS, được chuyển an toàn qua VPC của bạn và được mã hóa khi đang truyền và khi lưu trữ. Ngoài ra, Bedrock thực thi các biện pháp kiểm soát truy cập AWS giống như bạn có với bất kỳ dịch vụ nào khác của chúng tôi.

Chúng tôi đã ra mắt tính năng Đào tạo trước liên tục cho các mô hình Văn bản Titan Express và Titan trên Amazon Bedrock; điều này sẽ cho phép bạn tiếp tục đào tạo trước trên mô hình cơ sở Titan bằng cách sử dụng một lượng lớn dữ liệu không được dán nhãn. Loại đào tạo này sẽ điều chỉnh mô hình từ một tập miền chung sang một tập miền cụ thể hơn như y tế, luật, tài chính, v.v. trong khi vẫn bảo toàn hầu hết các tính năng của mô hình cơ sở Titan. 

Thông thường, các doanh nghiệp có thể muốn xây dựng mô hình cho các tác vụ trong một miền cụ thể. Các mô hình cơ sở có thể không được đào tạo về biệt ngữ kỹ thuật được sử dụng trong miền cụ thể đó. Do đó, việc tinh chỉnh trực tiếp mô hình cơ sở sẽ yêu cầu một lượng lớn hồ sơ đào tạo được dán nhãn và thời gian đào tạo lâu để đạt được kết quả chính xác. Để giảm bớt gánh nặng này, thay vào đó, khách hàng có thể cung cấp một lượng lớn dữ liệu không được dán nhãn cho tác vụ Đào tạo trước liên tục. Tác vụ này sẽ điều chỉnh mô hình cơ sở Titan cho miền mới. Sau đó, khách hàng có thể tinh chỉnh mô hình tùy chỉnh mới được đào tạo trước cho các tác vụ hạ nguồn thông qua hồ sơ đào tạo được dán nhãn với số lượng ít hơn đáng kể và với thời gian đào tạo ngắn hơn. 

Tính năng Đào tạo trước liên tục và Tinh chỉnh (FT) trong Bedrock có các yêu cầu rất giống nhau. Vì lý do này, chúng tôi đang chọn tạo các API hợp nhất hỗ trợ cả CPT và FT. Việc hợp nhất các API làm giảm thời gian học hỏi và sẽ giúp khách hàng sử dụng các tính năng tiêu chuẩn như CloudWatch Event Bridge để theo dõi các tác vụ chạy trong thời gian dài, tích hợp S3 để tìm nạp dữ liệu đào tạo, thẻ Tài nguyên và mã hóa Mô hình. 

Đào tạo trước liên tục giúp bạn dễ dàng điều chỉnh các mô hình Titan với dữ liệu cụ thể trong miền của mình trong khi vẫn duy trì chức năng cơ bản của các mô hình Titan. Để tạo tác vụ Đào tạo trước liên tục, hãy điều hướng đến Bảng điều khiển Bedrock và nhấp vào “Mô hình tùy chỉnh”. Bạn sẽ điều hướng đến trang mô hình tùy chỉnh có hai tab: Mô hình và tác vụ Đào tạo. Cả hai tab đều cung cấp một menu thả xuống ở bên phải mang tên “Tùy chỉnh mô hình”. Chọn “Đào tạo trước liên tục” từ menu thả xuống Tùy chỉnh mô hình để điều hướng đến màn hình “Tạo tác vụ Đào tạo trước liên tục”. Bạn sẽ cung cấp mô hình nguồn, tên, mã hóa mô hình, dữ liệu đầu vào, siêu thông số và dữ liệu đầu ra. Ngoài ra, bạn có thể cung cấp Thẻ cùng với thông tin chi tiết về vai trò IAM và chính sách tài nguyên cho tác vụ.

Dành riêng cho Amazon Bedrock, dòng mô hình Amazon Titan kết hợp 25 năm kinh nghiệm của Amazon trong việc đổi mới với AI và máy học trong toàn bộ hoạt động kinh doanh của mình. Các mô hình nền tảng (FM) Amazon Titan cung cấp cho khách hàng nhiều lựa chọn mô hình hình ảnh, đa phương thức và mô hình văn bản hiệu năng cao thông qua API được quản lý toàn phần. Các mô hình Amazon Titan được tạo ra bởi AWS và được đào tạo trước trên các tập dữ liệu lớn, giúp chúng trở thành các mô hình đa dụng mạnh mẽ, được xây dựng để hỗ trợ nhiều trường hợp sử dụng khác nhau, đồng thời hỗ trợ việc sử dụng AI có trách nhiệm. Sử dụng các mô hình này ở thiết lập sẵn có hoặc tùy chỉnh riêng theo dữ liệu của riêng bạn.

Để tìm hiểu thêm về dữ liệu được xử lý để phát triển và đào tạo FM Amazon Titan, hãy truy cập trang Quyền riêng tư & đào tạo mô hình Amazon Titan.

Các định dạng dữ liệu được hỗ trợ bao gồm tệp .pdf, .txt, .md, .html, .doc và .docx, .csv, .xls và .xlsx. Các tệp phải được tải lên Amazon S3. Chỉ cần trỏ đến vị trí dữ liệu trong Amazon S3 và Cơ sở kiến thức cho Amazon Bedrock sẽ đảm nhận toàn bộ quy trình tải nhập vào cơ sở dữ liệu véc-tơ của bạn.

Cơ sở kiến thức cho Amazon Bedrock cung cấp ba tùy chọn để phân đoạn văn bản trước khi chuyển đổi văn bản thành phần nhúng. 

1.  Tùy chọn mặc định: Cơ sở kiến thức cho Amazon Bedrock tự động chia nhỏ tài liệu của bạn thành các đoạn chứa 200 mã thông báo nhằm đảm bảo rằng câu không bị ngắt quãng ở giữa. Nếu một tài liệu chứa ít hơn 200 mã thông báo, thì tài liệu đó sẽ không bị chia nhỏ thêm nữa. Tình trạng trùng lặp 20% mã thông báo được duy trì giữa hai đoạn liên tiếp.

2.  Phân đoạn kích thước cố định: Trong tùy chọn này, bạn có thể chỉ định số lượng mã thông báo tối đa cho mỗi đoạn và tỷ lệ phần trăm trùng lặp giữa các đoạn đối với Cơ sở kiến thức cho Amazon Bedrock để tự động chia tài liệu của bạn thành các đoạn nhằm đảm bảo rằng câu không bị ngắt quãng ở giữa. 

3.  Tạo một tùy chọn phần nhúng cho mỗi tài liệu: Amazon Bedrock tạo một phần nhúng cho mỗi tài liệu. Tùy chọn này phù hợp nếu bạn đã xử lý trước các tài liệu của mình bằng cách chia chúng thành những tệp riêng biệt và không muốn Bedrock phân đoạn thêm tài liệu của bạn.
 

Hiện tại, Cơ sở kiến thức cho Amazon Bedrock sử dụng phiên bản mới nhất của mô hình Phần nhúng văn bản Titan hiện có sẵn trong Amazon Bedrock. Mô hình Phần nhúng văn bản Titan hỗ trợ 8.000 mã thông báo và hơn 25 ngôn ngữ, đồng thời tạo phần nhúng có kích cỡ 1.536. 

Cơ sở kiến thức cho Amazon Bedrock đảm nhận toàn bộ quy trình tải nhập để chuyển đổi tài liệu của bạn thành các phần nhúng (véc-tơ) và lưu trữ phần nhúng trong cơ sở dữ liệu véc-tơ chuyên biệt. Cơ sở kiến thức cho Amazon Bedrock hỗ trợ các cơ sở dữ liệu phổ biến để lưu trữ véc-tơ, bao gồm công cụ véc-tơ dành cho Amazon OpenSearch phi máy chủ, Pinecone, Đám mây Redis Enterprise, Amazon Aurora (sắp ra mắt) và MongoDB (sắp ra mắt). Nếu bạn không có cơ sở dữ liệu véc-tơ hiện có, Amazon Bedrock sẽ tạo một kho véc-tơ Amazon OpenSearch phi máy chủ cho bạn.

Tùy thuộc vào trường hợp sử dụng, bạn có thể sử dụng Amazon EventBridge để tạo quy trình đồng bộ hóa định kỳ hoặc theo sự kiện giữa Amazon S3 với Cơ sở kiến thức cho Amazon Bedrock.

Đánh giá mô hình trên Amazon Bedrock cho phép bạn đánh giá, so sánh và chọn mô hình nền tảng tốt nhất cho trường hợp sử dụng của bạn chỉ trong vài cú nhấp chuột. Amazon Bedrock cung cấp lựa chọn bao gồm đánh giá tự động và đánh giá của con người. Bạn có thể sử dụng tính năng đánh giá tự động với các chỉ số được định sẵn như độ chính xác, độ chắc chắn và độ độc hại. Bạn có thể sử dụng quy trình đánh giá của con người cho các chỉ số chủ quan hoặc tùy chỉnh như mức độ thân thiện, phong cách và sự phù hợp với tiếng nói thương hiệu. Đối với đánh giá của con người, bạn có thể tận dụng nhân viên nội bộ của mình hoặc nhóm do AWS quản lý làm người đánh giá. Đánh giá mô hình cung cấp tập dữ liệu tích hợp sẵn được tuyển chọn hoặc bạn có thể sử dụng tập dữ liệu riêng.

Bạn có thể đánh giá nhiều chỉ số được xác định trước như độ chính xác, độ chắc chắn và độ độc hại bằng cách sử dụng đánh giá tự động. Bạn cũng có thể sử dụng quy trình đánh giá của con người cho các chỉ số chủ quan hoặc tùy chỉnh, chẳng hạn như độ thân thiện, mức độ liên quan, phong cách và độ phù hợp với tiếng nói thương hiệu.

Đánh giá tự động cho phép bạn nhanh chóng thu hẹp danh sách các FM có sẵn theo các tiêu chí tiêu chuẩn (chẳng hạn như độ chính xác, độ độc hại và độ chắc chắn). Đánh giá của con người thường được sử dụng để đánh giá các tiêu chí chủ quan hoặc nhiều sắc thái hơn, đòi hỏi sự phán đoán của con người và những tiêu chí mà đánh giá tự động có thể không hỗ trợ (chẳng hạn như tiếng nói thương hiệu, dụng ý sáng tạo, độ thân thiện).

Bạn có thể nhanh chóng đánh giá các mô hình Bedrock về các chỉ số như độ chính xác, độ chắc chắn và độ độc hại bằng cách tận dụng các tập dữ liệu tích hợp được tuyển chọn hoặc bằng cách sử dụng các tập dữ liệu câu lệnh của riêng bạn. Sau khi tập dữ liệu câu lệnh của bạn được gửi đến các mô hình Amazon Bedrock để suy luận, các phản hồi của mô hình được chấm điểm bằng các thuật toán đánh giá cho từng tham số. Công cụ backend tổng hợp điểm số cho mỗi phản hồi câu lệnh riêng lẻ thành điểm số ngắn gọn và trình bày chúng thông qua các báo cáo trực quan dễ hiểu.

Amazon Bedrock cho phép bạn thiết lập quy trình đánh giá của con người với một vài cú nhấp chuột và sử dụng nhân viên nội bộ của bạn hoặc tận dụng đội ngũ chuyên gia do AWS quản lý để đánh giá các mô hình. Thông qua giao diện trực quan của Amazon Bedrock, con người có thể đánh giá và đưa ra ý kiến về phản hồi của mô hình bằng cách nhấp vào biểu tượng ngón tay cái giơ lên/xuống, xếp hạng theo thang điểm từ 1 đến 5, chọn ra phản hồi tốt nhất trong nhiều phản hồi hoặc xếp hạng câu lệnh. Ví dụ: một thành viên trong nhóm có thể được xem cách hai mô hình phản hồi với cùng một câu lệnh, sau đó thành viên được yêu cầu chọn mô hình hiển thị đầu ra chính xác hơn, phù hợp hoặc phong cách hơn. Bạn có thể chỉ định các tiêu chí đánh giá quan trọng đối với bạn, chỉ cần tùy chỉnh các hướng dẫn và nút để xuất hiện trên giao diện người dùng đánh giá cho đội ngũ của bạn. Bạn cũng có thể cung cấp hướng dẫn chi tiết bằng các ví dụ và mục tiêu chung của việc đánh giá mô hình để họ có thể sắp xếp việc đánh giá cho phù hợp. Phương pháp này rất hữu ích khi đánh giá các tiêu chí chủ quan đòi hỏi sự phán đoán của con người hoặc chuyên môn trong lĩnh vực có nhiều sắc thái hơn và không thể dễ dàng đánh giá bằng các đánh giá tự động.

Quy tắc bảo vệ dành cho Amazon Bedrock cho phép bạn thực hiện các biện pháp bảo vệ cho các ứng dụng AI tạo sinh dựa trên các trường hợp sử dụng và chính sách sử dụng AI có trách nhiệm của mình. Quy tắc bảo vệ giúp kiểm soát tương tác giữa người dùng và Mô hình nền tảng (FM) bằng cách lọc nội dung không mong muốn và có hại và sẽ sớm chỉnh sửa thông tin nhận dạng cá nhân (PII), tăng cường an toàn nội dung và quyền riêng tư trong các ứng dụng AI tạo sinh. Bạn có thể tạo nhiều quy tắc bảo vệ với các cấu hình khác nhau được tùy chỉnh cho từng trường hợp sử dụng cụ thể. Ngoài ra, bạn có thể liên tục theo dõi và phân tích đầu vào của người dùng và các phản hồi FM có khả năng vi phạm chính sách do khách hàng xác định trong quy tắc bảo vệ.

Quy tắc bảo vệ cho phép khách hàng xác định một tập hợp chính sách để giúp bảo vệ các ứng dụng AI tạo sinh của bạn. Bạn có thể cấu hình các chính sách sau trong quy tắc bảo vệ.

• Chủ đề bị từ chối – Bạn có thể xác định một tập hợp chủ đề không mong muốn trong bối cảnh ứng dụng của mình. Ví dụ: bạn có thể thiết kế một trợ lý ngân hàng trực tuyến để hạn chế cung cấp tư vấn đầu tư.
• Bộ lọc nội dung – Bạn có thể cấu hình ngưỡng để lọc nội dung có hại trên các danh mục thù hận, lăng mạ, tình dục và bạo lực.
• Bộ lọc từ ngữ (sắp ra mắt) – Bạn có thể xác định một tập hợp từ ngữ cần chặn trong dữ liệu đầu vào của người dùng và phản hồi do FM tạo ra.
• Biên tập PII (sắp ra mắt) – Bạn có thể chọn một tập hợp PII có thể biên tập trong các phản hồi do FM tạo ra. Dựa trên trường hợp sử dụng, bạn cũng có thể chặn dữ liệu đầu vào của người dùng nếu dữ liệu đó có chứa PII.

Quy tắc bảo vệ có thể được sử dụng với tất cả các mô hình ngôn ngữ lớn có sẵn trên Amazon Bedrock, bao gồm các FM Titan, Claude của Anthropic, Llama 2 của Meta, Jurassic của AI21 và Command của Cohere. Quy tắc bảo vệ cũng có thể được sử dụng với các FM được tinh chỉnh cũng như các Tác tử dành cho Amazon Bedrock.

AWS cung cấp khoản bồi thường sở hữu trí tuệ (IP) không giới hạn cho khiếu nại bản quyền phát sinh từ dữ liệu đầu ra tạo sinh của các dịch vụ AI tạo sinh được cung cấp rộng rãi của Amazon sau đây: mô hình Amazon Titan, Amazon CodeWhisperer chuyên nghiệp và các Dịch vụ khác được liệt kê trong Mục 50.10 của Điều khoản dịch vụ (“Dịch vụ AI tạo sinh được bồi thường”). Điều này có nghĩa là khách hàng sẽ được bảo vệ khỏi các khiếu nại của bên thứ ba liên quan đến cáo buộc vi phạm bản quyền bởi dữ liệu đầu ra được tạo bởi Dịch vụ AI tạo sinh được bồi thường khi phản hồi dữ liệu đầu vào hoặc dữ liệu khác do khách hàng cung cấp. Khách hàng cũng phải sử dụng Dịch vụ một cách có trách nhiệm, chẳng hạn như không nhập dữ liệu vi phạm hoặc vô hiệu hóa các tính năng lọc của Dịch vụ.

Ngoài ra, khoản bồi thường IP tiêu chuẩn của chúng tôi đối với hoạt động sử dụng Dịch vụ sẽ bảo vệ khách hàng khỏi các khiếu nại của bên thứ ba liên quan đến cáo buộc vi phạm IP (bao gồm khiếu nại bản quyền) mà Dịch vụ và dữ liệu được sử dụng để đào tạo chúng gây ra.