Câu hỏi thường gặp về Amazon SageMaker AI

Amazon SageMaker AI (trước đây là Amazon SageMaker) là một dịch vụ được quản lý toàn phần, tập hợp một bộ công cụ đa dạng để hỗ trợ máy học (ML) hiệu năng cao, chi phí thấp cho mọi trường hợp sử dụng. Với SageMaker AI, bạn có thể xây dựng, đào tạo và triển khai các mô hình ML có thể điều chỉnh quy mô. SageMaker là một nền tảng thống nhất dành cho dữ liệu, phân tích và AI. Dịch vụ này cung cấp trải nghiệm phát triển thống nhất dựa trên AI mới để khách hàng xây dựng các ứng dụng trên AWS một cách dễ dàng và nhanh chóng.

Tại re:Invent 2024, các tính năng được hỗ trợ bao gồm điểm cuối suy luận, JumpStart, Đào tạo, MLFlow, Sổ đăng ký mô hình, ứng dụng AI của đối tác, HyperPod, Quy trình và các tính năng khác. Chúng tôi cố gắng kết hợp tất cả các chức năng hiện có, hỗ trợ toàn bộ hành trình phát triển mô hình, từ đào tạo đến triển khai, trong Studio thống nhất mới.

SageMaker cung cấp trải nghiệm dữ liệu và AI thống nhất để tìm kiếm, truy cập và làm việc trên dữ liệu của bạn, đẩy nhanh các sáng kiến phân tích và AI. SageMaker AI sẽ tiếp tục được hỗ trợ, vì vậy bạn không cần thực hiện bất kỳ hành động nào để đảm bảo quy trình làm việc hiện tại của mình tiếp tục hoạt động. Ví dụ: bạn có thể tiếp tục sử dụng các cụm Amazon SageMaker HyperPod hiện có của mình. Nếu bạn muốn sử dụng chúng trong Studio SageMaker thống nhất mới, hãy thiết lập kết nối với cụm này. Tất cả các cấu hình HyperPod hiện tại của bạn sẽ tự động được di chuyển sang dự án của bạn trong SageMaker và hiệu năng cũng như mức độ tiết kiệm chi phí vẫn sẽ như nhau. Tuy vậy, trải nghiệm Studio SageMaker thống nhất có thể cải thiện năng suất bằng cách đưa tất cả các công cụ vào cùng một nơi.

Chúng tôi rất vui mừng được công bố một studio thống nhất cho phép bạn cộng tác và xây dựng nhanh hơn. Từ Studio SageMaker thống nhất, bạn có thể khám phá dữ liệu, truy vấn dữ liệu, đào tạo mô hình AI và xây dựng các ứng dụng AI tạo sinh. Chúng tôi luôn sẵn lòng hỗ trợ bạn trong từng bước trên hành trình. Chúng tôi sẽ cung cấp các hướng dẫn dễ sử dụng để đưa các dự án hiện có của bạn sang studio thống nhất vào quý 1 năm 2025. Nếu bạn có bất kỳ thắc mắc nào, đừng ngần ngại liên hệ với đội ngũ phụ trách tài khoản của bạn.

Studio SageMaker vẫn là một lựa chọn tuyệt vời cho những khách hàng cần trải nghiệm phát triển ML đáng tin cậy và được hợp lý hóa. Các tổ chức muốn khám phá các tính năng dữ liệu và phân tích sẽ cảm thấy hứng thú trước khả năng quản trị tích hợp, phân tích nâng cao và các tính năng AI tạo sinh của nền tảng thống nhất mới. Với trải nghiệm tích hợp của Studio SageMaker thống nhất mới, bạn có thể chuẩn bị và tích hợp dữ liệu, duyệt dữ liệu bằng SQL cũng như khám phá và quản trị dữ liệu với một danh mục thống nhất.

Có, HyperPod, JumpStart, MLFlow, JupyterLab và Quy trình đều được cung cấp trong Studio SageMaker thống nhất mới. Ngoài ra, các điểm cuối suy luận, Đào tạo, Sổ đăng ký mô hình và các tính năng phổ biến khác của SageMaker cũng được hỗ trợ trong Studio thống nhất mới.

Hành trình 1. Chọn, tùy chỉnh và triển khai mô hình nền tảng (FM):

• Duyệt và chọn tập dữ liệu
• Chọn một FM
• Đánh giá mô hình (tự động và con người)
• Tùy chỉnh, tinh chỉnh: Tối ưu hóa giá, hiệu năng và chất lượng FM
• Tối ưu hóa và triển khai để suy luận
• Tự động hóa với FMOps và giám sát mô hình

Hành trình 2. Xây dựng, đào tạo và triển khai mô hình ML trên quy mô lớn:

• Tăng tốc và điều chỉnh quy mô chuẩn bị dữ liệu cho ML
• Xây dựng mô hình ML
• Đào tạo và tinh chỉnh các mô hình ML
• Triển khai trong sản xuất
• Quản lý và giám sát
• Tự động hóa vòng đời ML

Hành trình 3. Chọn một mô hình, xây dựng và triển khai một ứng dụng AI tạo sinh:

• Chọn một mô hình và tinh chỉnh mô hình đó
• Nhập mô hình vào Amazon Bedrock
• Xây dựng và triển khai ứng dụng AI tạo sinh tích hợp với điểm cuối của bạn

Hành trình 4. Chọn và triển khai mô hình đến điểm cuối và kết nối điểm cuối với các ứng dụng AI tạo sinh:

• Chọn một mô hình
• Triển khai mô hình đến điểm cuối SageMaker
• Kết nối điểm cuối với các ứng dụng AI tạo sinh của bạn

Trải nghiệm phát triển thống nhất mới có mô hình định giá dựa trên mức sử dụng cho Studio và định giá theo chi phí sản xuất đối với tất cả các dịch vụ cơ bản. Studio thống nhất sẽ tính phí lưu trữ siêu dữ liệu, yêu cầu API và quản trị. Để biết thêm chi tiết, hãy truy cập Định giá Amazon SageMaker.

SageMaker cung cấp các công cụ quản trị ML được xây dựng theo mục đích trong suốt vòng đời ML. Với Trình quản lý vai trò của Amazon SageMaker, quản trị viên có thể xác định các quyền tối thiểu trong vài phút. Thẻ thông tin mô hình của Amazon SageMaker giúp bạn dễ dàng nắm bắt, truy xuất và chia sẻ thông tin mô hình thiết yếu từ khi thiết kế đến triển khai, Bảng thông tin mô hình của Amazon SageMaker giúp bạn luôn nắm được hành vi mô hình sản xuất, tất cả ở một nơi. Để biết
thêm thông tin, hãy xem Quản trị ML với Amazon SageMaker.

Bạn có thể xác định các quyền tối thiểu trong vài phút với Trình quản lý vai trò của SageMaker. Công cụ này cung cấp một bộ quyền cơ sở cho các danh tính và hoạt động máy học với danh mục chính sách IAM dựng sẵn. Bạn có thể giữ các quyền cơ sở hoặc tùy chỉnh thêm dựa trên nhu cầu cụ thể. Với một vài lời nhắc tự thực hiện, bạn có thể nhanh chóng nhập các cấu trúc quản trị phổ biến như ranh giới truy cập mạng và khóa mã hóa. Sau đó, Trình quản lý vai trò SageMaker sẽ tự động tạo chính sách IAM. Bạn có thể khám phá vai trò đã tạo và các chính sách liên quan thông qua bảng điều khiển AWS IAM. Để điều chỉnh thêm quyền cho trường hợp sử dụng, hãy đính kèm các chính sách IAM được quản lý với vai trò IAM mà bạn tạo bằng Trình quản lý vai trò của SageMaker. Bạn cũng có thể thêm thẻ để giúp xác định vai trò và sắp xếp trên các dịch vụ AWS.

Thẻ thông tin mô hình của SageMaker giúp bạn tập trung và chuẩn hóa tài liệu mô hình trong suốt vòng đời ML bằng cách tạo một nguồn dữ liệu xác thực duy nhất cho thông tin mô hình. Thẻ thông tin mô hình của SageMaker tự động nạp thông tin chi tiết đào tạo để đẩy nhanh quá trình lập tài liệu. Bạn cũng có thể thêm các chi tiết như mục đích của mô hình và mục tiêu hiệu năng. Bạn có thể đính kèm kết quả đánh giá mô hình vào thẻ thông tin mô hình của mình và cung cấp hình ảnh trực quan để nắm bắt thông tin chuyên sâu quan trọng về hiệu năng mô hình. Bạn có thể dễ dàng chia sẻ Thẻ thông tin mô hình của SageMaker với người khác bằng cách xuất sang định dạng PDF.

Bảng thông tin mô hình của SageMaker cung cấp cho bạn tổng quan toàn diện về các mô hình và điểm cuối được triển khai, cho phép bạn theo dõi tài nguyên và vi phạm hành vi mô hình trên cùng một màn hình. Công cụ này cho phép bạn giám sát hành vi mẫu theo bốn thứ nguyên, bao gồm chất lượng dữ liệu và chất lượng mô hình, cũng như độ lệch thuộc tính đặc trưng và độ lệch thiên kiến thông qua việc tích hợp với Trình giám sát mẫu của SageMaker và SageMaker Clarify. Bảng thông tin mô hình của SageMaker cũng cung cấp trải nghiệm tích hợp để thiết lập và nhận cảnh báo cho các tác vụ giám sát mẫu bị thiếu và không hoạt động cũng như độ lệch trong hành vi mẫu đối với chất lượng mô hình, chất lượng dữ liệu, độ lệch thiên kiến và độ lệch thuộc tính đặc trưng. Bạn có thể kiểm tra thêm các mẫu riêng lẻ và phân tích các yếu tố ảnh hưởng đến hiệu suất của mẫu theo thời gian. Sau đó, bạn có thể phối hợp với chuyên viên máy học để thực hiện các biện pháp khắc phục.

SageMaker JumpStart giúp bạn bắt đầu với ML một cách dễ dàng và nhanh chóng. SageMaker JumpStart cung cấp một bộ giải pháp cho các trường hợp sử dụng phổ biến nhất có thể được triển khai dễ dàng chỉ trong vài bước. Các giải pháp có thể tùy chỉnh toàn phần và giới thiệu việc sử dụng các mẫu AWS CloudFormation và kiến trúc tham chiếu để bạn có thể tăng tốc trên hành trình ML của mình. SageMaker JumpStart còn cung cấp các mô hình nền tảng và hỗ trợ triển khai một bước và tinh chỉnh hơn 150 mô hình nguồn mở phổ biến, chẳng hạn như bộ chuyển đổi, phát hiện đối tượng và mô hình phân loại hình ảnh. 

SageMaker JumpStart cung cấp các mô hình độc quyền và công khai. Để biết danh sách các mô hình nền tảng có sẵn, hãy xem Bắt đầu sử dụng Amazon SageMaker JumpStart.

Bạn có thể truy cập các mô hình nền tảng thông qua Studio SageMaker, SageMaker SDK và Bảng điều khiển quản lý AWS. Để bắt đầu sử dụng các mô hình nền tảng độc quyền, bạn phải chấp nhận các điều khoản bán hàng trong AWS Marketplace.

Không. Hệ thống sẽ không sử dụng hay chia sẻ dữ liệu suy luận và đào tạo của bạn để cập nhật hoặc đào tạo mô hình cơ sở mà SageMaker JumpStart cung cấp cho khách hàng.

Không. Các mô hình độc quyền không cho phép khách hàng xem trọng lượng và tập lệnh của mô hình.

Mô hình có ở tất cả các Khu vực cung cấp SageMaker Studio, nhưng khả năng triển khai mô hình sẽ khác nhau tùy theo trạng thái cung cấp mô hình và phiên bản của loại phiên bản cần dùng. Bạn có thể tham khảo trạng thái cung cấp theo Khu vực AWS và phiên bản cần dùng trên trang chi tiết mô hình trong Chợ điện tử AWS.

Đối với các mô hình độc quyền, bạn sẽ bị tính phí theo giá phần mềm do nhà cung cấp mô hình xác định và phí cơ sở hạ tầng SageMaker dựa trên phiên bản được sử dụng. Đối với các mô hình có sẵn công khai, bạn sẽ bị tính phí cơ sở hạ tầng SageMaker dựa trên phiên bản được sử dụng. Để biết thêm thông tin, hãy xem Định giá Amazon SageMaker và AWS Marketplace.

Bảo mật là ưu tiên hàng đầu tại AWS và SageMaker JumpStart được thiết kế để bảo mật. Đó là lý do tại sao SageMaker trao cho bạn quyền sở hữu và kiểm soát đối với nội dung của mình thông qua các công cụ được đơn giản hóa mà mạnh mẽ, giúp bạn xác định nội dung của mình sẽ được lưu trữ ở đâu, bảo mật nội dung của mình khi đang truyền và khi lưu trữ, đồng thời quản lý quyền truy cập dịch vụ và tài nguyên AWS cho người dùng của bạn.

1. Chúng tôi không chia sẻ thông tin đào tạo và suy luận về khách hàng với người bán mô hình trên Chợ điện tử AWS. Tương tự như vậy, các tạo tác mô hình của người bán (ví dụ: trọng số mô hình) không được chia sẻ với người mua.
2. SageMaker JumpStart không sử dụng mô hình khách hàng, dữ liệu đào tạo hoặc thuật toán để cải thiện dịch vụ của mình, cũng như không chia sẻ dữ liệu đào tạo và suy luận của khách hàng với bên thứ ba.
3. Trong SageMaker JumpStart, các tạo tác mô hình ML được mã hóa trong quá trình chuyển tiếp và ở trạng thái nghỉ.
4. Theo Mô hình trách nhiệm chung AWS, AWS chịu trách nhiệm bảo vệ cơ sở hạ tầng toàn cầu chạy tất cả các AWS. Bạn có trách nhiệm duy trì quyền kiểm soát nội dung của mình được lưu trữ trên cơ sở hạ tầng này.

Bằng cách sử dụng mô hình từ Chợ điện tử AWS hoặc SageMaker JumpStart, người dùng chịu trách nhiệm về chất lượng đầu ra của mô hình và thừa nhận các khả năng và hạn chế được mô tả trong từng mô hình.

SageMaker JumpStart bao gồm hơn 150 mô hình có sẵn công khai được đào tạo sẵn từ PyTorch Hub và TensorFlow Hub. Đối với các tác vụ thị giác như phân loại hình ảnh và phát hiện đối tượng, bạn có thể dùng các mô hình như RESNET, MobileNet và trình phát hiện một lần chụp (SSD). Đối với các tác vụ liên quan đến văn bản như phân loại câu, phân loại văn bản và trả lời câu hỏi, bạn có thể dùng các mô hình như BERT, RoBERTa và DistilBERT.

Với SageMaker JumpStart, các nhà khoa học dữ liệu và nhà phát triển ML có thể dễ dàng chia sẻ tạo tác ML, bao gồm cả sổ tay và mô hình, trong tổ chức của họ. Quản trị viên có thể thiết lập một kho lưu trữ cho phép một nhóm người dùng xác định có thể truy cập. Tất cả người dùng có quyền truy cập kho lưu trữ có thể duyệt xem, tìm kiếm và sử dụng mô hình và sổ tay cũng như nội dung công khai bên trong SageMaker JumpStart. Người dùng có thể chọn tạo tác để đào tạo mô hình, triển khai điểm cuối và thực thi sổ tay trong SageMaker JumpStart.

Với SageMaker JumpStart, bạn có thể đẩy nhanh thời gian tiếp cận thị trường khi xây dựng các ứng dụng ML. Chỉ với vài bước, bạn có thể dễ dàng chia sẻ các mô hình và sổ tay được xây dựng bởi một nhóm với các nhóm khác trong tổ chức. Việc chia sẻ kiến thức nội bộ và tái sử dụng tài nguyên có thể giúp tăng năng suất đáng kể cho tổ chức của bạn.

Có. Quản trị viên có thể kiểm soát những mô hình Amazon SageMaker JumpStart nào hiển thị và có thể sử dụng được cho người dùng của họ trên nhiều tài khoản AWS và đối tượng nhận quyền người dùng. Để tìm hiểu thêm, hãy xem tài liệu.

Bộ công cụ tối ưu hóa suy luận giúp bạn dễ dàng triển khai các kỹ thuật tối ưu hóa suy luận mới nhất để đạt được chỉ số hiệu suất chi phí tiên tiến (SOTA) trên Amazon SageMaker, đồng thời tiết kiệm nhiều tháng thời gian cho nhà phát triển. Bạn có thể chọn từ menu các kỹ thuật tối ưu hóa phổ biến do SageMaker cung cấp và chạy các tác vụ tối ưu hóa trước thời hạn, định chuẩn mô hình cho các chỉ số hiệu suất và độ chính xác, sau đó triển khai mô hình được tối ưu hóa đến điểm cuối SageMaker để suy luận. Bộ công cụ xử lý tất cả các khía cạnh của tối ưu hóa mô hình, cho phép bạn tập trung nhiều hơn vào các mục tiêu kinh doanh.

Bộ công cụ tối ưu hóa suy luận giúp bạn nâng cao chỉ số hiệu suất chi phí và rút ngắn thời gian đưa ra thị trường đối với các ứng dụng AI tạo sinh. Bộ công cụ tối ưu hóa mô hình được quản lý toàn phần cung cấp cho bạn khả năng truy cập vào các kỹ thuật tối ưu hóa mới nhất với các công cụ dễ sử dụng. Bạn cũng có thể dễ dàng nâng cấp dần lên giải pháp tốt nhất hiện có vì bộ công cụ liên tục thích ứng với những đổi mới hiện đại, phần cứng mới và tính năng lưu trữ.

Bộ công cụ tối ưu hóa suy luận hỗ trợ các kỹ thuật tối ưu hóa như Giải mã suy luận, Lượng tử hóa và Biên dịch. Bạn có thể chọn những tối ưu hóa mà bạn muốn thêm vào mô hình trong vài cú nhấp chuột và Amazon SageMaker sẽ quản lý tất cả các công việc nặng nhọc không phân hóa gồm mua sắm phần cứng, chọn bộ chứa học sâu và các tham số điều chỉnh tương ứng để chạy các tác vụ tối ưu hóa, sau đó lưu các tạo tác mô hình được tối ưu hóa vào vị trí S3 do bạn chỉ định.

Đối với Giải mã suy luận, bạn có thể bắt đầu với mô hình phác thảo do SageMaker cung cấp để không phải tự xây dựng mô hình phác thảo từ đầu cũng như yêu cầu định tuyến và tối ưu hóa cấp hệ thống. Với Lượng tử hóa, bạn chỉ cần chọn loại độ chính xác mà bạn muốn sử dụng và bắt đầu công việc định chuẩn để đo lường mức độ đánh đổi hiệu suất so với độ chính xác. Amazon SageMaker sẽ tạo báo cáo đánh giá toàn diện để bạn có thể dễ dàng phân tích sự đánh đổi giữa hiệu suất và độ chính xác. Với Biên dịch, đối với các mô hình phổ biến nhất và cấu hình của chúng, Amazon SageMaker sẽ tự động tìm nạp các tạo tác mô hình đã biên dịch trong quá trình thiết lập và điều chỉnh quy mô điểm cuối. Nhờ đó, bạn không cần phải chạy các tác vụ biên dịch trước, tiết kiệm chi phí phần cứng.

Bộ công cụ tối ưu hóa suy luận của Amazon SageMaker giúp giảm chi phí và thời gian để tối ưu hóa các mô hình AI tạo sinh, cho phép bạn tập trung vào các mục tiêu kinh doanh.

SageMaker Canvas là một dịch vụ không dùng mã với giao diện trỏ và nhấp trực quan cho phép bạn tạo ra các dự đoán dựa trên ML có độ chính xác cao từ dữ liệu của mình. SageMaker Canvas cho phép bạn truy cập và kết hợp dữ liệu từ nhiều nguồn khác nhau bằng cách sử dụng giao diện người dùng kéo và thả, tự động dọn dẹp và chuẩn bị dữ liệu để giảm thiểu quy trình dọn dẹp thủ công. SageMaker Canvas áp dụng nhiều thuật toán ML hiện đại để tìm các mô hình dự đoán có độ chính xác cao và cung cấp giao diện trực quan nhằm đưa ra dự đoán. Bạn có thể sử dụng SageMaker Canvas để đưa ra dự đoán chính xác hơn nhiều trong các ứng dụng kinh doanh khác nhau, cũng như dễ dàng cộng tác với các nhà khoa học dữ liệu và nhà phân tích trong doanh nghiệp bằng cách chia sẻ mô hình, dữ liệu và báo cáo. Để tìm hiểu thêm về SageMaker Canvas, hãy xem Câu hỏi thường gặp về Amazon SageMaker Canvas.

Với SageMaker Canvas, bạn thanh toán dựa trên mức sử dụng. SageMaker Canvas cho phép bạn tải nhập, khám phá và chuẩn bị dữ liệu theo phương thức mang tính tương tác từ nhiều nguồn, đào tạo mô hình ML có độ chính xác cao bằng dữ liệu của bạn và tạo dự đoán. Có hai thành phần tác động đến tổng chi phí bạn cần trả: phí phiên dựa trên số giờ sử dụng hoặc đăng nhập vào SageMaker Canvas và phí đào tạo mô hình dựa trên kích thước của tập dữ liệu dùng để xây dựng mô hình. Để biết thêm thông tin, hãy xem Giá của Amazon SageMaker Canvas.

Quy trình của Amazon SageMaker giúp bạn tạo quy trình làm việc ML hoàn toàn tự động từ chuẩn bị dữ liệu đến triển khai mô hình để bạn có thể điều chỉnh quy mô lên hàng nghìn mô hình ML khi sản xuất. Bạn có thể tạo Quy trình bằng SageMaker Python SDK và xem, thực thi, kiểm tra các quy trình này từ giao diện trực quan của Studio SageMaker. Quy trình của SageMaker đảm nhận việc quản lý dữ liệu giữa các bước, đóng gói các công thức mã và điều phối việc thực thi chúng, giảm từ nhiều tháng viết mã xuống chỉ còn vài giờ. Mỗi khi một quy trình làm việc thực thi, một bản ghi đầy đủ với dữ liệu được xử lý và các hành động được thực hiện sẽ được lưu giữ để các nhà khoa học dữ liệu và nhà phát triển ML có thể nhanh chóng gỡ lỗi sự cố.

Bạn sẽ không bị tính thêm phí khi sử dụng Quy trình của SageMaker. Bạn chỉ phải trả phí cho dịch vụ điện toán cơ bản hoặc bất kỳ dịch vụ riêng biệt nào của AWS mà bạn sử dụng trong Quy trình của SageMaker.

Bạn sẽ không bị tính thêm phí khi sử dụng Các thành phần SageMaker cho Kubeflow Pipelines. 

Con người tham gia vào quy trình là quá trình tận dụng sự tham gia của con người trong suốt vòng đời ML để cải thiện độ chính xác và mức độ liên quan của các mô hình. Con người có thể thực hiện nhiều tác vụ khác nhau, từ tạo và chú thích dữ liệu đến xem lại và tùy chỉnh mô hình. Sự can thiệp của con người đóng vai trò đặc biệt quan trọng đối với các ứng dụng AI tạo sinh, trong đó con người thường vừa là đối tượng yêu cầu vừa là đối tượng dùng nội dung. Do đó, việc con người đào tạo các mô hình nền tảng (FM) để phản hồi chính xác, an toàn và có liên quan tới câu lệnh của người dùng là rất quan trọng. Phản hồi của con người có thể được áp dụng để giúp bạn hoàn thành nhiều tác vụ. Đầu tiên, tạo các tập dữ liệu đào tạo được gắn nhãn chất lượng cao cho các ứng dụng AI tạo sinh thông qua học có giám sát (trong đó con người mô phỏng phong cách, thời lượng và độ chính xác về cách mô hình phản hồi với câu lệnh của người dùng) và học tăng cường với phản hồi của con người (trong đó con người xếp hạng và phân loại các phản hồi của mô hình). Thứ hai, sử dụng dữ liệu do con người tạo ra để tùy chỉnh FM theo các tác vụ cụ thể hoặc với dữ liệu cụ thể của công ty và miền của bạn, đồng thời làm cho đầu ra mô hình phù hợp với bạn.

Khả năng của con người tham gia vào quy trình đóng vai trò quan trọng trong việc tạo và cải thiện các ứng dụng AI tạo sinh được hỗ trợ bởi FM. Lực lượng lao động có kỹ năng cao được đào tạo theo nguyên tác của tác vụ có thể cung cấp phản hồi, hướng dẫn, thông tin đầu vào và đánh giá trong các hoạt động như tạo dữ liệu minh hoạ để đào tạo FM, sửa và cải thiện các phản hồi mẫu, tinh chỉnh mô hình dựa trên dữ liệu của công ty và ngành, đóng vai trò như một biện pháp bảo vệ chống lại nội dung độc hại và thiên vị và hơn thế nữa. Do đó, khả năng của con người tham gia vào quy trình có thể cải thiện độ chính xác và hiệu năng của mô hình. 

Amazon SageMaker Ground Truth cung cấp bộ khả năng của con người tham gia vào quy trình toàn diện nhất. Có hai cách để sử dụng Amazon SageMaker Ground Truth, đó là dịch vụ tự phục vụ và dịch vụ do AWS quản lý. Trong dịch vụ tự phục vụ, người chú thích dữ liệu, người sáng tạo nội dung và kỹ sư câu lệnh (nội bộ, do nhà cung cấp quản lý hoặc tận dụng cộng đồng) có thể sử dụng giao diện người dùng không cần nhiều mã của chúng tôi để tăng tốc các tác vụ của con người tham gia vào quy trình, đồng thời có thể linh hoạt xây dựng và quản lý quy trình làm việc tùy chỉnh của riêng bạn. Trong dịch vụ do AWS quản lý (SageMaker Ground Truth Plus), chúng tôi xử lý công việc nặng nhọc cho bạn, bao gồm việc lựa chọn và quản lý lực lượng lao động phù hợp cho trường hợp sử dụng của bạn. SageMaker Ground Truth Plus thiết kế và tùy chỉnh quy trình làm việc toàn diện (bao gồm các bước đào tạo lực lượng lao động chi tiết và đảm bảo chất lượng), đồng thời cung cấp một đội ngũ có kỹ năng do AWS quản lý, được đào tạo về các tác vụ cụ thể và đáp ứng các yêu cầu về chất lượng, tính bảo mật và tính tuân thủ cho dữ liệu của bạn. 

SageMaker Data Wrangler giảm thời gian cần để tổng hợp và chuẩn bị dữ liệu cho ML. Từ một giao diện duy nhất trong Studio SageMaker, bạn có thể duyệt xem và nhập dữ liệu từ Amazon S3, Amazon Athena, Amazon Redshift, AWS Lake Formation, Amazon EMR, Snowflake và Databricks chỉ trong vài bước. Bạn cũng có thể truy vấn và nhập dữ liệu được truyền từ hơn 50 nguồn dữ liệu và được Amazon AppFlow đăng ký trong Danh mục dữ liệu AWS Glue. SageMaker Data Wrangler sẽ tự động tải, tổng hợp và hiển thị dữ liệu thô. Sau khi nhập dữ liệu của bạn vào SageMaker Data Wrangler, bạn có thể xem các bản tóm tắt cột và biểu đồ tần suất được tạo tự động. Sau đó, bạn có thể đào sâu hơn để hiểu dữ liệu của mình và xác định các lỗi tiềm ẩn với báo cáo Chất lượng và thông tin chuyên sâu về dữ liệu của SageMaker Data Wrangler, cung cấp số liệu thống kê tóm tắt và cảnh báo chất lượng dữ liệu. Bạn cũng có thể chạy phân tích thiên kiến được hỗ trợ bởi SageMaker Clarify trực tiếp từ SageMaker Data Wrangler để phát hiện thiên kiến tiềm ẩn trong quá trình chuẩn bị dữ liệu. Từ đó, bạn có thể sử dụng các chuyển đổi được dựng sẵn của SageMaker Data Wrangler để chuẩn bị dữ liệu của mình. Sau khi dữ liệu của bạn đã được chuẩn bị, bạn có thể dựng các quy trình làm việc ML tự động hóa hoàn toàn với Quy trình của Amazon SageMaker hoặc nhập dữ liệu đó vào Cửa hàng tính năng của Amazon SageMaker .

Bạn phải trả phí cho toàn bộ tài nguyên điện toán, lưu trữ và xử lý dữ liệu ML mà bạn sử dụng cho SageMaker Data Wrangler. Bạn có thể xem toàn bộ chi tiết về giá của SageMaker Data Wrangler tại đây. Khi tham gia Bậc miễn phí của AWS, bạn có thể bắt đầu sử dụng miễn phí SageMaker Data Wrangler.

Kho đặc trưng của SageMaker là một nền tảng được quản lý toàn phần, dành riêng để lưu trữ, chia sẻ và quản lý đặc trưng cho các mô hình máy học (ML). Bạn có thể khám phá và chia sẻ các đặc trưng để dễ dàng tái sử dụng cho nhiều mô hình và nhóm thông qua quyền truy cập và kiểm soát an toàn, kể cả giữa các tài khoản AWS. Kho đặc trưng của SageMaker hỗ trợ cả đặc trưng trực tuyến và đặc trưng ngoại tuyến nhằm phục vụ hoạt động suy luận theo thời gian thực, suy luận hàng loạt và đào tạo. Kho lưu trữ này đồng thời quản lý các quy trình lấy dữ liệu đặc trưng hàng loạt và truyền trực tiếp để giảm tình trạng trùng lặp trong quá trình tạo đặc trưng và cải thiện độ chính xác của mô hình.

Bạn có thể bắt đầu sử dụng miễn phí Kho đặc trưng của SageMaker trong Bậc miễn phí của AWS. Với Kho đặc trưng của SageMaker, bạn phải trả phí cho việc ghi vào kho đặc trưng, cũng như đọc và lưu trữ từ kho đặc trưng trực tuyến. Để biết chi tiết về giá, hãy xem Giá của Amazon SageMaker.

SageMaker cung cấp hai dịch vụ ghi nhãn dữ liệu, Amazon SageMaker Ground Truth Plus và Amazon SageMaker Ground Truth. Cả hai tùy chọn cho phép bạn xác định dữ liệu thô, chẳng hạn như hình ảnh, tệp văn bản và video, đồng thời thêm nhãn thông tin để tạo tập dữ liệu đào tạo chất lượng cao cho các mô hình ML của bạn. Để tìm hiểu thêm, hãy xem Ghi nhãn dữ liệu Amazon SageMaker.

Sổ tay Studio SageMaker là các sổ tay Jupyter một bước và có thể được tạo nhanh chóng. Các tài nguyên điện toán cơ bản vô cùng linh hoạt, do đó bạn có thể dễ dàng điều chỉnh các tài nguyên có sẵn và các thay đổi sẽ diễn ra tự động trong nền mà không làm gián đoạn công việc của bạn. SageMaker cũng hỗ trợ chia sẻ sổ tay chỉ với một bước. Bạn có thể dễ dàng chia sẻ sổ ghi chép với người khác và họ sẽ nhận được cuốn sổ ghi chép đó, được lưu ở cùng một nơi.

Với sổ tay Studio SageMaker, bạn có thể dùng thông tin chứng thực của công ty mình để đăng nhập bằng Trung tâm danh tính IAM. Dễ dàng chia sẻ sổ tay trong nhóm và giữa các nhóm vì các thành phần phụ thuộc cần cho chạy sổ tay được tự động theo dõi trong hình ảnh công việc và hình ảnh này được đóng gói và chia sẻ cùng với sổ tay.

Không. Bạn có thể tạo và chạy nhiều sổ tay trên cùng một phiên bản điện toán. Bạn chỉ trả tiền cho mức điện toán mà bạn sử dụng, chứ không phải trả tiền cho từng mục riêng. Bạn có thể đọc hướng dẫn đo lường của chúng tôi để biết thêm thông tin.

Ngoài sổ tay, bạn cũng có thể bắt đầu và chạy giao diện đầu cuối và các shell tương tác trong Studio SageMaker, tất cả trong cùng một phiên bản điện toán. Mỗi ứng dụng chạy trong một bộ chứa hoặc hình ảnh. Studio SageMaker tích hợp sẵn một số hình ảnh chuyên dụng được định cấu hình sẵn cho khoa học dữ liệu và ML.

Bạn có thể giám sát và tắt tài nguyên mà sổ tay Studio SageMaker sử dụng thông qua cả giao diện trực quan Studio SageMaker và Bảng điều khiển quản lý AWS. Hãy xem tài liệu này để biết thêm chi tiết.

Không, bạn không bị tính phí cho việc tạo hoặc định cấu hình miền Studio SageMaker, bao gồm cả việc thêm, cập nhật và xóa hồ sơ người dùng.

Với tư cách là quản trị viên, bạn có thể vào bảng điều khiển thanh toán AWS để xem danh sách các khoản phí theo từng mục của SageMaker, bao gồm cả Studio SageMaker. Trong Bảng điều khiển quản lý AWS dành cho SageMaker, chọn Dịch vụ ở menu trên cùng, nhập “thanh toán” vào hộp tìm kiếm, rồi chọn Thanh toán ở menu thả xuống, sau đó chọn Hóa đơn ở bảng điều khiển bên trái. Trong phần Chi tiết, bạn có thể chọn SageMaker để mở rộng danh sách Khu vực, rồi truy sâu vào các khoản phí theo từng mục.

Có. SageMaker có thể tự động phân phối các mô hình học sâu và tập hợp đào tạo lớn trên các phiên bản GPU AWS, với thời gian ngắn hơn nhiều so với thời gian cần để xây dựng và tối ưu hóa những chiến lược phân phối này theo cách thủ công. Hai kỹ thuật đào tạo phân tán mà SageMaker áp dụng là song song dữ liệu và song song mô hình. Công dụng của kỹ thuật song song dữ liệu là cải thiện tốc độ đào tạo bằng cách chia đều dữ liệu cho nhiều phiên bản GPU, nhờ đó các phiên bản có thể đào tạo đồng thời. Kỹ thuật song song mô hình rất hữu ích đối với những mô hình quá lớn nên không thể lưu trữ ở một GPU duy nhất, dẫn đến phải phân vùng mô hình thành các phần nhỏ hơn trước khi phân phối trên nhiều GPU. Chỉ với vài dòng mã bổ sung trong các tập lệnh đào tạo PyTorch và TensorFlow, SageMaker sẽ tự động áp dụng kỹ thuật song song dữ liệu hoặc kỹ thuật song song mô hình cho bạn. Nhờ đó, bạn có thể phát triển và triển khai mô hình nhanh hơn. SageMaker sẽ xác định biện pháp tiếp cận tốt nhất để phân chia mô hình, bằng cách sử dụng các thuật toán phân vùng đồ thị để cân bằng việc tính toán của từng GPU, đồng thời giảm thiểu sự giao tiếp giữa các phiên bản GPU. Ngoài ra, SageMaker còn tối ưu hóa tác vụ đào tạo phân tán thông qua các thuật toán sử dụng đầy đủ khả năng điện toán và kết nối mạng của AWS để đạt được hiệu quả điều chỉnh quy mô cận tuyến tính. Nhờ đó, bạn có thể hoàn thành quá trình đào tạo nhanh hơn so với việc triển khai mã nguồn mở thủ công.

Mọi Khu vực hiện cung cấp SageMaker đều hỗ trợ sử dụng tính năng Đào tạo tại chỗ được quản lý.

Không có giới hạn cố định đối với kích thước của tập dữ liệu mà bạn có thể sử dụng cho việc đào tạo mô hình bằng SageMaker.

Vào thời điểm này thì không. Chức năng này chỉ mang đến hiệu năng và trải nghiệm điều chỉnh mô hình tốt nhất ở trong SageMaker.

Hiện tại, thuật toán dùng để điều chỉnh siêu tham số là hoạt động triển khai kỹ thuật Tối ưu hóa Bayes tùy chỉnh. Thuật toán này được sử dụng để tối ưu hóa một chỉ số khách quan do khách hàng chỉ định trong suốt quá trình điều chỉnh. Cụ thể, thuật toán này kiểm tra chỉ số đối tượng của các tác vụ đào tạo đã hoàn thành và vận dụng kiến thức để suy luận cách kết hợp siêu tham số cho tác vụ đào tạo tiếp theo.

Không. Cách các siêu tham số nhất định tác động đến hiệu năng của mô hình sẽ phụ thuộc vào nhiều yếu tố khác nhau. Rất khó có thể khẳng định rõ ràng rằng một siêu tham số quan trọng hơn các siêu tham số còn lại và đưa ra kết luận là cần điều chỉnh tham số đó. Đối với các thuật toán tích hợp sẵn trong SageMaker, chúng tôi có đưa ra chú thích về khả năng điều chỉnh của từng siêu tham số.

Thời lượng của một tác vụ điều chỉnh siêu tham số phụ thuộc vào nhiều yếu tố, bao gồm cả kích thước của dữ liệu, thuật toán cơ bản và giá trị của siêu tham số. Ngoài ra, khách hàng có thể lựa chọn số lượng tác vụ đào tạo đồng thời và tổng số tác vụ đào tạo. Tất cả những lựa chọn này đều ảnh hưởng đến thời gian hoàn thành tác vụ điều chỉnh siêu tham số.

Vào thời điểm này thì không. Hiện tại, bạn cần chỉ định một chỉ số mục tiêu duy nhất để tối ưu hóa hoặc thay đổi mã thuật toán để đưa ra một chỉ số mới (là giá trị trung bình có trọng số của hai hoặc nhiều chỉ số có ích) và yêu cầu quy trình điều chỉnh tối ưu hóa theo chỉ số mục tiêu đó.

Tác vụ điều chỉnh siêu tham số không mất phí. Bạn sẽ bị tính phí theo các tác vụ đào tạo do tác vụ điều chỉnh siêu tham số khởi chạy, dựa trên giá đào tạo mô hình.

Tính năng tự động của SageMaker tự động hóa mọi thứ trong quy trình làm việc ML thông thường, bao gồm xử lý trước đặc trưng, lựa chọn thuật toán và điều chỉnh siêu tham số, đồng thời tập trung cụ thể vào các trường hợp sử dụng phân loại và hồi quy. Mặt khác, Điều chỉnh mô hình tự động được thiết kế để điều chỉnh bất kỳ mô hình nào, bất kể mô hình đó dựa trên thuật toán tích hợp sẵn, khung học sâu hay các bộ chứa tùy chỉnh. Để đổi lấy tính linh hoạt, bạn phải tự tay chọn thuật toán cụ thể, siêu tham số để điều chỉnh và phạm vi tìm kiếm tương ứng.

Học tăng cường là kỹ thuật ML cho phép tác tử học trong môi trường tương tác bằng phương pháp thử và sai thông qua phản hồi từ các hành động và kinh nghiệm của chính mình.

Có, bạn có thể đào tạo mô hình học tăng cường trong SageMaker, bên cạnh các mô hình học có giám sát và học không có giám sát.

Học tăng cường và học có giám sát đều sử dụng ánh xạ giữa đầu vào và đầu ra. Tuy nhiên, trong học có giám sát, phản hồi mà tác nhân nhận được là tập hợp hành động chính xác để thực hiện tác vụ. Trong khi đó, học tăng cường sử dụng phản hồi trễ, tối ưu hóa tín hiệu phần thưởng để đạt được mục tiêu dài hạn thông qua chuỗi hành động.

Mục tiêu của kỹ thuật học có giám sát là tìm ra câu trả lời chính xác dựa trên các mẫu hình trong dữ liệu đào tạo, còn mục tiêu của kỹ thuật học không có giám sát là tìm ra sự tương đồng và khác biệt giữa các điểm dữ liệu. Ngược lại, mục tiêu của kỹ thuật học tăng cường (RL) là học cách đạt được kết quả mong muốn ngay cả khi không rõ cách để đạt được kết quả đó. Do đó, RL là lựa chọn phù hợp hơn để hỗ trợ các ứng dụng thông minh, khi tác tử có thể đưa ra quyết định tự chủ, chẳng hạn như robot, xe tự hành, hệ thống sưởi ấm, thông gió và điều hòa không khí (HVAC), hệ thống điều khiển công nghiệp, v.v.

Amazon SageMaker RL hỗ trợ một số môi trường khác nhau để đào tạo mô hình RL. Bạn có thể sử dụng các dịch vụ AWS như AWS RoboMaker, môi trường mã nguồn mở hoặc môi trường tùy chỉnh được phát triển bằng giao diện Open AI Gym, hay các môi trường mô phỏng thương mại như MATLAB và SimuLink.

Không, SageMaker RL bao gồm cả bộ công cụ RL, chẳng hạn như Coach và Ray RLLib, cung cấp việc triển khai các thuật toán tác tử RL như DQN, PPO, A3C, v.v.

Có, bạn có thể đưa thư viện RL và hoạt động triển khai thuật toán của riêng mình vào Bộ chứa Docker, rồi chạy chúng trong SageMaker RL.

Có. Bạn thậm chí có thể chọn một cụm không đồng nhất, tại đó, hoạt động đào tạo có thể chạy trên một phiên bản GPU và các hoạt động mô phỏng có thể chạy trên nhiều phiên bản CPU.

Bạn có thể giảm quy mô số lượng phiên bản điểm cuối Suy luận không đồng bộ của SageMaker về 0 để tiết kiệm chi phí khi bạn không chủ động xử lý các yêu cầu. Bạn cần xác định một chính sách điều chỉnh quy mô cho phép điều chỉnh quy mô dựa trên chỉ số tùy chỉnh "ApproximateBacklogPerInstance" và đặt giá trị "MinCapacity" thành 0. Để xem hướng dẫn từng bước, vui lòng truy cập phần tự động điều chỉnh quy mô điểm cuối không đồng bộ trong hướng dẫn dành cho nhà phát triển. 

Suy luận phi máy chủ của SageMaker là một tùy chọn phân phát mô hình phi máy chủ chuyên dụng, giúp bạn dễ dàng triển khai và điều chỉnh quy mô mô hình ML. Các điểm cuối Suy luận phi máy chủ của SageMaker sẽ tự động khởi động tài nguyên điện toán cũng như tăng giảm quy mô tài nguyên tùy thuộc vào lưu lượng truy cập, do đó bạn không cần phải lựa chọn loại phiên bản, vận hành theo dung lượng được cung cấp hoặc quản lý khả năng điều chỉnh quy mô. Bạn có thể chỉ định các yêu cầu về bộ nhớ cho điểm cuối suy luận phi máy chủ của mình, nếu muốn. Bạn chỉ phải trả tiền cho thời gian chạy mã suy luận và lượng dữ liệu được xử lý, không mất phí cho thời gian không hoạt động.

Với các điểm cuối phi máy chủ theo nhu cầu, nếu điểm cuối của bạn không nhận được lưu lượng truy cập trong một khoảng thời gian, rồi lại đột nhiên nhận được các yêu cầu mới thì điểm cuối có thể cần chút thời gian để khởi động tài nguyên điện toán nhằm xử lý các yêu cầu. Đây được gọi là khởi động nguội. Khởi động nguội cũng có thể xảy ra nếu các yêu cầu đồng thời vượt quá mức sử dụng yêu cầu đồng thời hiện tại. Thời gian khởi động nguội phụ thuộc vào kích thước mô hình, thời gian cần để tải xuống mô hình và thời gian khởi động bộ chứa của bạn.

Để giảm sự biến động trong cấu hình độ trễ, bạn có thể bật Tính đồng thời được cung cấp cho điểm cuối phi máy chủ, nếu muốn. Với Tính đồng thời được cung cấp, các điểm cuối phi máy chủ của bạn luôn sẵn sàng và có thể phục vụ ngay lập tức các đợt tăng đột biến về lưu lượng truy cập mà không cần khởi động nguội.

Với Suy luận phi máy chủ theo nhu cầu, khi bật Tính đồng thời được cung cấp, bạn chỉ thanh toán chi phí năng lực điện toán được sử dụng để xử lý các yêu cầu suy luận, tính theo mili giây, cũng như lượng dữ liệu được xử lý. Bạn cũng thanh toán cho mức sử dụng Tính đồng thời được cung cấp, dựa trên bộ nhớ được cấu hình, thời gian được cung cấp và số lượng tính đồng thời được bật. Để biết thêm thông tin, hãy xem Giá của Amazon SageMaker.

Trình đề xuất suy luận của SageMaker giảm thời gian cần thiết để đưa mô hình ML vào môi trường sản xuất bằng cách tự động hóa việc đối chuẩn hiệu năng và điều chỉnh hiệu năng mô hình trên các phiên bản ML của SageMaker. Giờ đây, bạn có thể sử dụng Trình đề xuất suy luận của SageMaker để triển khai mô hình đến điểm cuối có khả năng mang lại hiệu năng tốt nhất cũng như giảm thiểu chi phí. Bạn chỉ cần vài phút để làm quen với Trình đề xuất suy luận của SageMaker, vài giờ để chọn loại phiên bản và nhận đề xuất cấu hình điểm cuối tối ưu thay vì phải dành ra hàng tuần để kiểm thử và tinh chỉnh thủ công. Trình đề xuất suy luận của SageMaker chỉ tính phí cho các phiên bản ML của SageMaker được sử dụng trong quá trình kiểm thử độ chịu tải và không tính thêm phí nào khác.

Không, chúng tôi chỉ hỗ trợ một mô hình cho mỗi điểm cuối.

Hiện tại, chúng tôi chỉ hỗ trợ các điểm cuối theo thời gian thực.

Chúng tôi hỗ trợ tất cả các Khu vực mà Amazon SageMaker hỗ trợ, ngoại trừ các Khu vực AWS Trung Quốc.

Có, chúng tôi hỗ trợ mọi loại bộ chứa. Amazon EC2 Inf1, dựa trên chip AWS Inferentia, yêu cầu một tạo tác mô hình được biên dịch bằng trình biên dịch Neuron hoặc Amazon SageMaker Neo. Sau khi có mô hình được biên dịch cho mục tiêu Inferentia và URI hình ảnh bộ chứa được liên kết, bạn có thể dùng Trình đề xuất suy luận của SageMaker để đối chuẩn các loại phiên bản Inferentia khác nhau.

Không. SageMaker thay mặt bạn vận hành cơ sở hạ tầng điện toán, nhờ đó có thể thực hiện các hoạt động kiểm tra tình trạng, áp dụng bản vá bảo mật và công việc bảo trì định kỳ khác. Bạn cũng có thể triển khai các tạo tác mô hình từ quá trình đào tạo với mã suy luận tùy chỉnh trong môi trường lưu trữ của riêng bạn.

Dịch vụ lưu trữ SageMaker sử dụng API Application Auto Scaling để tự động thay đổi quy mô theo hiệu năng cần thiết cho ứng dụng của bạn. Ngoài ra, bạn có thể thay đổi số lượng và loại phiên bản theo cách thủ công bằng cách điều chỉnh cấu hình điểm cuối mà không gây ngừng hoạt động.

SageMaker đưa ra chỉ số hiệu năng trong các Chỉ số của Amazon CloudWatch để bạn có thể theo dõi chỉ số, đặt cảnh báo và tự động phản ứng với những thay đổi trong lưu lượng truy cập sản xuất. Ngoài ra, SageMaker cũng ghi nhật ký vào Bản ghi Amazon CloudWatch để bạn có thể giám sát và khắc phục sự cố cho môi trường sản xuất của mình.

SageMaker có thể lưu trữ bất kỳ mô hình nào tuân thủ thông số kỹ thuật được ghi lại cho hình ảnh Docker suy luận, bao gồm cả những mô hình được tạo ra từ tạo tác mô hình và mã suy luận SageMaker.

SageMaker có khả năng mở rộng quy mô để đáp ứng một lượng lớn giao dịch mỗi giây. Con số chính xác sẽ thay đổi tùy theo mô hình được triển khai cũng như số lượng và loại phiên bản mà mô hình được triển khai.

Tính năng Chuyển đổi hàng loạt hỗ trợ bạn chạy dự đoán trên các lô dữ liệu lớn hoặc nhỏ. Bạn không cần phải chia nhỏ tập dữ liệu thành nhiều phần hoặc quản lý các điểm cuối theo thời gian thực. Với một API đơn giản, bạn có thể yêu cầu dự đoán cho số lượng lớn bản ghi dữ liệu cũng như chuyển đổi dữ liệu một cách nhanh chóng và dễ dàng.

Trình quản lý biên của SageMaker đơn giản hóa việc tối ưu hóa, bảo mật, giám sát và duy trì mô hình ML trên các nhóm thiết bị biên như camera thông minh, robot, máy tính cá nhân và thiết bị di động. Trình quản lý biên của SageMaker giúp các nhà phát triển ML vận hành mô hình ML trên nhiều thiết bị biên khác nhau ở quy mô lớn.

Để bắt đầu sử dụng Trình quản lý biên của SageMaker, bạn cần biên dịch và đóng gói các mô hình ML đã đào tạo của mình trên đám mây, đăng ký thiết bị của bạn và chuẩn bị thiết bị của bạn với SDK Trình quản lý biên của SageMaker. Để chuẩn bị mô hình của bạn cho quá trình triển khai, Trình quản lý biên của SageMaker sử dụng SageMaker Neo để biên dịch mô hình của bạn cho phần cứng biên mục tiêu của bạn. Sau khi mô hình được biên dịch, Trình quản lý biên của SageMaker đánh dấu mô hình bằng khóa do AWS tạo, sau đó đóng gói mô hình với thời gian hoạt động và thông tin chứng thực cần thiết của bạn để sẵn sàng triển khai. Về phía thiết bị, bạn đăng ký thiết bị của mình với Trình quản lý biên của SageMaker, tải xuống SDK Trình quản lý biên của SageMaker, sau đó làm theo hướng dẫn để cài đặt tác tử Trình quản lý biên của SageMaker trên thiết bị của bạn. Sổ tay hướng dẫn có cung cấp một ví dụ từng bước về cách bạn có thể chuẩn bị các mô hình và kết nối các mô hình của mình trên các thiết bị biên với Trình quản lý biên của SageMaker.

Trình quản lý biên của SageMaker hỗ trợ các thiết bị dựa trên CPU (ARM, x86) và GPU (ARM, Nvidia) phổ biến có hệ điều hành Linux và Windows. Theo thời gian, Trình quản lý biên của SageMaker sẽ mở rộng để hỗ trợ thêm nhiều bộ xử lý được nhúng cũng như các nền tảng di động mà cũng được SageMaker Neo hỗ trợ.

Không, bạn không cần dùng. Bạn có thể đào tạo mô hình ở nơi khác hoặc sử dụng mô hình đã được đào tạo sẵn từ nguồn mở hoặc từ nhà cung cấp mô hình của bạn.

Có, bạn cần dùng. SageMaker Neo chuyển đổi và biên dịch mô hình thành mô hình có thể thực thi để bạn đóng gói và triển khai trên các thiết bị biên. Sau khi gói mô hình được triển khai, tác tử Trình quản lý biên của SageMaker sẽ mở gói mô hình và chạy mô hình đó trên thiết bị.

Trình quản lý biên của SageMaker lưu trữ gói mô hình trong vùng lưu trữ Amazon S3 mà bạn đã chỉ định. Bạn có thể sử dụng đặc trưng triển khai vô tuyến (OTA) do AWS IoT Greengrass cung cấp hoặc bất kỳ cơ chế triển khai nào khác mà bạn chọn để triển khai gói mô hình từ vùng lưu trữ S3 của bạn đến các thiết bị.

Dlr Neo là thời gian hoạt động mã nguồn mở chỉ chạy những mô hình do dịch vụ SageMaker Neo biên dịch. So với dlr mã nguồn mở, SDK Trình quản lý biên của SageMaker bao gồm cả một tác tử cấp doanh nghiệp trên thiết bị – cung cấp thêm các tính năng bảo mật, quản lý mô hình và phân phát mô hình. SDK Trình quản lý biên của SageMaker phù hợp để triển khai ở môi trường sản xuất trên quy mô lớn.

Trình quản lý biên của SageMaker và AWS IoT Greengrass có thể phối hợp cùng nhau trong giải pháp IoT của bạn. Sau khi Trình quản lý biên của SageMaker đóng gói mô hình ML của bạn, bạn có thể sử dụng tính năng cập nhật OTA AWS IoT Greengrass để triển khai gói mô hình cho thiết bị của mình. AWS IoT Greengrass cho phép bạn giám sát các thiết bị IoT của mình từ xa, còn Trình quản lý biên của SageMaker giúp bạn giám sát và duy trì các mô hình ML trên thiết bị.

AWS cung cấp loạt tính năng toàn diện và chuyên sâu nhất để chạy mô hình trên thiết bị biên. Chúng tôi có các dịch vụ hỗ trợ nhiều trường hợp sử dụng đa dạng, bao gồm cả thị giác máy tính, nhận dạng giọng nói và bảo trì dự đoán.

Đối với các công ty muốn vận hành thị giác máy tính trên các thiết bị biên như camera và đồ gia dụng, bạn có thể sử dụng AWS Panorama. AWS Panorama cung cấp các ứng dụng thị giác máy tính sẵn sàng triển khai cho thiết bị biên. Bắt đầu sử dụng AWS Panorama thật dễ dàng. Chỉ cần đăng nhập vào bảng điều khiển đám mây, chọn mô hình bạn muốn sử dụng trong Amazon S3 hoặc SageMaker, sau đó viết logic nghiệp vụ dưới dạng tập lệnh Python. AWS Panorama biên dịch mô hình cho thiết bị đích và tạo gói ứng dụng để bạn triển khai mô hình cho thiết bị của mình chỉ với vài lần nhấp chuột. Ngoài ra, những nhà cung cấp phần mềm độc lập muốn xây dựng ứng dụng tùy chỉnh của riêng mình có thể sử dụng SDK AWS Panorama, còn các nhà sản xuất thiết bị có thể sử dụng SDK Thiết bị để chứng nhận thiết bị của họ tương thích với AWS Panorama.

Những khách hàng muốn xây dựng mô hình của riêng mình và muốn có quyền kiểm soát chi tiết hơn đối với các đặc trưng của mô hình thì có thể sử dụng Trình quản lý biên của SageMaker. Trình quản lý biên của SageMaker là một dịch vụ được quản lý để chuẩn bị, chạy, giám sát và cập nhật các mô hình ML trong các nhóm thiết bị biên như camera thông minh, loa thông minh và robot cho mọi trường hợp sử dụng, chẳng hạn như xử lý ngôn ngữ tự nhiên, phát hiện gian lận và bảo trì dự đoán. Trình quản lý biên của SageMaker là tính năng dành cho những nhà phát triển biên ML muốn kiểm soát mô hình của mình, bao gồm cả việc thiết kế các đặc trưng mô hình khác nhau và giám sát sự sai lệch của mô hình. Bất kỳ nhà phát triển biên ML nào cũng có thể sử dụng Trình quản lý biên của SageMaker thông qua bảng điều khiển SageMaker và API SageMaker. Trình quản lý biên của SageMaker đưa các chức năng của SageMaker vào phục vụ việc xây dựng, đào tạo và triển khai các mô hình trên đám mây đến các thiết bị biên.

Trình quản lý biên của SageMaker được cung cấp ở sáu Khu vực: Miền Đông Hoa Kỳ (Bắc Virginia), Miền Đông Hoa Kỳ (Ohio), Miền Tây Hoa Kỳ (Oregon), EU (Ireland), EU (Frankfurt) và Châu Á Thái Bình Dương (Tokyo). Để biết chi tiết, hãy xem danh sách Dịch vụ theo Khu vực AWS.

SageMaker Neo cho phép các mô hình ML nhận đào tạo một lần và chạy ở bất cứ đâu trên đám mây và tại biên. SageMaker Neo tự động tối ưu hóa những mô hình được xây dựng bằng các khung DL phổ biến có thể dùng để triển khai trên nhiều nền tảng phần cứng. Các mô hình được tối ưu hóa chạy nhanh hơn tới 25 lần và tiêu thụ ít hơn một phần mười tài nguyên so với các mô hình ML điển hình.

Để bắt đầu sử dụng SageMaker Neo, hãy đăng nhập vào bảng điều khiển SageMaker, chọn một mô hình được đào tạo, làm theo ví dụ để biên dịch mô hình và triển khai mô hình kết quả lên nền tảng phần cứng mục tiêu của bạn.

SageMaker Neo chứa hai thành phần chính: trình biên dịch và thời gian hoạt động. Đầu tiên, trình biên dịch SageMaker Neo đọc các mô hình được xuất bởi các khung khác nhau. Sau đó, trình biên dịch chuyển đổi các hàm và phép toán cụ thể của từng khung thành một dạng biểu diễn trung gian không phụ thuộc vào khung. Tiếp theo, trình biên dịch thực hiện một loạt các tối ưu hóa. Sau đó, trình biên dịch tạo mã nhị phân cho các phép toán được tối ưu hóa và ghi chúng vào thư viện đối tượng dùng chung. Trình biên dịch cũng lưu định nghĩa mô hình và các tham số vào các tệp riêng biệt. Trong quá trình thực thi, thời gian hoạt động của SageMaker Neo tải các tạo tác được tạo bởi trình biên dịch – định nghĩa mô hình, các tham số và thư viện đối tượng dùng chung để chạy mô hình.

Không. Bạn có thể đào tạo mô hình ở nơi khác và sử dụng SageMaker Neo để tối ưu hóa mô hình cho phiên bản SageMaker ML hoặc thiết bị được AWS IoT Greengrass hỗ trợ.

Hiện tại, SageMaker Neo hỗ trợ những mô hình DL phổ biến nhất là nền tảng cho các ứng dụng thị giác máy tính và mô hình cây quyết định phổ biến nhất đang được dùng trong SageMaker. SageMaker Neo tối ưu hóa hiệu năng của các mô hình AlexNet, ResNet, VGG, Inception, MobileNet, SqueezeNet và DenseNet được đào tạo trong MXNet và TensorFlow, cũng như các mô hình random cut forest và phân loại được đào tạo trong XGBoost.

Bạn có thể xem danh sách phiên bản đám mây được hỗ trợ, thiết bị biên và phiên bản khung trong tài liệu về SageMaker Neo.

Để xem danh sách các Khu vực được hỗ trợ, hãy xem danh sách Dịch vụ theo Khu vực AWS.

Bạn có thể mua Gói tiết kiệm trong bất kỳ tài khoản nào trong nhóm Tổ chức AWS/Thanh toán tổng hợp. Theo mặc định, lợi ích do Gói tiết kiệm cung cấp có thể áp dụng cho việc sử dụng trên tất cả các tài khoản trong nhóm Tổ chức AWS/Thanh toán tổng hợp. Tuy nhiên, bạn cũng có thể chọn hạn chế lợi ích của Gói tiết kiệm chỉ đối với tài khoản đã mua gói.