Câu hỏi thường gặp về Amazon SageMaker AI

Thông tin chung

Amazon SageMaker là một nền tảng hợp nhất dành cho dữ liệu, phân tích và AI. Kết hợp các tính năng phân tích và máy học (ML) của AWS được áp dụng rộng rãi, SageMaker thế hệ tiếp theo mang đến trải nghiệm tích hợp cho giải pháp phân tích và AI với quyền truy cập hợp nhất vào tất cả dữ liệu của bạn. SageMaker cho phép bạn cộng tác và xây dựng nhanh hơn từ studio thống nhất bằng cách sử dụng các công cụ AWS quen thuộc dành cho phát triển mô hình, AI tạo sinh, xử lý dữ liệu và phân tích SQL, được tăng tốc nhờ Nhà phát triển Amazon Q, trợ lý AI tạo sinh có năng lực nhất để phát triển phần mềm. Ngoài ra, bạn có thể truy cập tất cả dữ liệu của mình cho dù nó được lưu trữ trong hồ dữ liệu, kho dữ liệu, nguồn dữ liệu liên kết hoặc của bên thứ ba, với khả năng quản trị được tích hợp để giải quyết các nhu cầu bảo mật của doanh nghiệp.

Để biết danh sách các Khu vực SageMaker được hỗ trợ, vui lòng truy cập trang Dịch vụ AWS theo Khu vực. Đồng thời, để biết thêm thông tin, hãy xem mục Regional endpoints trong hướng dẫn tham khảo chung của AWS.

SageMaker có thiết kế đảm bảo độ sẵn sàng cao. Không có khung thời gian bảo trì hay thời gian ngừng hoạt động theo lịch. Các API SageMaker chạy trong những trung tâm dữ liệu đã được chứng minh là có độ sẵn sàng cao của Amazon, mỗi Khu vực đều có ba cơ sở được định cấu hình tính năng sao chép ngăn xếp dịch vụ để đảm bảo khả năng chịu lỗi trong trường hợp máy chủ bị lỗi hoặc Vùng sẵn sàng ngừng hoạt động.

SageMaker lưu trữ mã trong ổ đĩa lưu trữ ML, được bảo mật bởi các nhóm bảo mật và có thể được mã hóa khi lưu trữ.

SageMaker đảm bảo rằng các tạo tác của mô hình ML và những tạo tác khác của hệ thống đều được mã hóa khi truyền và khi lưu trữ. Yêu cầu đối với API SageMaker và bảng điều khiển được thực hiện qua kết nối an toàn (SSL). Bạn chuyển các vai trò Quản lý danh tính và truy cập trong AWS cho SageMaker để cung cấp quyền truy cập tài nguyên thay mặt bạn nhằm phục vụ hoạt động đào tạo và triển khai. Bạn có thể sử dụng vùng lưu trữ Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) được mã hóa cho các tạo tác và dữ liệu mô hình, cũng như chuyển khóa Dịch vụ quản lý khóa của AWS (AWS KMS) cho sổ tay, tác vụ đào tạo và điểm cuối của SageMaker để mã hóa khối lưu trữ ML gắn kèm. SageMaker cũng hỗ trợ Đám mây riêng ảo của Amazon (Amazon VPC) và AWS PrivateLink.

SageMaker không sử dụng hay chia sẻ mô hình khách hàng, dữ liệu đào tạo hoặc thuật toán. Chúng tôi biết rằng khách hàng quan tâm sâu sắc tới quyền riêng tư và bảo mật dữ liệu. Đó là lý do tại sao AWS trao cho bạn quyền sở hữu và kiểm soát đối với nội dung của mình thông qua các công cụ đơn giản mà mạnh mẽ. Nhờ đó, bạn có thể xác định nơi lưu trữ nội dung của mình, bảo mật nội dung đang được truyền và nội dung đang được lưu trữ, đồng thời quản lý quyền truy cập vào các dịch vụ và tài nguyên AWS cho người dùng của bạn. Chúng tôi cũng thực hiện các biện pháp kiểm soát kỹ thuật và vật lý, được thiết kế để ngăn chặn việc truy cập trái phép hoặc tiết lộ nội dung của bạn. Với vai trò khách hàng, bạn vẫn có quyền sở hữu đối với nội dung của mình và bạn được chọn những Dịch vụ AWS có thể xử lý, lưu trữ và lưu trữ web nội dung của mình. Chúng tôi không truy cập nội dung của bạn để phục vụ cho bất kỳ mục đích nào khi chưa có sự đồng ý của bạn.

Bạn trả tiền cho tài nguyên điện toán, lưu trữ và xử lý dữ liệu ML mà bạn sử dụng để lưu trữ sổ tay, đào tạo mô hình, thực hiện dự đoán và tạo bản ghi kết quả đầu ra. Với SageMaker, bạn có thể chọn số lượng và loại phiên bản được sử dụng cho sổ tay được lưu trữ, hoạt động đào tạo và lưu trữ mô hình. Bạn chỉ trả tiền cho những gì bạn sử dụng và khi bạn sử dụng; không có phí tối thiểu và không có cam kết trả trước. Để biết thêm chi tiết, hãy xem Định giá Amazon SageMakerCông cụ tính giá Amazon SageMaker.

Có một số phương pháp tốt nhất mà bạn có thể áp dụng để tối ưu hóa mức sử dụng tài nguyên SageMaker của mình. Một số phương pháp liên quan đến tối ưu hóa cấu hình; còn một số phương pháp khác liên quan đến các giải pháp mang tính lập trình. Bạn có thể tìm thấy hướng dẫn toàn diện về khái niệm này, kèm các hướng dẫn trực quan và các mẫu mã, trong bài đăng trên blog này.

SageMaker cung cấp quy trình làm việc đầy đủ và hoàn chỉnh, nhưng bạn có thể tiếp tục sử dụng các công cụ hiện có của mình với SageMaker. Bạn có thể dễ dàng truyền kết quả của từng giai đoạn vào và ra khỏi SageMaker theo yêu cầu kinh doanh của bạn.

Có. Bạn có thể sử dụng R trong các phiên bản sổ ghi chép SageMaker, bao gồm nhân R được cài đặt sẵn và thư viện reticulate. Reticulate cung cấp giao diện R cho Amazon SageMaker Python SDK, giúp người thao tác ML xây dựng, đào tạo, điều chỉnh và triển khai các mô hình R. Bạn cũng có thể khởi chạy RStudio, một môi trường phát triển tích hợp (IDE) cho R trong Studio Amazon SageMaker.  

Studio Amazon SageMaker cung cấp một giao diện trực quan duy nhất dựa trên web cho phép bạn thực hiện tất cả các bước phát triển ML. Studio SageMaker mang đến cho bạn toàn quyền truy nhập, kiểm soát và khả năng quan sát từng bước cần thiết để chuẩn bị dữ liệu cũng như xây dựng, đào tạo và triển khai các mô hình. Bạn có thể nhanh chóng tải lên dữ liệu, tạo sổ ghi chép mới, đào tạo và điều chỉnh các mô hình, di chuyển qua lại giữa các bước để điều chỉnh các thử nghiệm, so sánh kết quả và triển khai các mô hình để sản xuất tất cả tại một vị trí, nhờ đó giúp bạn làm việc hiệu quả hơn. Tất cả các hoạt động phát triển ML bao gồm sổ ghi chép, quản lý thử nghiệm, tạo mô hình tự động, gỡ lỗi và định cấu hình cũng như phát hiện sai lệch mô hình có thể được thực hiện trong giao diện trực quan SageMaker Studio hợp nhất.

Bạn sẽ không bị tính thêm phí khi sử dụng Studio SageMaker. Bạn chỉ cần trả phí điện toán và lưu trữ cơ bản cho những dịch vụ mà bạn dùng trong Studio SageMaker.

Bạn có thể xem các Khu vực hỗ trợ Studio SageMaker trong Amazon SageMaker Developer Guide.

Amazon SageMaker Clarify giúp cải thiện tính minh bạch của mô hình bằng cách phát hiện thiên kiến về thống kê trên toàn bộ quy trình làm việc ML. SageMaker Clarify kiểm tra sự mất cân bằng trong quá trình chuẩn bị dữ liệu, sau khi đào tạo và liên tục theo thời gian, đồng thời bao gồm các công cụ để giúp giải thích các mô hình ML và dự đoán của chúng. Bạn có thể chia sẻ các nội dung phát hiện qua báo cáo khả năng giải thích.

RStudio trên SageMaker AI là RStudio Workbench được quản lý toàn phần đầu tiên trên đám mây. Bạn có thể nhanh chóng khởi chạy môi trường phát triển tích hợp (IDE) RStudio quen thuộc cũng như tăng và giảm quy mô tài nguyên điện toán cơ sở mà không làm gián đoạn công việc, từ đó xây dựng giải pháp ML và phân tích trong R ở quy mô lớn dễ dàng hơn. Bạn có thể chuyển đổi liền mạch giữa sổ tay IDE RStudio và Studio SageMaker để phát triển bằng R và Python. Tất cả công việc của bạn, bao gồm cả mã, tập dữ liệu, kho lưu trữ và các tạo tác khác, sẽ được tự động đồng bộ hóa giữa hai môi trường để giảm việc chuyển đổi ngữ cảnh và tăng năng suất.

Đo lường độ lệch trong mô hình ML là bước đầu tiên để giảm độ lệch. Bạn có thể đo lường độ lệch trước khi đào tạo (trong quá trình chuẩn bị dữ liệu), sau khi đào tạo (bằng cách sử dụng Thử nghiệm của Amazon SageMaker) và trong quá trình suy luận cho mô hình được triển khai (bằng Trình giám sát mẫu của Amazon SageMaker). Mỗi chỉ số trong hơn 20 chỉ số độ lệch này tương ứng với một khái niệm khác nhau về tính công bằng. Bạn sẽ chọn chỉ số phù hợp với ứng dụng và tình huống mà bạn đang nghiên cứu. Ví dụ: Trước khi đào tạo, các chỉ số như Tình trạng mất cân bằng giữa các lớp và những khác biệt trong quá trình phân phối nhãn giữa các nhóm sẽ kiểm tra xem dữ liệu đào tạo có đại diện cho tổng nhóm đối tượng hay không. SageMaker Clarify sẽ xem xét cả sự khác biệt về kết quả khẳng định (thuận lợi) và sự khác biệt về cách phân phối nhãn riêng lẻ để phát hiện xem liệu một nhóm có đang được đại diện thấp hơn tình trạng thực tế hay không. Sau khi đào tạo hoặc trong quá trình triển khai, chỉ số về độ lệch sẽ giúp đo lường xem hiệu năng của mô hình có khác nhau giữa các nhóm hay không và nếu có thì ở mức nào. Các chỉ số như Đại diện công bằng và Tác động khác biệt đo lường sự khác biệt trong các dự đoán khẳng định. Các chỉ số Hiệu năng công bằng, như sự khác biệt về độ chính xác (khả năng mà dự đoán khẳng định là chính xác) và recall (khả năng mà mô hình sẽ gắn nhãn chính xác một ví dụ khẳng định), sẽ đánh giá mức độ phân bố lỗi công bằng giữa các nhóm. Tìm hiểu thêm tại bài đăng blog này. 

SageMaker Clarify được tích hợp với Thử nghiệm của SageMaker để cung cấp biểu đồ mức độ quan trọng của đặc trưng, trong đó nêu chi tiết tầm quan trọng của từng dữ liệu đầu vào đối với quy trình ra quyết định tổng thể của mô hình sau khi mô hình được đào tạo. Những chi tiết này có thể giúp xác định liệu một dữ liệu đầu vào mô hình cụ thể có ảnh hưởng đến hành vi tổng thể của mô hình nhiều hơn bình thường hay không. SageMaker Clarify cũng cung cấp nội dung giải thích cho các dự đoán riêng lẻ thông qua API. 

SageMaker và SageMaker AI

Amazon SageMaker AI (trước đây là Amazon SageMaker) là một dịch vụ được quản lý toàn phần, tập hợp một bộ công cụ đa dạng để hỗ trợ máy học (ML) hiệu năng cao, chi phí thấp cho mọi trường hợp sử dụng. Với SageMaker AI, bạn có thể xây dựng, đào tạo và triển khai các mô hình ML có thể điều chỉnh quy mô. SageMaker là một nền tảng thống nhất dành cho dữ liệu, phân tích và AI. Dịch vụ này cung cấp trải nghiệm phát triển thống nhất dựa trên AI mới để khách hàng xây dựng các ứng dụng trên AWS một cách dễ dàng và nhanh chóng.

Tại re:Invent 2024, các tính năng được hỗ trợ bao gồm điểm cuối suy luận, JumpStart, Đào tạo, MLFlow, Sổ đăng ký mô hình, ứng dụng AI của đối tác, HyperPod, Quy trình và các tính năng khác. Chúng tôi cố gắng kết hợp tất cả các chức năng hiện có, hỗ trợ toàn bộ hành trình phát triển mô hình, từ đào tạo đến triển khai, trong Studio thống nhất mới.

SageMaker cung cấp trải nghiệm dữ liệu và AI thống nhất để tìm kiếm, truy cập và làm việc trên dữ liệu của bạn, đẩy nhanh các sáng kiến phân tích và AI. SageMaker AI sẽ tiếp tục được hỗ trợ, vì vậy bạn không cần thực hiện bất kỳ hành động nào để đảm bảo quy trình làm việc hiện tại của mình tiếp tục hoạt động. Ví dụ: bạn có thể tiếp tục sử dụng các cụm Amazon SageMaker HyperPod hiện có của mình. Nếu bạn muốn sử dụng chúng trong Studio SageMaker thống nhất mới, hãy thiết lập kết nối với cụm này. Tất cả các cấu hình HyperPod hiện tại của bạn sẽ tự động được di chuyển sang dự án của bạn trong SageMaker và hiệu năng cũng như mức độ tiết kiệm chi phí vẫn sẽ như nhau. Tuy vậy, trải nghiệm Studio SageMaker thống nhất có thể cải thiện năng suất bằng cách đưa tất cả các công cụ vào cùng một nơi.

Chúng tôi rất vui mừng được công bố một studio thống nhất cho phép bạn cộng tác và xây dựng nhanh hơn. Từ Studio SageMaker thống nhất, bạn có thể khám phá dữ liệu, truy vấn dữ liệu, đào tạo mô hình AI và xây dựng các ứng dụng AI tạo sinh. Chúng tôi luôn sẵn lòng hỗ trợ bạn trong từng bước trên hành trình. Chúng tôi sẽ cung cấp các hướng dẫn dễ sử dụng để đưa các dự án hiện có của bạn sang studio thống nhất vào quý 1 năm 2025. Nếu bạn có bất kỳ thắc mắc nào, đừng ngần ngại liên hệ với đội ngũ phụ trách tài khoản của bạn.

Studio SageMaker vẫn là một lựa chọn tuyệt vời cho những khách hàng cần trải nghiệm phát triển ML đáng tin cậy và được hợp lý hóa. Các tổ chức muốn khám phá các tính năng dữ liệu và phân tích sẽ cảm thấy hứng thú trước khả năng quản trị tích hợp, phân tích nâng cao và các tính năng AI tạo sinh của nền tảng thống nhất mới. Với trải nghiệm tích hợp của Studio SageMaker thống nhất mới, bạn có thể chuẩn bị và tích hợp dữ liệu, duyệt dữ liệu bằng SQL cũng như khám phá và quản trị dữ liệu với một danh mục thống nhất.

Có, HyperPod, JumpStart, MLFlow, JupyterLab và Quy trình đều được cung cấp trong Studio SageMaker thống nhất mới. Ngoài ra, các điểm cuối suy luận, Đào tạo, Sổ đăng ký mô hình và các tính năng phổ biến khác của SageMaker cũng được hỗ trợ trong Studio thống nhất mới.

Hành trình 1. Chọn, tùy chỉnh và triển khai mô hình nền tảng (FM):

  • Duyệt và chọn tập dữ liệu
  • Chọn một FM
  • Đánh giá mô hình (tự động và con người)
  • Tùy chỉnh, tinh chỉnh: Tối ưu hóa giá, hiệu năng và chất lượng FM
  • Tối ưu hóa và triển khai để suy luận
  • Tự động hóa với FMOps và giám sát mô hình

Hành trình 2. Xây dựng, đào tạo và triển khai mô hình ML trên quy mô lớn:

  • Tăng tốc và điều chỉnh quy mô chuẩn bị dữ liệu cho ML
  • Xây dựng mô hình ML
  • Đào tạo và tinh chỉnh các mô hình ML
  • Triển khai trong sản xuất
  • Quản lý và giám sát
  • Tự động hóa vòng đời ML

Hành trình 3. Chọn một mô hình, xây dựng và triển khai một ứng dụng AI tạo sinh:

  • Chọn một mô hình và tinh chỉnh mô hình đó
  • Nhập mô hình vào Amazon Bedrock
  • Xây dựng và triển khai ứng dụng AI tạo sinh tích hợp với điểm cuối của bạn

Hành trình 4. Chọn và triển khai mô hình đến điểm cuối và kết nối điểm cuối với các ứng dụng AI tạo sinh:

  • Chọn một mô hình
  • Triển khai mô hình đến điểm cuối SageMaker
  • Kết nối điểm cuối với các ứng dụng AI tạo sinh của bạn

Trải nghiệm phát triển thống nhất mới có mô hình định giá dựa trên mức sử dụng cho Studio và định giá theo chi phí sản xuất đối với tất cả các dịch vụ cơ bản. Studio thống nhất sẽ tính phí lưu trữ siêu dữ liệu, yêu cầu API và quản trị. Để biết thêm chi tiết, hãy truy cập Định giá Amazon SageMaker.

Quản trị máy học

SageMaker cung cấp các công cụ quản trị ML được xây dựng theo mục đích trong suốt vòng đời ML. Với Trình quản lý vai trò của Amazon SageMaker, quản trị viên có thể xác định các quyền tối thiểu trong vài phút. Thẻ thông tin mô hình của Amazon SageMaker giúp bạn dễ dàng nắm bắt, truy xuất và chia sẻ thông tin mô hình thiết yếu từ khi thiết kế đến triển khai, Bảng thông tin mô hình của Amazon SageMaker giúp bạn luôn nắm được hành vi mô hình sản xuất, tất cả ở một nơi. Để biết
thêm thông tin, hãy xem Quản trị ML với Amazon SageMaker.

Bạn có thể xác định các quyền tối thiểu trong vài phút với Trình quản lý vai trò của SageMaker. Công cụ này cung cấp một bộ quyền cơ sở cho các danh tính và hoạt động máy học với danh mục chính sách IAM dựng sẵn. Bạn có thể giữ các quyền cơ sở hoặc tùy chỉnh thêm dựa trên nhu cầu cụ thể. Với một vài lời nhắc tự thực hiện, bạn có thể nhanh chóng nhập các cấu trúc quản trị phổ biến như ranh giới truy cập mạng và khóa mã hóa. Sau đó, Trình quản lý vai trò SageMaker sẽ tự động tạo chính sách IAM. Bạn có thể khám phá vai trò đã tạo và các chính sách liên quan thông qua bảng điều khiển AWS IAM. Để điều chỉnh thêm quyền cho trường hợp sử dụng, hãy đính kèm các chính sách IAM được quản lý với vai trò IAM mà bạn tạo bằng Trình quản lý vai trò của SageMaker. Bạn cũng có thể thêm thẻ để giúp xác định vai trò và sắp xếp trên các dịch vụ AWS.

Thẻ thông tin mô hình của SageMaker giúp bạn tập trung và chuẩn hóa tài liệu mô hình trong suốt vòng đời ML bằng cách tạo một nguồn dữ liệu xác thực duy nhất cho thông tin mô hình. Thẻ thông tin mô hình của SageMaker tự động nạp thông tin chi tiết đào tạo để đẩy nhanh quá trình lập tài liệu. Bạn cũng có thể thêm các chi tiết như mục đích của mô hình và mục tiêu hiệu năng. Bạn có thể đính kèm kết quả đánh giá mô hình vào thẻ thông tin mô hình của mình và cung cấp hình ảnh trực quan để nắm bắt thông tin chuyên sâu quan trọng về hiệu năng mô hình. Bạn có thể dễ dàng chia sẻ Thẻ thông tin mô hình của SageMaker với người khác bằng cách xuất sang định dạng PDF.

Bảng thông tin mô hình của SageMaker cung cấp cho bạn tổng quan toàn diện về các mô hình và điểm cuối được triển khai, cho phép bạn theo dõi tài nguyên và vi phạm hành vi mô hình trên cùng một màn hình. Công cụ này cho phép bạn giám sát hành vi mẫu theo bốn thứ nguyên, bao gồm chất lượng dữ liệu và chất lượng mô hình, cũng như độ lệch thuộc tính đặc trưng và độ lệch thiên kiến thông qua việc tích hợp với Trình giám sát mẫu của SageMaker và SageMaker Clarify. Bảng thông tin mô hình của SageMaker cũng cung cấp trải nghiệm tích hợp để thiết lập và nhận cảnh báo cho các tác vụ giám sát mẫu bị thiếu và không hoạt động cũng như độ lệch trong hành vi mẫu đối với chất lượng mô hình, chất lượng dữ liệu, độ lệch thiên kiến và độ lệch thuộc tính đặc trưng. Bạn có thể kiểm tra thêm các mẫu riêng lẻ và phân tích các yếu tố ảnh hưởng đến hiệu suất của mẫu theo thời gian. Sau đó, bạn có thể phối hợp với chuyên viên máy học để thực hiện các biện pháp khắc phục.

Mô hình nền tảng

SageMaker JumpStart giúp bạn bắt đầu với ML một cách dễ dàng và nhanh chóng. SageMaker JumpStart cung cấp một bộ giải pháp cho các trường hợp sử dụng phổ biến nhất có thể được triển khai dễ dàng chỉ trong vài bước. Các giải pháp có thể tùy chỉnh toàn phần và giới thiệu việc sử dụng các mẫu AWS CloudFormation và kiến trúc tham chiếu để bạn có thể tăng tốc trên hành trình ML của mình. SageMaker JumpStart còn cung cấp các mô hình nền tảng và hỗ trợ triển khai một bước và tinh chỉnh hơn 150 mô hình nguồn mở phổ biến, chẳng hạn như bộ chuyển đổi, phát hiện đối tượng và mô hình phân loại hình ảnh. 

SageMaker JumpStart cung cấp các mô hình độc quyền và công khai. Để biết danh sách các mô hình nền tảng có sẵn, hãy xem Bắt đầu sử dụng Amazon SageMaker JumpStart.

Bạn có thể truy cập các mô hình nền tảng thông qua Studio SageMaker, SageMaker SDK và Bảng điều khiển quản lý AWS. Để bắt đầu sử dụng các mô hình nền tảng độc quyền, bạn phải chấp nhận các điều khoản bán hàng trong AWS Marketplace.

Không. Hệ thống sẽ không sử dụng hay chia sẻ dữ liệu suy luận và đào tạo của bạn để cập nhật hoặc đào tạo mô hình cơ sở mà SageMaker JumpStart cung cấp cho khách hàng.

Không. Các mô hình độc quyền không cho phép khách hàng xem trọng lượng và tập lệnh của mô hình.

Mô hình có ở tất cả các Khu vực cung cấp SageMaker Studio, nhưng khả năng triển khai mô hình sẽ khác nhau tùy theo trạng thái cung cấp mô hình và phiên bản của loại phiên bản cần dùng. Bạn có thể tham khảo trạng thái cung cấp theo Khu vực AWS và phiên bản cần dùng trên trang chi tiết mô hình trong Chợ điện tử AWS.

Đối với các mô hình độc quyền, bạn sẽ bị tính phí theo giá phần mềm do nhà cung cấp mô hình xác định và phí cơ sở hạ tầng SageMaker dựa trên phiên bản được sử dụng. Đối với các mô hình có sẵn công khai, bạn sẽ bị tính phí cơ sở hạ tầng SageMaker dựa trên phiên bản được sử dụng. Để biết thêm thông tin, hãy xem Định giá Amazon SageMakerAWS Marketplace.

Bảo mật là ưu tiên hàng đầu tại AWS và SageMaker JumpStart được thiết kế để bảo mật. Đó là lý do tại sao SageMaker trao cho bạn quyền sở hữu và kiểm soát đối với nội dung của mình thông qua các công cụ được đơn giản hóa mà mạnh mẽ, giúp bạn xác định nội dung của mình sẽ được lưu trữ ở đâu, bảo mật nội dung của mình khi đang truyền và khi lưu trữ, đồng thời quản lý quyền truy cập dịch vụ và tài nguyên AWS cho người dùng của bạn.

  1. Chúng tôi không chia sẻ thông tin đào tạo và suy luận về khách hàng với người bán mô hình trên Chợ điện tử AWS. Tương tự như vậy, các tạo tác mô hình của người bán (ví dụ: trọng số mô hình) không được chia sẻ với người mua.
  2. SageMaker JumpStart không sử dụng mô hình khách hàng, dữ liệu đào tạo hoặc thuật toán để cải thiện dịch vụ của mình, cũng như không chia sẻ dữ liệu đào tạo và suy luận của khách hàng với bên thứ ba.
  3. Trong SageMaker JumpStart, các tạo tác mô hình ML được mã hóa trong quá trình chuyển tiếp và ở trạng thái nghỉ.
  4. Theo Mô hình trách nhiệm chung AWS, AWS chịu trách nhiệm bảo vệ cơ sở hạ tầng toàn cầu chạy tất cả các AWS. Bạn có trách nhiệm duy trì quyền kiểm soát nội dung của mình được lưu trữ trên cơ sở hạ tầng này.

Bằng cách sử dụng mô hình từ Chợ điện tử AWS hoặc SageMaker JumpStart, người dùng chịu trách nhiệm về chất lượng đầu ra của mô hình và thừa nhận các khả năng và hạn chế được mô tả trong từng mô hình.

SageMaker JumpStart bao gồm hơn 150 mô hình có sẵn công khai được đào tạo sẵn từ PyTorch Hub và TensorFlow Hub. Đối với các tác vụ thị giác như phân loại hình ảnh và phát hiện đối tượng, bạn có thể dùng các mô hình như RESNET, MobileNet và trình phát hiện một lần chụp (SSD). Đối với các tác vụ liên quan đến văn bản như phân loại câu, phân loại văn bản và trả lời câu hỏi, bạn có thể dùng các mô hình như BERT, RoBERTa và DistilBERT.

Với SageMaker JumpStart, các nhà khoa học dữ liệu và nhà phát triển ML có thể dễ dàng chia sẻ tạo tác ML, bao gồm cả sổ tay và mô hình, trong tổ chức của họ. Quản trị viên có thể thiết lập một kho lưu trữ cho phép một nhóm người dùng xác định có thể truy cập. Tất cả người dùng có quyền truy cập kho lưu trữ có thể duyệt xem, tìm kiếm và sử dụng mô hình và sổ tay cũng như nội dung công khai bên trong SageMaker JumpStart. Người dùng có thể chọn tạo tác để đào tạo mô hình, triển khai điểm cuối và thực thi sổ tay trong SageMaker JumpStart.

Với SageMaker JumpStart, bạn có thể đẩy nhanh thời gian tiếp cận thị trường khi xây dựng các ứng dụng ML. Chỉ với vài bước, bạn có thể dễ dàng chia sẻ các mô hình và sổ tay được xây dựng bởi một nhóm với các nhóm khác trong tổ chức. Việc chia sẻ kiến thức nội bộ và tái sử dụng tài nguyên có thể giúp tăng năng suất đáng kể cho tổ chức của bạn.

Amazon SageMaker Clarify hiện hỗ trợ đánh giá mô hình nền tảng. Bạn có thể đánh giá, so sánh và chọn các mô hình nền tảng tốt nhất cho trường hợp sử dụng cụ thể của mình. Chỉ cần chọn mô hình mà bạn muốn đánh giá cho một tác vụ nhất định, chẳng hạn như trả lời câu hỏi hoặc tóm tắt nội dung. Và sau đó chọn tiêu chí đánh giá (ví dụ: độ chính xác, tính công bằng và độ mạnh mẽ) và tải lên tập dữ liệu câu lệnh riêng của bạn hoặc chọn từ tập dữ liệu tích hợp sẵn, được cung cấp công khai. Đối với tiêu chí chủ quan hoặc nội dung có sắc thái đòi hỏi sự phán đoán tinh vi của con người, bạn có thể chọn tận dụng lực lượng lao động của riêng mình hoặc sử dụng lực lượng lao động được quản lý do AWS cung cấp để xem xét các phản hồi. Khi bạn hoàn thành quá trình thiết lập, SageMaker Clarify sẽ chạy các đánh giá và tạo báo cáo, qua đó bạn có thể dễ dàng hiểu về cách mô hình hoạt động trên các tiêu chí chính. Bạn có thể đánh giá các mô hình nền tảng trong SageMaker JumpStart bằng trình hướng dẫn đánh giá hoặc bất kỳ mô hình nền tảng nào không lưu trữ trên AWS bằng thư viện nguồn mở.

Có. Quản trị viên có thể kiểm soát những mô hình Amazon SageMaker JumpStart nào hiển thị và có thể sử dụng được cho người dùng của họ trên nhiều tài khoản AWS và đối tượng nhận quyền người dùng. Để tìm hiểu thêm, hãy xem tài liệu.

Bộ công cụ tối ưu hóa suy luận giúp bạn dễ dàng triển khai các kỹ thuật tối ưu hóa suy luận mới nhất để đạt được chỉ số hiệu suất chi phí tiên tiến (SOTA) trên Amazon SageMaker, đồng thời tiết kiệm nhiều tháng thời gian cho nhà phát triển. Bạn có thể chọn từ menu các kỹ thuật tối ưu hóa phổ biến do SageMaker cung cấp và chạy các tác vụ tối ưu hóa trước thời hạn, định chuẩn mô hình cho các chỉ số hiệu suất và độ chính xác, sau đó triển khai mô hình được tối ưu hóa đến điểm cuối SageMaker để suy luận. Bộ công cụ xử lý tất cả các khía cạnh của tối ưu hóa mô hình, cho phép bạn tập trung nhiều hơn vào các mục tiêu kinh doanh.

Bộ công cụ tối ưu hóa suy luận giúp bạn nâng cao chỉ số hiệu suất chi phí và rút ngắn thời gian đưa ra thị trường đối với các ứng dụng AI tạo sinh. Bộ công cụ tối ưu hóa mô hình được quản lý toàn phần cung cấp cho bạn khả năng truy cập vào các kỹ thuật tối ưu hóa mới nhất với các công cụ dễ sử dụng. Bạn cũng có thể dễ dàng nâng cấp dần lên giải pháp tốt nhất hiện có vì bộ công cụ liên tục thích ứng với những đổi mới hiện đại, phần cứng mới và tính năng lưu trữ.

Bộ công cụ tối ưu hóa suy luận hỗ trợ các kỹ thuật tối ưu hóa như Giải mã suy luận, Lượng tử hóa và Biên dịch. Bạn có thể chọn những tối ưu hóa mà bạn muốn thêm vào mô hình trong vài cú nhấp chuột và Amazon SageMaker sẽ quản lý tất cả các công việc nặng nhọc không phân hóa gồm mua sắm phần cứng, chọn bộ chứa học sâu và các tham số điều chỉnh tương ứng để chạy các tác vụ tối ưu hóa, sau đó lưu các tạo tác mô hình được tối ưu hóa vào vị trí S3 do bạn chỉ định.

Đối với Giải mã suy luận, bạn có thể bắt đầu với mô hình phác thảo do SageMaker cung cấp để không phải tự xây dựng mô hình phác thảo từ đầu cũng như yêu cầu định tuyến và tối ưu hóa cấp hệ thống. Với Lượng tử hóa, bạn chỉ cần chọn loại độ chính xác mà bạn muốn sử dụng và bắt đầu công việc định chuẩn để đo lường mức độ đánh đổi hiệu suất so với độ chính xác. Amazon SageMaker sẽ tạo báo cáo đánh giá toàn diện để bạn có thể dễ dàng phân tích sự đánh đổi giữa hiệu suất và độ chính xác. Với Biên dịch, đối với các mô hình phổ biến nhất và cấu hình của chúng, Amazon SageMaker sẽ tự động tìm nạp các tạo tác mô hình đã biên dịch trong quá trình thiết lập và điều chỉnh quy mô điểm cuối. Nhờ đó, bạn không cần phải chạy các tác vụ biên dịch trước, tiết kiệm chi phí phần cứng.

Bộ công cụ tối ưu hóa suy luận của Amazon SageMaker giúp giảm chi phí và thời gian để tối ưu hóa các mô hình AI tạo sinh, cho phép bạn tập trung vào các mục tiêu kinh doanh.

ML không cần nhiều mã

SageMaker Canvas là một dịch vụ không dùng mã với giao diện trỏ và nhấp trực quan cho phép bạn tạo ra các dự đoán dựa trên ML có độ chính xác cao từ dữ liệu của mình. SageMaker Canvas cho phép bạn truy cập và kết hợp dữ liệu từ nhiều nguồn khác nhau bằng cách sử dụng giao diện người dùng kéo và thả, tự động dọn dẹp và chuẩn bị dữ liệu để giảm thiểu quy trình dọn dẹp thủ công. SageMaker Canvas áp dụng nhiều thuật toán ML hiện đại để tìm các mô hình dự đoán có độ chính xác cao và cung cấp giao diện trực quan nhằm đưa ra dự đoán. Bạn có thể sử dụng SageMaker Canvas để đưa ra dự đoán chính xác hơn nhiều trong các ứng dụng kinh doanh khác nhau, cũng như dễ dàng cộng tác với các nhà khoa học dữ liệu và nhà phân tích trong doanh nghiệp bằng cách chia sẻ mô hình, dữ liệu và báo cáo. Để tìm hiểu thêm về SageMaker Canvas, hãy xem Câu hỏi thường gặp về Amazon SageMaker Canvas.

Với SageMaker Canvas, bạn thanh toán dựa trên mức sử dụng. SageMaker Canvas cho phép bạn tải nhập, khám phá và chuẩn bị dữ liệu theo phương thức mang tính tương tác từ nhiều nguồn, đào tạo mô hình ML có độ chính xác cao bằng dữ liệu của bạn và tạo dự đoán. Có hai thành phần tác động đến tổng chi phí bạn cần trả: phí phiên dựa trên số giờ sử dụng hoặc đăng nhập vào SageMaker Canvas và phí đào tạo mô hình dựa trên kích thước của tập dữ liệu dùng để xây dựng mô hình. Để biết thêm thông tin, hãy xem Giá của Amazon SageMaker Canvas.

Quy trình làm việc ML

Quy trình của Amazon SageMaker giúp bạn tạo quy trình làm việc ML hoàn toàn tự động từ chuẩn bị dữ liệu đến triển khai mô hình để bạn có thể điều chỉnh quy mô lên hàng nghìn mô hình ML khi sản xuất. Bạn có thể tạo Quy trình bằng SageMaker Python SDK và xem, thực thi, kiểm tra các quy trình này từ giao diện trực quan của Studio SageMaker. Quy trình của SageMaker đảm nhận việc quản lý dữ liệu giữa các bước, đóng gói các công thức mã và điều phối việc thực thi chúng, giảm từ nhiều tháng viết mã xuống chỉ còn vài giờ. Mỗi khi một quy trình làm việc thực thi, một bản ghi đầy đủ với dữ liệu được xử lý và các hành động được thực hiện sẽ được lưu giữ để các nhà khoa học dữ liệu và nhà phát triển ML có thể nhanh chóng gỡ lỗi sự cố.

Bạn có thể sử dụng bước đăng ký mô hình trong Quy trình của SageMaker để hợp nhất tất cả các mô hình có thể triển khai ở một nơi. Sau đó, bạn hoặc người khác trong nhóm của bạn có thể khám phá, đánh giá và phê duyệt các mô hình này để triển khai trong Sổ đăng ký mô hình của SageMaker thông qua giao diện người dùng Studio SageMaker hoặc SDK Python.
Quy trình của SageMaker bao gồm “các bước”. Bạn có thể chọn bất kỳ loại bước được hỗ trợ gốc nào để soạn quy trình làm việc gọi ra các đặc trưng khác nhau của SageMaker (ví dụ: đào tạo, đánh giá) hoặc các dịch vụ AWS khác (ví dụ: EMR, Lambda). Bạn cũng có thể bảo toàn và di chuyển mã Python ML vào Quy trình của SageMaker bằng cách sử dụng hàm trang trí python “@step” hoặc thêm toàn bộ Sổ tay python làm thành phần của Quy trình. Để biết thêm chi tiết, vui lòng tham khảo hướng dẫn dành cho nhà phát triển về Quy trình của SageMaker.
Quy trình của SageMaker tự động theo dõi mọi thành phần của mô hình và duy trì biên bản kiểm tra về mọi thay đổi, từ đó loại bỏ việc theo dõi thủ công và có thể giúp bạn đạt được các mục tiêu về tuân thủ. Bạn có thể sử dụng Quy trình của SageMaker để theo dõi dữ liệu, mã, mô hình được đào tạo, v.v.

Bạn sẽ không bị tính thêm phí khi sử dụng Quy trình của SageMaker. Bạn chỉ phải trả phí cho dịch vụ điện toán cơ bản hoặc bất kỳ dịch vụ riêng biệt nào của AWS mà bạn sử dụng trong Quy trình của SageMaker.

Có. Các thành phần Amazon SageMaker cho Kubeflow Pipelines là những plugin nguồn mở cho phép bạn sử dụng Kubeflow Pipelines để xác định quy trình công việc ML của bạn và sử dụng SageMaker cho các bước suy diễn, đào tạo và gắn nhãn dữ liệu. Kubeflow Pipelines là một tiện ích bổ sung cho Kubeflow, cho phép bạn xây dựng và triển khai các quy trình ML hoàn chỉnh, di động và có thể thay đổi quy mô. Tuy nhiên, khi sử dụng Kubeflow Pipelines, các nhóm vận hành ML cần quản lý cụm Kubernetes với các phiên bản CPU và GPU, đồng thời luôn duy trì mức sử dụng cao để giảm chi phí vận hành. Tối đa hóa việc sử dụng một cụm trên các nhóm khoa học dữ liệu là một thách thức và làm tăng thêm chi phí hoạt động cho các nhóm vận hành ML. Là một giải pháp thay thế cho cụm Kubernetes được tối ưu hóa cho ML, Các thành phần SageMaker cho Kubeflow Pipelines cho phép bạn tận dụng các tính năng SageMaker mạnh mẽ như tác vụ ghi nhãn dữ liệu, điều chỉnh siêu tham số quy mô lớn được quản lý đầy đủ và đào tạo phân tán, triển khai mô hình an toàn và có thể thay đổi quy mô bằng một lần nhấp chuột, cũng như đào tạo tiết kiệm chi phí thông qua các phiên bản dùng ngay trong Đám mây điện toán linh hoạt của Amazon (Amazon EC2) mà không cần phải định cấu hình và quản lý các cụm Kubernetes một cách đặc thù để chạy các tác vụ ML.

Bạn sẽ không bị tính thêm phí khi sử dụng Các thành phần SageMaker cho Kubeflow Pipelines. 

Con người tham gia vào quy trình

Con người tham gia vào quy trình là quá trình tận dụng sự tham gia của con người trong suốt vòng đời ML để cải thiện độ chính xác và mức độ liên quan của các mô hình. Con người có thể thực hiện nhiều tác vụ khác nhau, từ tạo và chú thích dữ liệu đến xem lại và tùy chỉnh mô hình. Sự can thiệp của con người đóng vai trò đặc biệt quan trọng đối với các ứng dụng AI tạo sinh, trong đó con người thường vừa là đối tượng yêu cầu vừa là đối tượng dùng nội dung. Do đó, việc con người đào tạo các mô hình nền tảng (FM) để phản hồi chính xác, an toàn và có liên quan tới câu lệnh của người dùng là rất quan trọng. Phản hồi của con người có thể được áp dụng để giúp bạn hoàn thành nhiều tác vụ. Đầu tiên, tạo các tập dữ liệu đào tạo được gắn nhãn chất lượng cao cho các ứng dụng AI tạo sinh thông qua học có giám sát (trong đó con người mô phỏng phong cách, thời lượng và độ chính xác về cách mô hình phản hồi với câu lệnh của người dùng) và học tăng cường với phản hồi của con người (trong đó con người xếp hạng và phân loại các phản hồi của mô hình). Thứ hai, sử dụng dữ liệu do con người tạo ra để tùy chỉnh FM theo các tác vụ cụ thể hoặc với dữ liệu cụ thể của công ty và miền của bạn, đồng thời làm cho đầu ra mô hình phù hợp với bạn.

Khả năng của con người tham gia vào quy trình đóng vai trò quan trọng trong việc tạo và cải thiện các ứng dụng AI tạo sinh được hỗ trợ bởi FM. Lực lượng lao động có kỹ năng cao được đào tạo theo nguyên tác của tác vụ có thể cung cấp phản hồi, hướng dẫn, thông tin đầu vào và đánh giá trong các hoạt động như tạo dữ liệu minh hoạ để đào tạo FM, sửa và cải thiện các phản hồi mẫu, tinh chỉnh mô hình dựa trên dữ liệu của công ty và ngành, đóng vai trò như một biện pháp bảo vệ chống lại nội dung độc hại và thiên vị và hơn thế nữa. Do đó, khả năng của con người tham gia vào quy trình có thể cải thiện độ chính xác và hiệu năng của mô hình. 

Amazon SageMaker Ground Truth cung cấp bộ khả năng của con người tham gia vào quy trình toàn diện nhất. Có hai cách để sử dụng Amazon SageMaker Ground Truth, đó là dịch vụ tự phục vụ và dịch vụ do AWS quản lý. Trong dịch vụ tự phục vụ, người chú thích dữ liệu, người sáng tạo nội dung và kỹ sư câu lệnh (nội bộ, do nhà cung cấp quản lý hoặc tận dụng cộng đồng) có thể sử dụng giao diện người dùng không cần nhiều mã của chúng tôi để tăng tốc các tác vụ của con người tham gia vào quy trình, đồng thời có thể linh hoạt xây dựng và quản lý quy trình làm việc tùy chỉnh của riêng bạn. Trong dịch vụ do AWS quản lý (SageMaker Ground Truth Plus), chúng tôi xử lý công việc nặng nhọc cho bạn, bao gồm việc lựa chọn và quản lý lực lượng lao động phù hợp cho trường hợp sử dụng của bạn. SageMaker Ground Truth Plus thiết kế và tùy chỉnh quy trình làm việc toàn diện (bao gồm các bước đào tạo lực lượng lao động chi tiết và đảm bảo chất lượng), đồng thời cung cấp một đội ngũ có kỹ năng do AWS quản lý, được đào tạo về các tác vụ cụ thể và đáp ứng các yêu cầu về chất lượng, tính bảo mật và tính tuân thủ cho dữ liệu của bạn. 

Chuẩn bị dữ liệu

SageMaker Data Wrangler giảm thời gian cần để tổng hợp và chuẩn bị dữ liệu cho ML. Từ một giao diện duy nhất trong Studio SageMaker, bạn có thể duyệt xem và nhập dữ liệu từ Amazon S3, Amazon Athena, Amazon Redshift, AWS Lake Formation, Amazon EMR, Snowflake và Databricks chỉ trong vài bước. Bạn cũng có thể truy vấn và nhập dữ liệu được truyền từ hơn 50 nguồn dữ liệu và được Amazon AppFlow đăng ký trong Danh mục dữ liệu AWS Glue. SageMaker Data Wrangler sẽ tự động tải, tổng hợp và hiển thị dữ liệu thô. Sau khi nhập dữ liệu của bạn vào SageMaker Data Wrangler, bạn có thể xem các bản tóm tắt cột và biểu đồ tần suất được tạo tự động. Sau đó, bạn có thể đào sâu hơn để hiểu dữ liệu của mình và xác định các lỗi tiềm ẩn với báo cáo Chất lượng và thông tin chuyên sâu về dữ liệu của SageMaker Data Wrangler, cung cấp số liệu thống kê tóm tắt và cảnh báo chất lượng dữ liệu. Bạn cũng có thể chạy phân tích thiên kiến được hỗ trợ bởi SageMaker Clarify trực tiếp từ SageMaker Data Wrangler để phát hiện thiên kiến tiềm ẩn trong quá trình chuẩn bị dữ liệu. Từ đó, bạn có thể sử dụng các chuyển đổi được dựng sẵn của SageMaker Data Wrangler để chuẩn bị dữ liệu của mình. Sau khi dữ liệu của bạn đã được chuẩn bị, bạn có thể dựng các quy trình làm việc ML tự động hóa hoàn toàn với Quy trình của Amazon SageMaker hoặc nhập dữ liệu đó vào Cửa hàng tính năng của Amazon SageMaker .

SageMaker Data Wrangler hỗ trợ dữ liệu dạng bảng, dữ liệu chuỗi thời gian và dữ liệu hình ảnh, cung cấp hơn 300 phép chuyển đổi dữ liệu được cấu hình sẵn để chuẩn bị các phương thức dữ liệu khác nhau này. Đối với khách hàng muốn chuẩn bị dữ liệu văn bản trong Data Wrangler cho các trường hợp sử dụng NLP, Data Wrangler sẽ hỗ trợ thư viện NLTK để khách hàng có thể chuẩn bị dữ liệu văn bản bằng cách tạo các chuyển đổi tuỳ chỉnh của riêng mình trong Data Wrangler.
SageMaker Data Wrangler cung cấp lựa chọn với hơn 300 chuyển đổi dữ liệu dựa trên PySpark được tạo sẵn, nhờ đó bạn có thể chuyển đổi dữ liệu của mình và điều chỉnh quy mô quy trình chuẩn bị dữ liệu mà không cần viết một dòng mã nào. Ngoài ra, bạn có thể chuyển đổi dữ liệu của mình cho các mô hình ML bằng giao diện ngôn ngữ tự nhiên được FM hỗ trợ hoặc biên soạn đoạn mã tùy chỉnh từ thư viện đoạn mã SageMaker Data Wrangler.
SageMaker Data Wrangler giúp bạn hiểu dữ liệu của mình và xác định các lỗi tiềm ẩn và các giá trị cực đoan với một tập hợp các mẫu trực quan hóa mạnh mẽ được cấu hình sẵn. Biểu đồ tần suất, biểu đồ phân tán và công cụ trực quan hóa dành riêng cho ML, chẳng hạn như phát hiện rò rỉ mục tiêu, tất cả đều có sẵn mà không cần viết một dòng mã nào. Bạn cũng có thể tạo và chỉnh sửa hình ảnh trực quan của riêng bạn.

Bạn phải trả phí cho toàn bộ tài nguyên điện toán, lưu trữ và xử lý dữ liệu ML mà bạn sử dụng cho SageMaker Data Wrangler. Bạn có thể xem toàn bộ chi tiết về giá của SageMaker Data Wrangler tại đây. Khi tham gia Bậc miễn phí của AWS, bạn có thể bắt đầu sử dụng miễn phí SageMaker Data Wrangler.

SageMaker Data Wrangler cung cấp trải nghiệm thống nhất cho phép bạn chuẩn bị dữ liệu và đào tạo liền mạch một mô hình máy học trong SageMaker Canvas. SageMaker Canvas tự động xây dựng, đào tạo và tinh chỉnh các mô hình ML tốt nhất dựa trên dữ liệu của bạn. Bạn cũng có thể sử dụng các đặc trưng được chuẩn bị trong SageMaker Data Wrangler với các mô hình hiện có của bạn. Bạn có thể cấu hình các tác vụ xử lý của SageMaker Data Wrangler để chạy như một phần của quy trình đào tạo SageMaker bằng cách cấu hình tác vụ trong giao diện người dùng (UI) hoặc xuất sổ tay với mã điều phối.
Bạn có thể định cấu hình và khởi chạy các tác vụ xử lý SageMaker trực tiếp từ giao diện người dùng của SageMaker Data Wrangler, bao gồm lập lịch tác vụ xử lý dữ liệu và tham số hóa nguồn dữ liệu để dễ dàng chuyển đổi các lô dữ liệu mới ở quy mô lớn.
Khi bạn chuẩn bị xong dữ liệu, SageMaker Data Wrangler cung cấp nhiều lựa chọn khác nhau để đưa luồng SageMaker Data Wrangler của bạn vào môi trường sản xuất, cũng như tích hợp liền mạch với các chức năng MLOps và CI/CD. Bạn có thể định cấu hình và khởi chạy các tác vụ xử lý SageMaker trực tiếp từ giao diện người dùng của SageMaker Data Wrangler, bao gồm lập lịch tác vụ xử lý dữ liệu và tham số hóa nguồn dữ liệu để dễ dàng chuyển đổi các lô dữ liệu mới ở quy mô lớn. Bên cạnh đó, vì SageMaker Data Wrangler cũng tích hợp liền mạch với quy trình xử lý SageMaker và bộ chứa SageMaker Spark nên bạn có thể dễ dàng sử dụng SDK SageMaker để tích hợp SageMaker Data Wrangler vào quy trình sản xuất của mình.
SageMaker Data Wrangler phân chia và đào tạo mô hình XGBoost với siêu tham số mặc định chỉ trong vài bước. SageMaker Data Wrangler cung cấp bản tóm tắt mô hình, bản tóm tắt tính năng và ma trận nhầm lẫn để mang đến cho bạn thông tin chuyên sâu một cách nhanh chóng, dựa trên loại vấn đề. Nhờ đó, bạn có thể lặp lại quy trình chuẩn bị dữ liệu.
SageMaker Data Wrangler hỗ trợ các kỹ thuật lấy mẫu khác nhau – chẳng hạn như lấy mẫu top-K, ngẫu nhiên và phân tầng để nhập dữ liệu – cho phép bạn nhanh chóng chuyển đổi dữ liệu của mình bằng giao diện người dùng của SageMaker Data Wrangler. Nếu bạn đang sử dụng tập dữ liệu lớn hoặc rộng, bạn có thể tăng kích thước phiên bản SageMaker Data Wrangler để cải thiện hiệu năng. Sau khi tạo luồng, bạn có thể xử lý tập dữ liệu đầy đủ bằng các tác vụ xử lý SageMaker Data Wrangler.
Có, bạn có thể định cấu hình Kho đặc trưng của SageMaker làm đích đến cho các đặc trưng được chuẩn bị trong SageMaker Data Wrangler. Bạn có thể thực hiện trực tiếp trong giao diện người dùng hoặc xuất sổ tay được tạo riêng để xử lý dữ liệu khi đặt Kho đặc trưng của SageMaker làm đích đến.

Kho đặc trưng của SageMaker là một nền tảng được quản lý toàn phần, dành riêng để lưu trữ, chia sẻ và quản lý đặc trưng cho các mô hình máy học (ML). Bạn có thể khám phá và chia sẻ các đặc trưng để dễ dàng tái sử dụng cho nhiều mô hình và nhóm thông qua quyền truy cập và kiểm soát an toàn, kể cả giữa các tài khoản AWS. Kho đặc trưng của SageMaker hỗ trợ cả đặc trưng trực tuyến và đặc trưng ngoại tuyến nhằm phục vụ hoạt động suy luận theo thời gian thực, suy luận hàng loạt và đào tạo. Kho lưu trữ này đồng thời quản lý các quy trình lấy dữ liệu đặc trưng hàng loạt và truyền trực tiếp để giảm tình trạng trùng lặp trong quá trình tạo đặc trưng và cải thiện độ chính xác của mô hình.

Các đặc trưng ngoại tuyến thường là khối lượng lớn dữ liệu lịch sử được sử dụng để đào tạo và suy luận hàng loạt. Các đặc trưng ngoại tuyến được duy trì trong kho đối tượng có độ sẵn sàng cao, độ bền cao.
Các đặc trưng trực tuyến được sử dụng trong các ứng dụng để đưa ra dự đoán theo thời gian thực. Các đặc trưng trực tuyến được phục vụ từ một kho lưu trữ thông lượng cao hỗ trợ độ trễ dưới 10 mili giây từ các ứng dụng khách để dự đoán nhanh.
Kho đặc trưng của SageMaker tự động duy trì tính nhất quán giữa các đặc trưng trực tuyến và các đặc trưng ngoại tuyến mà không cần thêm mã hay hoạt động quản lý, nhằm đảm bảo tính nhất quán giữa các môi trường đào tạo và suy luận.
Kho đặc trưng SageMaker duy trì dấu thời gian cho tất cả các đặc trưng và cung cấp các phương pháp được tích hợp sẵn giúp bạn truy xuất các đặc trưng tại bất kỳ thời điểm nào, cho nhu cầu kinh doanh hoặc tuân thủ. Thay vì viết các truy vấn SQL phức tạp hoặc viết thật nhiều mã, bạn có thể gọi các phương pháp được tích hợp sẵn để du hành thời gian và các ghép nối chính xác tại một thời điểm để tạo các tập dữ liệu cho đào tạo và suy luận hàng loạt trong khoảng thời gian bạn muốn

Bạn có thể bắt đầu sử dụng miễn phí Kho đặc trưng của SageMaker trong Bậc miễn phí của AWS. Với Kho đặc trưng của SageMaker, bạn phải trả phí cho việc ghi vào kho đặc trưng, cũng như đọc và lưu trữ từ kho đặc trưng trực tuyến. Để biết chi tiết về giá, hãy xem Giá của Amazon SageMaker.

SageMaker cung cấp hai dịch vụ ghi nhãn dữ liệu, Amazon SageMaker Ground Truth Plus và Amazon SageMaker Ground Truth. Cả hai tùy chọn cho phép bạn xác định dữ liệu thô, chẳng hạn như hình ảnh, tệp văn bản và video, đồng thời thêm nhãn thông tin để tạo tập dữ liệu đào tạo chất lượng cao cho các mô hình ML của bạn. Để tìm hiểu thêm, hãy xem Ghi nhãn dữ liệu Amazon SageMaker.

Dữ liệu không gian địa lý đại diện cho các tính năng hoặc đối tượng trên bề mặt trái đất. Loại dữ liệu không gian địa lý đầu tiên là dữ liệu vector, sử dụng hình học hai chiều như điểm, đường hoặc đa giác để biểu thị các đối tượng như đường xá và ranh giới đất đai. Loại dữ liệu không gian địa lý thứ hai là dữ liệu raster, chẳng hạn như hình ảnh được thu thập bởi vệ tinh, nền tảng trên không hoặc dữ liệu cảm biến từ xa. Loại dữ liệu này sử dụng ma trận pixel để xác định vị trí của các đối tượng địa lý. Bạn có thể sử dụng định dạng raster để lưu trữ dữ liệu khác nhau. Loại dữ liệu không gian địa lý thứ ba là dữ liệu vị trí được gắn thẻ địa lý. Dữ liệu này bao gồm các điểm được quan tâm (ví dụ: Tháp Eiffel), các bài đăng trên mạng xã hội được gắn thẻ vị trí, tọa độ kinh độ và vĩ độ hoặc các kiểu và định dạng địa chỉ đường phố khác nhau.
Chức năng không gian địa lý của SageMaker giúp các nhà khoa học dữ liệu và kỹ sư ML dễ dàng hơn trong việc xây dựng, đào tạo và triển khai các mô hình ML để đưa ra dự đoán bằng dữ liệu không gian địa lý. Bạn có thể sử dụng dữ liệu riêng của mình, ví dụ như dữ liệu vệ tinh của Planet Labs từ Amazon S3 hoặc lấy dữ liệu từ Dữ liệu mở trên AWS, Dịch vụ vị trí của Amazon và các nguồn dữ liệu không gian địa lý khác của SageMaker.
Các chức năng không gian địa lý của SageMaker sẽ giúp bạn đưa ra dự đoán về dữ liệu không gian địa lý nhanh hơn so với các giải pháp tự tạo. Các chức năng không gian địa lý của SageMaker giúp truy cập dữ liệu không gian địa lý dễ dàng hơn từ các hồ dữ liệu khách hàng hiện có, tập dữ liệu mã nguồn mở và các nguồn dữ liệu không gian địa lý khác của SageMaker. Chức năng không gian địa lý của SageMaker giúp giảm thiểu nhu cầu xây dựng cơ sở hạ tầng tùy chỉnh và các chức năng tiền xử lý dữ liệu bằng cách cung cấp các thuật toán được xây dựng có mục đích nhằm chuẩn bị dữ liệu hiệu quả, đào tạo mô hình và suy luận. Bạn cũng có thể tạo và chia sẻ dữ liệu cũng như hình ảnh trực quan hóa tùy chỉnh với tổ chức của mình từ Studio SageMaker. Chức năng không gian địa lý của SageMaker bao gồm các mô hình được đào tạo sẵn cho các trường hợp sử dụng phổ biến trong nông nghiệp, bất động sản, bảo hiểm và dịch vụ tài chính.

Xây dựng mô hình

Bạn có thể sử dụng sổ tay Jupyter được quản lý toàn phần trong SageMaker cho quá trình phát triển ML hoàn chỉnh. Tăng hoặc giảm quy mô phiên bản điện toán của bạn với nhiều lựa chọn đa dạng về các phiên bản được tối ưu hóa cho điện toán và tăng tốc GPU trên đám mây.

Sổ tay Studio SageMaker là các sổ tay Jupyter một bước và có thể được tạo nhanh chóng. Các tài nguyên điện toán cơ bản vô cùng linh hoạt, do đó bạn có thể dễ dàng điều chỉnh các tài nguyên có sẵn và các thay đổi sẽ diễn ra tự động trong nền mà không làm gián đoạn công việc của bạn. SageMaker cũng hỗ trợ chia sẻ sổ tay chỉ với một bước. Bạn có thể dễ dàng chia sẻ sổ ghi chép với người khác và họ sẽ nhận được cuốn sổ ghi chép đó, được lưu ở cùng một nơi.

Với sổ tay Studio SageMaker, bạn có thể dùng thông tin chứng thực của công ty mình để đăng nhập bằng Trung tâm danh tính IAM. Dễ dàng chia sẻ sổ tay trong nhóm và giữa các nhóm vì các thành phần phụ thuộc cần cho chạy sổ tay được tự động theo dõi trong hình ảnh công việc và hình ảnh này được đóng gói và chia sẻ cùng với sổ tay.

Sổ tay trong IDE của Studio SageMaker cung cấp một số đặc trưng quan trọng giúp chúng khác biệt với sổ tay theo phiên bản. Đầu tiên, bạn có thể nhanh chóng khởi chạy sổ tay mà không cần phải cung cấp phiên bản theo cách thủ công và chờ phiên bản hoạt động. Thời gian khởi động khi khởi chạy giao diện người dùng để đọc và thực thi sổ tay nhanh hơn so với sổ tay theo phiên bản. Bạn cũng có thể linh hoạt lựa chọn từ một bộ sưu tập lớn gồm các loại phiên bản ngay trong giao diện người dùng bất cứ lúc nào. Bạn không cần phải truy cập Bảng điều khiển quản lý AWS để bắt đầu phiên bản mới và chuyển các sổ tay của mình qua đó. Mỗi người dùng có một thư mục gốc riêng biệt độc lập với một phiên bản cụ thể. Thư mục này được tự động gắn vào tất cả các máy chủ và nhân sổ tay khi chúng được khởi động, vì vậy bạn có thể truy cập sổ tay và các tệp khác ngay cả khi bạn chuyển đổi các phiên bản để xem và chạy các sổ tay của mình. Sổ tay Studio SageMaker được tích hợp với Trung tâm danh tính AWS IAM (công cụ thay thế AWS SSO), giúp bạn sử dụng thông tin chứng thực của tổ chức bạn để truy cập sổ tay dễ dàng hơn. Sổ tay cũng được tích hợp với các công cụ ML được xây dựng cho mục đích nhất định trong SageMaker và các dịch vụ AWS khác cho quá trình phát triển ML hoàn chỉnh, từ việc chuẩn bị dữ liệu ở quy mô petabyte bằng Spark trên Amazon EMR, đào tạo và gỡ lỗi mô hình, cho đến triển khai và giám sát mô hình cũng như quản lý quy trình.
Sổ tay SageMaker trong các IDE Studio cho phép bạn truy cập mọi tính năng của SageMaker, chẳng hạn như đào tạo phân tán, chuyển đổi hàng loạt và lưu trữ. Bạn cũng có thể truy cập các dịch vụ khác như tập dữ liệu trong Amazon S3, Amazon Redshift, AWS Glue, Amazon EMR hoặc AWS Lake Formation từ sổ tay SageMaker.
Bạn phải trả cả chi phí điện toán và lưu trữ khi sử dụng sổ tay SageMaker trong các IDE Studio. Xem Giá của Amazon SageMaker để biết các khoản phí theo loại phiên bản điện toán. Sổ tay của bạn và các tạo tác liên quan như tệp dữ liệu và tập lệnh được lưu giữ trên Hệ thống tệp linh hoạt của Amazon (Amazon EFS). Xem Giá của Amazon EFS để biết phí lưu trữ. Khi tham gia Bậc miễn phí của AWS, bạn có thể bắt đầu sử dụng miễn phí sổ tay trong Studio SageMaker.

Không. Bạn có thể tạo và chạy nhiều sổ tay trên cùng một phiên bản điện toán. Bạn chỉ trả tiền cho mức điện toán mà bạn sử dụng, chứ không phải trả tiền cho từng mục riêng. Bạn có thể đọc hướng dẫn đo lường của chúng tôi để biết thêm thông tin.

Ngoài sổ tay, bạn cũng có thể bắt đầu và chạy giao diện đầu cuối và các shell tương tác trong Studio SageMaker, tất cả trong cùng một phiên bản điện toán. Mỗi ứng dụng chạy trong một bộ chứa hoặc hình ảnh. Studio SageMaker tích hợp sẵn một số hình ảnh chuyên dụng được định cấu hình sẵn cho khoa học dữ liệu và ML.

Bạn có thể giám sát và tắt tài nguyên mà sổ tay Studio SageMaker sử dụng thông qua cả giao diện trực quan Studio SageMaker và Bảng điều khiển quản lý AWS. Hãy xem tài liệu này để biết thêm chi tiết.

Đúng, bạn sẽ tiếp tục bị tính chi phí điện toán. Cách tính này tương tự như khi bạn khởi động phiên bản Amazon EC2 trong Bảng điều khiển quản lý AWS, rồi đóng trình duyệt. Các phiên bản Amazon EC2 vẫn chạy và bạn vẫn phải chịu phí, trừ phi bạn tắt hẳn phiên bản.

Không, bạn không bị tính phí cho việc tạo hoặc định cấu hình miền Studio SageMaker, bao gồm cả việc thêm, cập nhật và xóa hồ sơ người dùng.

Với tư cách là quản trị viên, bạn có thể vào bảng điều khiển thanh toán AWS để xem danh sách các khoản phí theo từng mục của SageMaker, bao gồm cả Studio SageMaker. Trong Bảng điều khiển quản lý AWS dành cho SageMaker, chọn Dịch vụ ở menu trên cùng, nhập “thanh toán” vào hộp tìm kiếm, rồi chọn Thanh toán ở menu thả xuống, sau đó chọn Hóa đơn ở bảng điều khiển bên trái. Trong phần Chi tiết, bạn có thể chọn SageMaker để mở rộng danh sách Khu vực, rồi truy sâu vào các khoản phí theo từng mục.

Phòng thực hành studio SageMaker là một môi trường phát triển ML miễn phí cung cấp dịch vụ điện toán, lưu trữ (tối đa 15 GB) và bảo mật – tất cả đều miễn phí – cho bất kỳ ai muốn tìm hiểu và thử nghiệm với ML. Tất cả những gì bạn cần để bắt đầu là một ID email hợp lệ; bạn không cần phải định cấu hình cơ sở hạ tầng, quản lý danh tính và quyền truy cập hay thậm chí là đăng ký tài khoản AWS. Phòng thực hành studio SageMaker sẽ tăng tốc hoạt động xây dựng mô hình thông qua tích hợp GitHub. Môi trường này được định cấu hình sẵn với các công cụ, khung và thư viện ML phổ biến nhất để giúp bạn bắt đầu ngay lập tức. Phòng thực hành studio SageMaker tự động lưu công việc của bạn để bạn không cần phải bắt đầu lại khi làm việc ngắt quãng, dễ dàng chẳng khác gì việc bạn đóng máy tính xách tay và quay lại sau vậy.
Phòng thực hành studio SageMaker là sự lựa chọn dành cho những học viên, nhà nghiên cứu và nhà khoa học dữ liệu mong muốn có một môi trường phát triển sổ tay miễn phí mà không cần thiết lập, để phục vụ cho các lớp học và thí nghiệm ML của họ. Phòng thực hành studio SageMaker lý tưởng cho những người dùng không cần môi trường sản xuất nhưng vẫn muốn có một tập hợp nhỏ chức năng của SageMaker để cải thiện các kỹ năng ML. Các phiên SageMaker được lưu tự động nên người dùng có thể tiếp tục tại nơi mà họ đã tạm dừng trong mỗi phiên người dùng.
Phòng thực hành studio SageMaker là một dịch vụ được xây dựng trên AWS và cũng sử dụng những dịch vụ cốt lõi mà Studio Amazon SageMaker sử dụng, chẳng hạn như Amazon S3 và Amazon EC2. Tuy nhiên, khác với các dịch vụ còn lại, khách hàng sẽ không cần tài khoản AWS. Thay vào đó, họ sẽ tạo tài khoản riêng cho Phòng thực hành studio SageMaker bằng địa chỉ email. Người dùng sẽ được truy cập vào một môi trường hạn chế (15 GB dung lượng lưu trữ và 12 giờ hoạt động phiên) để chạy sổ tay ML.

Đào tạo mô hình

SageMaker HyperPod được xây dựng cho mục đích đẩy nhanh tốc độ đào tạo mô hình nền tảng (FM). SageMaker HyperPod cung cấp cơ sở hạ tầng linh hoạt hơn, được tối ưu hóa cho việc đào tạo phân tán trên quy mô lớn, cho phép bạn đào tạo nhanh hơn trên hàng nghìn trình tăng tốc. SageMaker HyperPod tự động phát hiện, chẩn đoán và phục hồi sau các lỗi, vì vậy bạn có thể đào tạo FM trong nhiều tháng liên tiếp mà không gặp gián đoạn. SageMaker HyperPod được cấu hình sẵn với các thư viện đào tạo phân tán trên SageMaker để giúp bạn cải thiện hiệu năng một cách hiệu quả bằng cách phân tán dữ liệu đào tạo mô hình thành các đoạn nhỏ hơn để có thể xử lý song song trên các trình tăng tốc.
Nếu bạn cần khối lượng công việc đào tạo lâu hơn và lớn hơn, đòi hỏi số lượng phiên bản điện toán cao như GPU hoặc trình tăng tốc AWS, bạn có thể sử dụng SageMaker HyperPod để có trải nghiệm linh hoạt hơn nhằm giảm thời gian đào tạo.

Có. SageMaker có thể tự động phân phối các mô hình học sâu và tập hợp đào tạo lớn trên các phiên bản GPU AWS, với thời gian ngắn hơn nhiều so với thời gian cần để xây dựng và tối ưu hóa những chiến lược phân phối này theo cách thủ công. Hai kỹ thuật đào tạo phân tán mà SageMaker áp dụng là song song dữ liệu và song song mô hình. Công dụng của kỹ thuật song song dữ liệu là cải thiện tốc độ đào tạo bằng cách chia đều dữ liệu cho nhiều phiên bản GPU, nhờ đó các phiên bản có thể đào tạo đồng thời. Kỹ thuật song song mô hình rất hữu ích đối với những mô hình quá lớn nên không thể lưu trữ ở một GPU duy nhất, dẫn đến phải phân vùng mô hình thành các phần nhỏ hơn trước khi phân phối trên nhiều GPU. Chỉ với vài dòng mã bổ sung trong các tập lệnh đào tạo PyTorch và TensorFlow, SageMaker sẽ tự động áp dụng kỹ thuật song song dữ liệu hoặc kỹ thuật song song mô hình cho bạn. Nhờ đó, bạn có thể phát triển và triển khai mô hình nhanh hơn. SageMaker sẽ xác định biện pháp tiếp cận tốt nhất để phân chia mô hình, bằng cách sử dụng các thuật toán phân vùng đồ thị để cân bằng việc tính toán của từng GPU, đồng thời giảm thiểu sự giao tiếp giữa các phiên bản GPU. Ngoài ra, SageMaker còn tối ưu hóa tác vụ đào tạo phân tán thông qua các thuật toán sử dụng đầy đủ khả năng điện toán và kết nối mạng của AWS để đạt được hiệu quả điều chỉnh quy mô cận tuyến tính. Nhờ đó, bạn có thể hoàn thành quá trình đào tạo nhanh hơn so với việc triển khai mã nguồn mở thủ công.

Thử nghiệm của SageMaker giúp bạn sắp xếp và theo dõi các vòng lặp đối với mô hình ML. Thử nghiệm của SageMaker giúp bạn quản lý các vòng lặp bằng cách tự động thu nạp tham số đầu vào, cấu hình và kết quả, sau đó lưu trữ các thành phần này dưới dạng “thử nghiệm”. Bạn có thể tạo thử nghiệm của Amazon SageMaker để theo dõi quy trình làm việc ML bằng một vài dòng mã từ môi trường phát triển mà bạn ưa dùng. Bạn cũng có thể tích hợp Thử nghiệm của SageMaker vào tập lệnh đào tạo trong SageMaker bằng SageMaker Python SDK.
Trình gỡ lỗi của SageMaker tự động ghi lại các chỉ số theo thời gian thực trong quá trình đào tạo, chẳng hạn như ma trận nhầm lẫn và độ dốc học tập, để giúp cải thiện tính chính xác của mô hình. Các số liệu từ SageMaker Debugger có thể được hiển thị trong SageMaker Studio để giúp bạn dễ hiểu. SageMaker Debugger cũng có thể tạo cảnh báo và tư vấn khắc phục khi phát hiện các vấn đề đào tạo phổ biến. Trình gỡ lỗi của SageMaker cũng tự động giám sát và phân tích các tài nguyên hệ thống như CPU, GPU, mạng và bộ nhớ trong thời gian thực, đồng thời cung cấp các đề xuất về việc phân bổ lại những tài nguyên này. Điều này giúp bạn sử dụng tài nguyên của mình một cách hiệu quả trong khi đào tạo, đồng thời giúp giảm chi phí và tài nguyên.
Tính năng Đào tạo tại chỗ được quản lý với SageMaker cho phép bạn đào tạo các mô hình ML của mình bằng Phiên bản dùng ngay của Amazon EC2, đồng thời giảm đến 90% chi phí đào tạo mô hình.
Bạn bật tùy chọn Đào tạo tại chỗ được quản lý khi gửi tác vụ đào tạo và xác định thời gian bạn muốn chờ Dung lượng dùng ngay. Sau đó, SageMaker sẽ sử dụng Phiên bản dùng ngay của Amazon EC2 để chạy tác vụ và quản lý Dung lượng dùng ngay. Bạn có thể thấy rõ trạng thái của các tác vụ đào tạo, cả trong khi các tác vụ này đang chạy và trong khi đang chờ dung lượng.
Tính năng Đào tạo tại chỗ được quản lý là lựa chọn lý tưởng nếu bạn có khả năng linh hoạt trong việc đào tạo và nếu bạn muốn giảm thiểu chi phí cho các tác vụ đào tạo của mình. Tính năng Đào tạo tại chỗ được quản lý có thể giúp bạn giảm tới 90% chi phí đào tạo mô hình ML.
Tính năng Đào tạo tại chỗ được quản lý sử dụng Phiên bản dùng ngay của Amazon EC2 để đào tạo. Các phiên bản này có thể bị giành lại khi AWS cần dung lượng. Do đó, các tác vụ Đào tạo tại chỗ được quản lý có thể chạy theo từng bước nhỏ, linh hoạt tận dụng dung lượng có sẵn. Khi xảy ra gián đoạn, bạn không cần phải khởi động lại tác vụ đào tạo từ đầu vì SageMaker có thể tiếp tục thực hiện tác vụ đào tạo bằng cách sử dụng điểm kiểm tra mô hình mới nhất. Các khung và thuật toán thị giác máy tính tích hợp sẵn với SageMaker đều hỗ trợ điểm kiểm tra định kỳ, bạn có thể bật điểm kiểm tra với các mô hình tùy chỉnh.
Điểm kiểm tra định kỳ là một phương pháp tốt nhất nói chung cho các tác vụ đào tạo lâu dài. Phương pháp này giúp bạn tránh phải bắt đầu lại tác vụ Đào tạo tại chỗ được quản lý khi dung lượng đã bị giành hết. Khi bạn bật điểm kiểm tra, SageMaker sẽ tiếp tục các tác vụ Đào tạo tại chỗ được quản lý từ điểm kiểm tra cuối cùng.
Khi một tác vụ Đào tạo tại chỗ được quản lý hoàn tất, bạn có thể xem khoản tiết kiệm trong Bảng điều khiển quản lý AWS và tính toán chi phí tiết kiệm được dựa trên phần trăm chênh lệch giữa thời lượng thực hiện tác vụ đào tạo và thời lượng mà bạn phải trả phí. Bất kể tác vụ Đào tạo tại chỗ được quản lý bị gián đoạn bao nhiêu lần, bạn chỉ bị tính phí một lần cho thời lượng tải dữ liệu xuống.
Bạn có thể sử dụng tính năng Đào tạo tại chỗ được quản lý với mọi phiên bản được hỗ trợ trong SageMaker.

Mọi Khu vực hiện cung cấp SageMaker đều hỗ trợ sử dụng tính năng Đào tạo tại chỗ được quản lý.

Không có giới hạn cố định đối với kích thước của tập dữ liệu mà bạn có thể sử dụng cho việc đào tạo mô hình bằng SageMaker.

SageMaker bao gồm các thuật toán tích hợp sẵn cho hồi quy tuyến tính, hồi quy logistic, phân cụm k-means, phân tích thành phần chính, máy phân rã, lập mô hình chủ đề thần kinh, phân bổ dirichlet tiềm ẩn, cây tăng cường độ dốc, sequence2sequence, dự báo theo chuỗi thời gian, word2vec và phân loại hình ảnh. SageMaker cũng cung cấp các bộ chứa Apache MXNet, TensorFlow, Chainer, PyTorch, Gluon, Keras, Horovod, Scikit-learn và Deep Graph Library được tối ưu hóa. Ngoài ra, SageMaker có hỗ trợ các thuật toán đào tạo tùy chỉnh của bạn được cung cấp thông qua hình ảnh Docker tuân thủ các thông số kỹ thuật được ghi lại.
Hầu hết các thuật toán ML đều thể hiện một loạt tham số có vai trò kiểm soát cách thức hoạt động của thuật toán cơ sở. Những tham số đó thường được gọi là siêu tham số và giá trị của chúng ảnh hưởng đến chất lượng của mô hình được đào tạo. Điều chỉnh mô hình tự động là quy trình tìm ra tập hợp siêu tham số cho một thuật toán để tạo ra mô hình tối ưu.
Bạn có thể chạy chức năng điều chỉnh mô hình tự động trong SageMaker trên bất kỳ thuật toán nào, miễn là khả thi về mặt khoa học, bao gồm cả thuật toán SageMaker tích hợp sẵn, mạng nơ-ron sâu hoặc các thuật toán tùy ý mà bạn đưa vào SageMaker dưới dạng hình ảnh Docker.

Vào thời điểm này thì không. Chức năng này chỉ mang đến hiệu năng và trải nghiệm điều chỉnh mô hình tốt nhất ở trong SageMaker.

Hiện tại, thuật toán dùng để điều chỉnh siêu tham số là hoạt động triển khai kỹ thuật Tối ưu hóa Bayes tùy chỉnh. Thuật toán này được sử dụng để tối ưu hóa một chỉ số khách quan do khách hàng chỉ định trong suốt quá trình điều chỉnh. Cụ thể, thuật toán này kiểm tra chỉ số đối tượng của các tác vụ đào tạo đã hoàn thành và vận dụng kiến thức để suy luận cách kết hợp siêu tham số cho tác vụ đào tạo tiếp theo.

Không. Cách các siêu tham số nhất định tác động đến hiệu năng của mô hình sẽ phụ thuộc vào nhiều yếu tố khác nhau. Rất khó có thể khẳng định rõ ràng rằng một siêu tham số quan trọng hơn các siêu tham số còn lại và đưa ra kết luận là cần điều chỉnh tham số đó. Đối với các thuật toán tích hợp sẵn trong SageMaker, chúng tôi có đưa ra chú thích về khả năng điều chỉnh của từng siêu tham số.

Thời lượng của một tác vụ điều chỉnh siêu tham số phụ thuộc vào nhiều yếu tố, bao gồm cả kích thước của dữ liệu, thuật toán cơ bản và giá trị của siêu tham số. Ngoài ra, khách hàng có thể lựa chọn số lượng tác vụ đào tạo đồng thời và tổng số tác vụ đào tạo. Tất cả những lựa chọn này đều ảnh hưởng đến thời gian hoàn thành tác vụ điều chỉnh siêu tham số.

Vào thời điểm này thì không. Hiện tại, bạn cần chỉ định một chỉ số mục tiêu duy nhất để tối ưu hóa hoặc thay đổi mã thuật toán để đưa ra một chỉ số mới (là giá trị trung bình có trọng số của hai hoặc nhiều chỉ số có ích) và yêu cầu quy trình điều chỉnh tối ưu hóa theo chỉ số mục tiêu đó.

Tác vụ điều chỉnh siêu tham số không mất phí. Bạn sẽ bị tính phí theo các tác vụ đào tạo do tác vụ điều chỉnh siêu tham số khởi chạy, dựa trên giá đào tạo mô hình.

Tính năng tự động của SageMaker tự động hóa mọi thứ trong quy trình làm việc ML thông thường, bao gồm xử lý trước đặc trưng, lựa chọn thuật toán và điều chỉnh siêu tham số, đồng thời tập trung cụ thể vào các trường hợp sử dụng phân loại và hồi quy. Mặt khác, Điều chỉnh mô hình tự động được thiết kế để điều chỉnh bất kỳ mô hình nào, bất kể mô hình đó dựa trên thuật toán tích hợp sẵn, khung học sâu hay các bộ chứa tùy chỉnh. Để đổi lấy tính linh hoạt, bạn phải tự tay chọn thuật toán cụ thể, siêu tham số để điều chỉnh và phạm vi tìm kiếm tương ứng.

Học tăng cường là kỹ thuật ML cho phép tác tử học trong môi trường tương tác bằng phương pháp thử và sai thông qua phản hồi từ các hành động và kinh nghiệm của chính mình.

Có, bạn có thể đào tạo mô hình học tăng cường trong SageMaker, bên cạnh các mô hình học có giám sát và học không có giám sát.

Học tăng cường và học có giám sát đều sử dụng ánh xạ giữa đầu vào và đầu ra. Tuy nhiên, trong học có giám sát, phản hồi mà tác nhân nhận được là tập hợp hành động chính xác để thực hiện tác vụ. Trong khi đó, học tăng cường sử dụng phản hồi trễ, tối ưu hóa tín hiệu phần thưởng để đạt được mục tiêu dài hạn thông qua chuỗi hành động.

Mục tiêu của kỹ thuật học có giám sát là tìm ra câu trả lời chính xác dựa trên các mẫu hình trong dữ liệu đào tạo, còn mục tiêu của kỹ thuật học không có giám sát là tìm ra sự tương đồng và khác biệt giữa các điểm dữ liệu. Ngược lại, mục tiêu của kỹ thuật học tăng cường (RL) là học cách đạt được kết quả mong muốn ngay cả khi không rõ cách để đạt được kết quả đó. Do đó, RL là lựa chọn phù hợp hơn để hỗ trợ các ứng dụng thông minh, khi tác tử có thể đưa ra quyết định tự chủ, chẳng hạn như robot, xe tự hành, hệ thống sưởi ấm, thông gió và điều hòa không khí (HVAC), hệ thống điều khiển công nghiệp, v.v.

Amazon SageMaker RL hỗ trợ một số môi trường khác nhau để đào tạo mô hình RL. Bạn có thể sử dụng các dịch vụ AWS như AWS RoboMaker, môi trường mã nguồn mở hoặc môi trường tùy chỉnh được phát triển bằng giao diện Open AI Gym, hay các môi trường mô phỏng thương mại như MATLAB và SimuLink.

Không, SageMaker RL bao gồm cả bộ công cụ RL, chẳng hạn như Coach và Ray RLLib, cung cấp việc triển khai các thuật toán tác tử RL như DQN, PPO, A3C, v.v.

Có, bạn có thể đưa thư viện RL và hoạt động triển khai thuật toán của riêng mình vào Bộ chứa Docker, rồi chạy chúng trong SageMaker RL.

Có. Bạn thậm chí có thể chọn một cụm không đồng nhất, tại đó, hoạt động đào tạo có thể chạy trên một phiên bản GPU và các hoạt động mô phỏng có thể chạy trên nhiều phiên bản CPU.

Triển khai mô hình

Sau khi bạn xây dựng và đào tạo các mô hình, SageMaker cung cấp ba tùy chọn triển khai mô hình để bạn có thể bắt đầu đưa ra dự đoán. Suy luận theo thời gian thực phù hợp với khối lượng công việc có yêu cầu độ trễ ở mức mili giây, kích thước tải trọng lên đến 6 MB và thời gian xử lý lên đến 60 giây. Chuyển đổi hàng loạt là lựa chọn lý tưởng cho các dự đoán ngoại tuyến trên các lô dữ liệu lớn có sẵn trước. Suy luận không đồng bộ được thiết kế cho khối lượng công việc không yêu cầu phải có độ trễ dưới một giây, kích thước tải trọng lên đến 1 GB và thời gian xử lý lên đến 15 phút.
Tính năng Suy luận không đồng bộ của SageMaker xếp thứ tự các yêu cầu đến và xử lý chúng một cách không đồng bộ. Đây là lựa chọn lý tưởng cho các yêu cầu có kích thước tải trọng lớn và/hoặc thời gian xử lý dài cần được xử lý khi chúng đến. Nếu muốn, bạn có thể định cấu hình cài đặt tự động điều chỉnh quy mô để giảm số lượng phiên bản về 0 khi không chủ động xử lý yêu cầu nhằm tiết kiệm chi phí.

Bạn có thể giảm quy mô số lượng phiên bản điểm cuối Suy luận không đồng bộ của SageMaker về 0 để tiết kiệm chi phí khi bạn không chủ động xử lý các yêu cầu. Bạn cần xác định một chính sách điều chỉnh quy mô cho phép điều chỉnh quy mô dựa trên chỉ số tùy chỉnh "ApproximateBacklogPerInstance" và đặt giá trị "MinCapacity" thành 0. Để xem hướng dẫn từng bước, vui lòng truy cập phần tự động điều chỉnh quy mô điểm cuối không đồng bộ trong hướng dẫn dành cho nhà phát triển. 

Suy luận phi máy chủ của SageMaker là một tùy chọn phân phát mô hình phi máy chủ chuyên dụng, giúp bạn dễ dàng triển khai và điều chỉnh quy mô mô hình ML. Các điểm cuối Suy luận phi máy chủ của SageMaker sẽ tự động khởi động tài nguyên điện toán cũng như tăng giảm quy mô tài nguyên tùy thuộc vào lưu lượng truy cập, do đó bạn không cần phải lựa chọn loại phiên bản, vận hành theo dung lượng được cung cấp hoặc quản lý khả năng điều chỉnh quy mô. Bạn có thể chỉ định các yêu cầu về bộ nhớ cho điểm cuối suy luận phi máy chủ của mình, nếu muốn. Bạn chỉ phải trả tiền cho thời gian chạy mã suy luận và lượng dữ liệu được xử lý, không mất phí cho thời gian không hoạt động.

Suy luận phi máy chủ của SageMaker mang đến cho nhà phát triển một trải nghiệm đơn giản hơn vì họ không còn phải cung cấp dung lượng trước và quản lý các chính sách điều chỉnh quy mô. Suy luận phi máy chủ của SageMaker có thể mở rộng ngay lập tức từ hàng chục lên hàng nghìn suy luận chỉ trong vài giây dựa trên các mẫu hình sử dụng. Điều này lý tưởng cho các ứng dụng ML có lưu lượng truy cập không liên tục hoặc không thể đoán trước. Ví dụ: Dịch vụ chatbot mà công ty tính lương sử dụng sẽ nhận được lượng yêu cầu tăng cao vào cuối tháng, trong khi lưu lượng truy cập trong thời gian còn lại của tháng lại không liên tục. Trong bối cảnh này, sẽ là lãng phí nếu cung cấp phiên bản cho toàn bộ tháng vì bạn phải trả tiền cho cả những khoảng thời gian nhàn rỗi. Suy luận phi máy chủ của SageMaker giúp giải quyết những loại trường hợp sử dụng này bằng cách cung cấp cho bạn khả năng điều chỉnh quy mô tự động và nhanh chóng ngay lập tức. Nhờ vậy, bạn không phải dự đoán trước lưu lượng truy cập hoặc quản lý các chính sách điều chỉnh quy mô. Ngoài ra, bạn chỉ phải trả tiền cho thời gian điện toán dùng để chạy mã suy luận (tính tiền theo mili giây) và cho việc xử lý dữ liệu. Do đó, bạn có thể tiết kiệm chi phí cho khối lượng công việc có lưu lượng truy cập không liên tục.
Tính đồng thời được cung cấp cho phép bạn triển khai các mô hình trên điểm cuối phi máy chủ với hiệu năng có thể dự đoán và khả năng điều chỉnh quy mô cao thông qua việc duy trì trạng thái sẵn sàng của điểm cuối cho số lượng yêu cầu đồng thời được chỉ định.

Với các điểm cuối phi máy chủ theo nhu cầu, nếu điểm cuối của bạn không nhận được lưu lượng truy cập trong một khoảng thời gian, rồi lại đột nhiên nhận được các yêu cầu mới thì điểm cuối có thể cần chút thời gian để khởi động tài nguyên điện toán nhằm xử lý các yêu cầu. Đây được gọi là khởi động nguội. Khởi động nguội cũng có thể xảy ra nếu các yêu cầu đồng thời vượt quá mức sử dụng yêu cầu đồng thời hiện tại. Thời gian khởi động nguội phụ thuộc vào kích thước mô hình, thời gian cần để tải xuống mô hình và thời gian khởi động bộ chứa của bạn.

Để giảm sự biến động trong cấu hình độ trễ, bạn có thể bật Tính đồng thời được cung cấp cho điểm cuối phi máy chủ, nếu muốn. Với Tính đồng thời được cung cấp, các điểm cuối phi máy chủ của bạn luôn sẵn sàng và có thể phục vụ ngay lập tức các đợt tăng đột biến về lưu lượng truy cập mà không cần khởi động nguội.

Với Suy luận phi máy chủ theo nhu cầu, khi bật Tính đồng thời được cung cấp, bạn chỉ thanh toán chi phí năng lực điện toán được sử dụng để xử lý các yêu cầu suy luận, tính theo mili giây, cũng như lượng dữ liệu được xử lý. Bạn cũng thanh toán cho mức sử dụng Tính đồng thời được cung cấp, dựa trên bộ nhớ được cấu hình, thời gian được cung cấp và số lượng tính đồng thời được bật. Để biết thêm thông tin, hãy xem Giá của Amazon SageMaker.

SageMaker giúp bạn chạy kiểm thử sớm để đánh giá mô hình ML mới trước khi phát hành chính thức bằng cách kiểm thử hiệu suất của mô hình đó so với mô hình hiện được triển khai. SageMaker triển khai mô hình mới ở chế độ trước phát hành cùng với mô hình sản xuất hiện tại và phản chiếu một phần lưu lượng truy cập sản xuất do người dùng chỉ định đến mô hình mới. SageMaker sẽ tùy ý ghi lại các suy luận mô hình để so sánh ngoại tuyến. SageMaker cũng cung cấp bảng thông tin trực tiếp chứa thông tin so sánh về các chỉ số hiệu năng chính, chẳng hạn như độ trễ và tỷ lệ lỗi, giữa mô hình sản xuất và mô hình trước phát hành để giúp bạn quyết định có nên đưa mô hình mới vào môi trường sản xuất hay không.
SageMaker đơn giản hóa quy trình thiết lập và giám sát các biến thể trước khi phát hành. Nhờ đó, bạn có thể đánh giá hiệu năng của mô hình ML mới trên lưu lượng truy cập sản xuất trực tiếp. SageMaker giúp bạn không phải điều phối cơ sở hạ tầng để kiểm thử trước phát hành. Dịch vụ này cho phép bạn kiểm soát các tham số thử nghiệm như tỷ lệ phần trăm lưu lượng truy cập được phản ánh vào biến thể trước phát hành và thời lượng thử nghiệm. Do đó, bạn có thể bắt đầu với quy mô nhỏ, rồi tăng số lượng yêu cầu suy luận cho mô hình mới sau khi đã tự tin hơn về hiệu năng của mô hình. SageMaker tạo bảng thông tin trực tiếp hiển thị sự khác biệt về hiệu năng giữa các chỉ số chính. Nhờ vậy, bạn có thể dễ dàng so sánh hiệu năng mô hình để đánh giá sự khác biệt giữa mô hình mới và mô hình sản xuất.

Trình đề xuất suy luận của SageMaker giảm thời gian cần thiết để đưa mô hình ML vào môi trường sản xuất bằng cách tự động hóa việc đối chuẩn hiệu năng và điều chỉnh hiệu năng mô hình trên các phiên bản ML của SageMaker. Giờ đây, bạn có thể sử dụng Trình đề xuất suy luận của SageMaker để triển khai mô hình đến điểm cuối có khả năng mang lại hiệu năng tốt nhất cũng như giảm thiểu chi phí. Bạn chỉ cần vài phút để làm quen với Trình đề xuất suy luận của SageMaker, vài giờ để chọn loại phiên bản và nhận đề xuất cấu hình điểm cuối tối ưu thay vì phải dành ra hàng tuần để kiểm thử và tinh chỉnh thủ công. Trình đề xuất suy luận của SageMaker chỉ tính phí cho các phiên bản ML của SageMaker được sử dụng trong quá trình kiểm thử độ chịu tải và không tính thêm phí nào khác.

Bạn nên sử dụng Trình đề xuất suy luận của SageMaker nếu muốn nhận đề xuất về cấu hình điểm cuối phù hợp để cải thiện hiệu năng và giảm chi phí. Trước đây, nếu muốn triển khai mô hình thì các nhà khoa học dữ liệu phải thực hiện đối chuẩn thủ công để chọn cấu hình điểm cuối phù hợp. Trước tiên, họ phải chọn đúng loại phiên bản ML trong số hơn 70 loại phiên bản có sẵn dựa trên các yêu cầu về tài nguyên của mô hình và tải trọng mẫu, rồi tối ưu hóa mô hình để tính đến các phần cứng khác nhau. Sau đó, họ phải tiến hành các thử nghiệm tải ở quy mô rộng để xác nhận rằng đã đáp ứng được các yêu cầu về độ trễ và thông lượng và đảm bảo chi phí thấp. Trình đề xuất suy luận của SageMaker loại bỏ sự phức tạp này bằng cách giúp bạn dễ dàng: 1) bắt đầu sau vài phút nhờ có đề xuất về phiên bản; 2) tiến hành kiểm thử tải với nhiều loại phiên bản để nhận đề xuất về cấu hình điểm cuối của bạn trong vòng vài giờ; và 3) tự động điều chỉnh các tham số máy chủ mô hình và bộ chứa, cũng như thực hiện tối ưu hóa mô hình cho một loại phiên bản nhất định.
Nhà khoa học dữ liệu có thể truy cập Trình đề xuất suy luận của SageMaker ở Studio SageMaker, SDK AWS dành cho Python (Boto3) hoặc CLI AWS. Họ có thể nhận đề xuất triển khai trên Studio SageMaker trong sổ đăng ký mô hình SageMaker cho các phiên bản mô hình đã đăng ký. Nhà khoa học dữ liệu có thể tìm kiếm và lọc các đề xuất thông qua Studio SageMaker, SDK AWS hoặc CLI AWS.

Không, chúng tôi chỉ hỗ trợ một mô hình cho mỗi điểm cuối.

Hiện tại, chúng tôi chỉ hỗ trợ các điểm cuối theo thời gian thực.

Chúng tôi hỗ trợ tất cả các Khu vực mà Amazon SageMaker hỗ trợ, ngoại trừ các Khu vực AWS Trung Quốc.

Có, chúng tôi hỗ trợ mọi loại bộ chứa. Amazon EC2 Inf1, dựa trên chip AWS Inferentia, yêu cầu một tạo tác mô hình được biên dịch bằng trình biên dịch Neuron hoặc Amazon SageMaker Neo. Sau khi có mô hình được biên dịch cho mục tiêu Inferentia và URI hình ảnh bộ chứa được liên kết, bạn có thể dùng Trình đề xuất suy luận của SageMaker để đối chuẩn các loại phiên bản Inferentia khác nhau.

Trình giám sát mẫu của SageMaker cho phép các nhà phát triển phát hiện và sửa đổi sai lệch về khái niệm. Trình giám sát mô hình SageMaker tự động phát hiện sai lệch về khái niệm ở các mô hình được triển khai và đưa ra cảnh báo chi tiết giúp xác định nguồn gốc của vấn đề. Tất cả mô hình được đào tạo trong SageMaker đều tự động đưa ra các số liệu chính, bạn có thể thu thập và xem chúng trong SageMaker Studio. Bạn có thể định cấu hình dữ liệu cần thu thập, cách thức xem dữ liệu và thời điểm nhận cảnh báo ngay trong Studio SageMaker.

Không. SageMaker thay mặt bạn vận hành cơ sở hạ tầng điện toán, nhờ đó có thể thực hiện các hoạt động kiểm tra tình trạng, áp dụng bản vá bảo mật và công việc bảo trì định kỳ khác. Bạn cũng có thể triển khai các tạo tác mô hình từ quá trình đào tạo với mã suy luận tùy chỉnh trong môi trường lưu trữ của riêng bạn.

Dịch vụ lưu trữ SageMaker sử dụng API Application Auto Scaling để tự động thay đổi quy mô theo hiệu năng cần thiết cho ứng dụng của bạn. Ngoài ra, bạn có thể thay đổi số lượng và loại phiên bản theo cách thủ công bằng cách điều chỉnh cấu hình điểm cuối mà không gây ngừng hoạt động.

SageMaker đưa ra chỉ số hiệu năng trong các Chỉ số của Amazon CloudWatch để bạn có thể theo dõi chỉ số, đặt cảnh báo và tự động phản ứng với những thay đổi trong lưu lượng truy cập sản xuất. Ngoài ra, SageMaker cũng ghi nhật ký vào Bản ghi Amazon CloudWatch để bạn có thể giám sát và khắc phục sự cố cho môi trường sản xuất của mình.

SageMaker có thể lưu trữ bất kỳ mô hình nào tuân thủ thông số kỹ thuật được ghi lại cho hình ảnh Docker suy luận, bao gồm cả những mô hình được tạo ra từ tạo tác mô hình và mã suy luận SageMaker.

SageMaker có khả năng mở rộng quy mô để đáp ứng một lượng lớn giao dịch mỗi giây. Con số chính xác sẽ thay đổi tùy theo mô hình được triển khai cũng như số lượng và loại phiên bản mà mô hình được triển khai.

Là một dịch vụ được quản lý đầy đủ, Amazon SageMaker đảm nhận việc thiết lập và quản lý các phiên bản, khả năng tương thích của phiên bản phần mềm và vá lỗi các phiên bản. Dịch vụ này cũng cung cấp các số liệu và nhật ký tích hợp cho các điểm cuối mà bạn có thể sử dụng để theo dõi và nhận cảnh báo. Với các quy trình làm việc có hướng dẫn và công cụ SageMaker, toàn bộ quy trình triển khai và đóng gói mô hình ML được đơn giản hóa, giúp dễ dàng tối ưu hóa điểm cuối nhằm đạt được hiệu năng mong muốn và tiết kiệm chi phí. Bạn có thể dễ dàng triển khai mô hình ML của mình bao gồm các mô hình nền tảng chỉ với vài cú nhấp chuột trong SageMaker Studio hoặc bằng PySDK mới.

Tính năng Chuyển đổi hàng loạt hỗ trợ bạn chạy dự đoán trên các lô dữ liệu lớn hoặc nhỏ. Bạn không cần phải chia nhỏ tập dữ liệu thành nhiều phần hoặc quản lý các điểm cuối theo thời gian thực. Với một API đơn giản, bạn có thể yêu cầu dự đoán cho số lượng lớn bản ghi dữ liệu cũng như chuyển đổi dữ liệu một cách nhanh chóng và dễ dàng.

SageMaker hỗ trợ các tùy chọn điểm cuối sau: Điểm cuối một mô hình – Một mô hình trên bộ chứa được lưu trữ trên các phiên bản chuyên dụng hoặc phi máy chủ nhằm mang lại độ trễ thấp và thông lượng cao. Điểm cuối đa mô hình – Lưu trữ nhiều mô hình bằng cơ sở hạ tầng dùng chung để đạt được hiệu quả chi phí và tối đa hóa mức sử dụng. Bạn có thể kiểm soát lượng điện toán và bộ nhớ mà mỗi mô hình có thể sử dụng để đảm bảo mỗi mô hình có quyền truy cập vào các tài nguyên cần thiết để chạy hiệu quả. Quy trình suy luận nối tiếp – Nhiều bộ chứa chia sẻ các phiên bản chuyên dụng và thực thi theo trình tự. Bạn có thể sử dụng một quy trình suy luận để kết hợp các tác vụ khoa học dữ liệu tiền xử lý, dự đoán và hậu xử lý.
Bạn có thể sử dụng các chính sách điều chỉnh quy mô để tự động mở rộng các tài nguyên điện toán cơ bản nhằm thích ứng với các biến động về yêu cầu suy luận. Bạn có thể kiểm soát các chính sách điều chỉnh quy mô cho từng mô hình ML riêng biệt để xử lý các thay đổi trong việc sử dụng mô hình một cách dễ dàng, đồng thời tối ưu hóa chi phí cơ sở hạ tầng.

Trình quản lý biên của SageMaker đơn giản hóa việc tối ưu hóa, bảo mật, giám sát và duy trì mô hình ML trên các nhóm thiết bị biên như camera thông minh, robot, máy tính cá nhân và thiết bị di động. Trình quản lý biên của SageMaker giúp các nhà phát triển ML vận hành mô hình ML trên nhiều thiết bị biên khác nhau ở quy mô lớn.

Để bắt đầu sử dụng Trình quản lý biên của SageMaker, bạn cần biên dịch và đóng gói các mô hình ML đã đào tạo của mình trên đám mây, đăng ký thiết bị của bạn và chuẩn bị thiết bị của bạn với SDK Trình quản lý biên của SageMaker. Để chuẩn bị mô hình của bạn cho quá trình triển khai, Trình quản lý biên của SageMaker sử dụng SageMaker Neo để biên dịch mô hình của bạn cho phần cứng biên mục tiêu của bạn. Sau khi mô hình được biên dịch, Trình quản lý biên của SageMaker đánh dấu mô hình bằng khóa do AWS tạo, sau đó đóng gói mô hình với thời gian hoạt động và thông tin chứng thực cần thiết của bạn để sẵn sàng triển khai. Về phía thiết bị, bạn đăng ký thiết bị của mình với Trình quản lý biên của SageMaker, tải xuống SDK Trình quản lý biên của SageMaker, sau đó làm theo hướng dẫn để cài đặt tác tử Trình quản lý biên của SageMaker trên thiết bị của bạn. Sổ tay hướng dẫn có cung cấp một ví dụ từng bước về cách bạn có thể chuẩn bị các mô hình và kết nối các mô hình của mình trên các thiết bị biên với Trình quản lý biên của SageMaker.

Trình quản lý biên của SageMaker hỗ trợ các thiết bị dựa trên CPU (ARM, x86) và GPU (ARM, Nvidia) phổ biến có hệ điều hành Linux và Windows. Theo thời gian, Trình quản lý biên của SageMaker sẽ mở rộng để hỗ trợ thêm nhiều bộ xử lý được nhúng cũng như các nền tảng di động mà cũng được SageMaker Neo hỗ trợ.

Không, bạn không cần dùng. Bạn có thể đào tạo mô hình ở nơi khác hoặc sử dụng mô hình đã được đào tạo sẵn từ nguồn mở hoặc từ nhà cung cấp mô hình của bạn.

Có, bạn cần dùng. SageMaker Neo chuyển đổi và biên dịch mô hình thành mô hình có thể thực thi để bạn đóng gói và triển khai trên các thiết bị biên. Sau khi gói mô hình được triển khai, tác tử Trình quản lý biên của SageMaker sẽ mở gói mô hình và chạy mô hình đó trên thiết bị.

Trình quản lý biên của SageMaker lưu trữ gói mô hình trong vùng lưu trữ Amazon S3 mà bạn đã chỉ định. Bạn có thể sử dụng đặc trưng triển khai vô tuyến (OTA) do AWS IoT Greengrass cung cấp hoặc bất kỳ cơ chế triển khai nào khác mà bạn chọn để triển khai gói mô hình từ vùng lưu trữ S3 của bạn đến các thiết bị.

Dlr Neo là thời gian hoạt động mã nguồn mở chỉ chạy những mô hình do dịch vụ SageMaker Neo biên dịch. So với dlr mã nguồn mở, SDK Trình quản lý biên của SageMaker bao gồm cả một tác tử cấp doanh nghiệp trên thiết bị – cung cấp thêm các tính năng bảo mật, quản lý mô hình và phân phát mô hình. SDK Trình quản lý biên của SageMaker phù hợp để triển khai ở môi trường sản xuất trên quy mô lớn.

Trình quản lý biên của SageMaker được cung cấp ở sáu Khu vực: Miền Đông Hoa Kỳ (Bắc Virginia), Miền Đông Hoa Kỳ (Ohio), Miền Tây Hoa Kỳ (Oregon), EU (Ireland), EU (Frankfurt) và Châu Á Thái Bình Dương (Tokyo). Để biết chi tiết, hãy xem danh sách Dịch vụ theo Khu vực AWS.

SageMaker Neo cho phép các mô hình ML nhận đào tạo một lần và chạy ở bất cứ đâu trên đám mây và tại biên. SageMaker Neo tự động tối ưu hóa những mô hình được xây dựng bằng các khung DL phổ biến có thể dùng để triển khai trên nhiều nền tảng phần cứng. Các mô hình được tối ưu hóa chạy nhanh hơn tới 25 lần và tiêu thụ ít hơn một phần mười tài nguyên so với các mô hình ML điển hình.

Để bắt đầu sử dụng SageMaker Neo, hãy đăng nhập vào bảng điều khiển SageMaker, chọn một mô hình được đào tạo, làm theo ví dụ để biên dịch mô hình và triển khai mô hình kết quả lên nền tảng phần cứng mục tiêu của bạn.

SageMaker Neo chứa hai thành phần chính: trình biên dịch và thời gian hoạt động. Đầu tiên, trình biên dịch SageMaker Neo đọc các mô hình được xuất bởi các khung khác nhau. Sau đó, trình biên dịch chuyển đổi các hàm và phép toán cụ thể của từng khung thành một dạng biểu diễn trung gian không phụ thuộc vào khung. Tiếp theo, trình biên dịch thực hiện một loạt các tối ưu hóa. Sau đó, trình biên dịch tạo mã nhị phân cho các phép toán được tối ưu hóa và ghi chúng vào thư viện đối tượng dùng chung. Trình biên dịch cũng lưu định nghĩa mô hình và các tham số vào các tệp riêng biệt. Trong quá trình thực thi, thời gian hoạt động của SageMaker Neo tải các tạo tác được tạo bởi trình biên dịch – định nghĩa mô hình, các tham số và thư viện đối tượng dùng chung để chạy mô hình.

Không. Bạn có thể đào tạo mô hình ở nơi khác và sử dụng SageMaker Neo để tối ưu hóa mô hình cho phiên bản SageMaker ML hoặc thiết bị được AWS IoT Greengrass hỗ trợ.

Hiện tại, SageMaker Neo hỗ trợ những mô hình DL phổ biến nhất là nền tảng cho các ứng dụng thị giác máy tính và mô hình cây quyết định phổ biến nhất đang được dùng trong SageMaker. SageMaker Neo tối ưu hóa hiệu năng của các mô hình AlexNet, ResNet, VGG, Inception, MobileNet, SqueezeNet và DenseNet được đào tạo trong MXNet và TensorFlow, cũng như các mô hình random cut forest và phân loại được đào tạo trong XGBoost.

Bạn có thể xem danh sách phiên bản đám mây được hỗ trợ, thiết bị biên và phiên bản khung trong tài liệu về SageMaker Neo.

Để xem danh sách các Khu vực được hỗ trợ, hãy xem danh sách Dịch vụ theo Khu vực AWS.

Amazon SageMaker Savings Plans

Gói tiết kiệm của SageMaker cung cấp mô hình định giá linh hoạt dựa trên mức sử dụng cho SageMaker để đổi lấy cam kết mức sử dụng nhất quán (tính bằng USD/giờ) trong thời hạn một hoặc ba năm. Gói tiết kiệm của SageMaker cung cấp khả năng linh hoạt cao nhất và giúp bạn giảm chi phí tới 64%. Những gói này tự động áp dụng cho mức sử dụng phiên bản SageMaker ML đủ điều kiện, bao gồm SageMaker Studio Notebooks, SageMaker On-Demand Notebooks, SageMaker Processing, SageMaker Data Wrangler, SageMaker Training, SageMaker Real-Time Inference và SageMaker Batch Transform bất kể dòng phiên bản, quy mô hoặc Khu vực. Ví dụ: bạn có thể thay đổi từ phiên bản CPU ml.c5.xlarge chạy tại Miền Đông Hoa Kỳ (Ohio) sang phiên bản ml.Inf1 tại Miền Tây Hoa Kỳ (Oregon) cho các khối lượng công việc suy luận và vẫn sẽ tiếp tục tự động thanh toán theo giá của Gói tiết kiệm.
Nếu bạn có mức sử dụng phiên bản SageMaker nhất quán (tính bằng USD/giờ) và sử dụng nhiều thành phần SageMaker hoặc mong đợi cấu hình công nghệ của bạn (chẳng hạn như dòng phiên bản hoặc Khu vực) thay đổi theo thời gian, Gói tiết kiệm của SageMaker giúp việc tối đa hóa khoản tiết kiệm của bạn trở nên đơn giản hơn, đồng thời cung cấp tính linh hoạt để thay đổi cấu hình công nghệ cơ bản dựa trên nhu cầu ứng dụng hoặc đổi mới. Mức giá của Gói tiết kiệm áp dụng tự động cho tất cả các phiên bản ML đủ điều kiện sử dụng mà không cần sửa đổi thủ công.
Bạn có thể bắt đầu với Gói tiết kiệm từ Trình khám phá chi phí AWS trong Bảng điều khiển quản lý AWS hoặc bằng cách sử dụng API/CLI. Bạn có thể dễ dàng cam kết Gói tiết kiệm qua các đề xuất được cung cấp trong Trình khám phá chi phí AWS, để xác định các khoản tiết kiệm lớn nhất. Cam kết theo giờ được đề xuất dựa trên mức sử dụng Theo nhu cầu trước đây của bạn và loại chương trình, thời gian sử dụng và tùy chọn thanh toán mà bạn chọn. Sau khi bạn đăng ký Gói tiết kiệm, mức sử dụng điện toán của bạn sẽ tự động được tính phí theo giá Gói tiết kiệm được chiết khấu và mọi mức sử dụng vượt cam kết sẽ được tính phí với mức giá Theo nhu cầu thông thường.
Sự khác biệt giữa Gói tiết kiệm cho SageMaker và Gói tiết kiệm cho Amazon EC2 nằm ở các dịch vụ nằm trong gói. Gói tiết kiệm SageMaker chỉ áp dụng cho việc sử dụng Phiên bản SageMaker ML.

Bạn có thể mua Gói tiết kiệm trong bất kỳ tài khoản nào trong nhóm Tổ chức AWS/Thanh toán tổng hợp. Theo mặc định, lợi ích do Gói tiết kiệm cung cấp có thể áp dụng cho việc sử dụng trên tất cả các tài khoản trong nhóm Tổ chức AWS/Thanh toán tổng hợp. Tuy nhiên, bạn cũng có thể chọn hạn chế lợi ích của Gói tiết kiệm chỉ đối với tài khoản đã mua gói.