Amazon SageMaker HyperPod hiện hỗ trợ trình điều khiển Amazon EBS CSI để lưu trữ liên tục
Amazon SageMaker HyperPod hiện hỗ trợ trình điều khiển Giao diện lưu trữ bộ chứa (CSI) của Kho lưu trữ khối linh hoạt (EBS) của Amazon, giúp khách hàng linh hoạt cung cấp và quản lý kho lưu trữ liên tục cho khối lượng công việc máy học trên các cụm SageMaker HyperPod EKS. Với tính năng này, khách hàng có thể dễ dàng tạo, đính kèm và quản lý các ổ đĩa EBS thông qua các yêu cầu ổ đĩa liên tục của Kubernetes, đảm bảo dữ liệu được lưu trữ liên tục ngay cả khi pod khởi động lại hoặc khi thay thế nút. Đối với các khách hàng triển khai khối lượng công việc đào tạo và suy luận, nhu cầu phân bổ dung lượng lưu trữ linh hoạt song song với hiệu năng cao là rất quan trọng. Tuy nhiên trước đây, khách hàng phải tự quản lý ổ đĩa EBS thủ công bên ngoài quy trình làm việc của Kubernetes.
Việc hỗ trợ trình điều khiển EBS CSI giúp khách hàng có thể linh hoạt cung cấp dung lượng theo yêu cầu của mô hình, điều chỉnh kích thước dung lượng mà không làm gián đoạn dịch vụ, đồng thời tạo ảnh chụp nhanh để sao lưu và khôi phục dữ liệu. Đối với khối lượng công việc đào tạo, tính năng này cung cấp kho lưu trữ liên tục cho tập dữ liệu, các điểm kiểm tra của mô hình và các tạo tác dùng chung. Đối với khối lượng công việc suy luận, khách hàng có thể dễ dàng cung cấp bộ lưu trữ cho mô hình, tạo ổ đĩa bộ nhớ đệm và duy trì bản ghi sự kiện. Tích hợp này hỗ trợ cả cung cấp tĩnh và động thông qua các lớp lưu trữ Kubernetes, giúp tối ưu chi phí lưu trữ đồng thời đảm bảo hiệu năng.
Để bắt đầu, hãy cài đặt trình điều khiển Amazon EBS CSI dưới dạng tiện ích bổ sung EKS trên cụm HyperPod EKS, sau đó cung cấp ổ đĩa EBS bằng cách sử dụng yêu cầu ổ đĩa liên tục Kubernetes và các lớp lưu trữ tiêu chuẩn. Trình điều khiển EBS CSI quản lý toàn bộ vòng đời của ổ đĩa EBS, từ khởi tạo, đính kèm, gắn cho đến dọn dẹp. Ổ đĩa được hỗ trợ mã hoá bằng khoá KMS do khách hàng quản lý, đồng thời có thể thay đổi dung lượng và tạo ảnh chụp nhanh thông qua các thao tác Kubernetes tiêu chuẩn.
Tính năng này được cung cấp tại tất cả Khu vực AWS có hỗ trợ cụm SageMaker HyperPod EKS. Để tìm hiểu thêm về hỗ trợ trình điều khiển EBS CSI, hãy xem Hướng dẫn sử dụng Amazon SageMaker HyperPod.