Amazon SageMaker AI hiện hỗ trợ hình ảnh được lập chỉ mục SOCI để bắt đầu công việc đào tạo trong vài giây
Hôm nay, Amazon SageMaker AI thông báo hỗ trợ hình ảnh bộ chứa được lập chỉ mục Seekable OCI (SOCI) cho các công việc đào tạo và xử lý, vì vậy công việc của bạn bắt đầu chạy mã sớm hơn. Hình ảnh được lập chỉ mục SOCI khởi động các bộ chứa đào tạo Amazon SageMaker AI trong vài giây, giảm tới 90% thời gian GPU nhàn rỗi trong quá trình tải hình ảnh mà không ảnh hưởng đến hiệu năng đào tạo. Trước khi một công việc đào tạo hoặc xử lý có thể chạy, SageMaker AI tải hình ảnh bộ chứa tương ứng xuống phiên bản. Đối với hình ảnh học sâu, thường vượt quá 10 GB, việc tải xuống sẽ thêm vài phút để bắt đầu mọi công việc và bạn phải trả tiền cho thời gian đó. Giờ đây, khi hình ảnh của bạn bao gồm chỉ mục SOCI, SageMaker AI sẽ tải hình ảnh từng phần, chỉ tìm nạp các tệp cần thiết để khởi động bộ chứa và truyền phát phần còn lại ở chế độ nền khi mã của bạn chạy.
Để sử dụng tính năng này, hãy chỉ định hình ảnh được lập chỉ mục SOCI từ kho lưu trữ Amazon ECR riêng tư trong công việc đào tạo hoặc xử lý của bạn. Bạn có thể sử dụng Bộ chứa học sâu AWS được lập chỉ mục trước bằng cách thay đổi thẻ hình ảnh thành biến thể -soci của bộ chứa đó hoặc thêm chỉ mục SOCI vào hình ảnh của riêng bạn trong Amazon ECR bằng các công cụ nguồn mở mà không cần xây dựng lại hình ảnh. Không cần thay đổi định nghĩa công việc, điểm vào hoặc kênh dữ liệu của bạn. SageMaker AI tự động kiểm tra xem có chỉ mục hay không, còn các hình ảnh không có chỉ mục vẫn được tải xuống như trước. Nếu không thể sử dụng chỉ mục, công việc sẽ quay trở lại bản tải xuống tiêu chuẩn và tiếp tục chạy.
Hình ảnh được lập chỉ mục SOCI cho các công việc đào tạo và xử lý SageMaker AI hiện đã được cung cấp ở tất cả các Khu vực AWS có sẵn SageMaker AI, thông qua API SageMaker AI, CLI, SDK và Bảng điều khiển. Để tìm hiểu thêm, hãy xem tài liệu về công việc đào tạo và công việc xử lý hoặc đọc blog ra mắt.