Bộ kết nối Amazon S3 dành cho PyTorch hiện hỗ trợ Điểm kiểm tra phân tán
Bộ kết nối Amazon S3 dành cho PyTorch hiện hỗ trợ Điểm kiểm tra phân tán (DCP), giúp cải thiện thời gian ghi các điểm kiểm tra vào Amazon S3. DCP là một tính năng PyTorch dùng để lưu và tải các mô hình máy học (ML) từ nhiều quy trình đào tạo song song. PyTorch là một khung ML nguồn mở dùng để xây dựng và đào tạo các mô hình ML.
Công việc đào tạo phân tán thường kéo dài trong vài giờ hay thậm chí là vài ngày và các điểm kiểm tra sẽ thường xuyên được ghi để cải thiện khả năng chịu lỗi. Ví dụ: công việc đào tạo các mô hình nền tảng lớn thường diễn ra trong vài ngày và tạo ra các điểm kiểm tra có kích thước hàng trăm gigabyte. Khi sử dụng DCP với Bộ kết nối Amazon S3 dành cho PyTorch, bạn có thể rút ngắn thời gian ghi các điểm kiểm tra lớn này vào Amazon S3, giúp tận dụng tối đa tài nguyên điện toán của bạn, và giảm chi phí điện toán.
Bộ kết nối Amazon S3 dành cho PyTorch là một dự án mã nguồn mở. Để bắt đầu, hãy truy cập trang GitHub.