게시된 날짜: Mar 13, 2024
이제 PyTorch용 Amazon S3 커넥터는 PyTorch Lightning 모델 체크포인트를 Amazon S3에 직접 저장할 수 있도록 지원하여 기계 학습 훈련 작업의 비용과 성능을 개선합니다. PyTorch Lightning은 PyTorch를 사용하는 훈련을 위한 고급 인터페이스를 제공하는 오픈 소스 프레임워크입니다. PyTorch용 Amazon S3 커넥터는 S3 요청을 자동으로 최적화하여 훈련 워크로드의 데이터 로드 및 체크포인트 성능을 개선합니다. PyTorch용 Amazon S3 커넥터를 사용하면 PyTorch Lightning 모델 체크포인트를 저장하는 것이 Amazon EC2 인스턴스 스토리지에 작성하는 것보다 최대 40% 더 빨라집니다.
PyTorch용 Amazon S3 커넥터는 기계 학습 모델 체크포인트를 Amazon S3에 직접 저장하는 데 사용할 수 있는 PyTorch Lightning 체크포인트 프리미티브의 새로워진 구현을 제공합니다. 모델 체크포인트는 일반적으로 훈련 작업을 일시 중지해야 하므로 체크포인트를 저장하는 데 필요한 시간이 전체 훈련 시간에 영향을 미칩니다. 이번 통합을 통해 PyTorch Lightning 훈련 작업에서 Amazon S3로 직접 체크포인트를 저장, 로드 및 삭제할 수 있습니다.
PyTorch용 Amazon S3 커넥터는 오픈 소스 프로젝트입니다. 시작하려면 Github 페이지로 이동하세요.