게시된 날짜: Nov 22, 2023
PyTorch용 Amazon S3 커넥터는 Amazon S3에 있는 데이터에 액세스하고 저장하는 PyTorch 훈련 작업에 높은 처리량을 제공합니다. PyTorch는 AWS 고객이 기계 학습 모델을 구축하고 훈련하는 데 널리 사용하는 오픈 소스 기계 학습 프레임워크입니다. PyTorch용 Amazon S3 커넥터는 S3 읽기 및 목록 요청을 자동으로 최적화하여 훈련 워크로드의 데이터 로드 및 체크포인트 성능을 개선합니다. PyTorch용 Amazon S3 커넥터를 사용하면 기계 학습 훈련 모델 체크포인트를 저장하는 것이 Amazon EC2 인스턴스 스토리지에 저장하는 것보다 최대 40% 더 빨라집니다.
PyTorch용 Amazon S3 커넥터는 Amazon S3에서 훈련 데이터를 로드하는 데 사용할 수 있는 PyTorch 데이터 세트 프리미티브의 새로운 구현을 제공합니다. 무작위 데이터 액세스 패턴을 위한 맵 스타일 데이터 세트와 순차적 데이터 액세스 패턴을 위한 반복 가능한 스타일 데이터 세트를 모두 지원합니다. 아울러 PyTorch용 Amazon S3 커넥터에는 로컬 스토리지에 먼저 저장하고 Amazon S3에 업로드하기 위한 사용자 지정 코드를 작성하지 않고도, 체크포인트를 Amazon S3에 직접 저장하고 로드할 수 있는 체크포인트 인터페이스가 포함되어 있습니다.
PyTorch용 Amazon S3 커넥터는 오픈 소스 프로젝트입니다. 시작하려면 Github 페이지로 이동하세요.