게시된 날짜: Oct 10, 2018
이제 Amazon SageMaker에는 기계 학습(ML) 모델을 교육하면서 Amazon Simple Storage Service(S3)에서 SageMaker로 데이터가 스트리밍될수 있는 속도를 높이는 개선된 파이프 모드 구현이 포함됩니다. 파이프 모드의 최신 구현에서는 파일 모드와 비교하여 최대 9배 높은 데이터 스트리밍 처리량을 제공합니다.
Amazon SageMaker에서는 파일 모드와 파이프 모드라는 두 가지 교육 데이터 전송 방법을 지원합니다. 파일 모드에서는 교육 데이터가 모델을 교육하기 전에 먼저 교육 인스턴스에 연결된 암호화된 EBS 볼륨으로 다운로드됩니다. 파이프 모드에서는 데이터가 실행 중인 교육 알고리즘으로 직접 스트리밍됩니다. 따라서 교육 작업이 빨라지고 디스크 공간이 줄어들어 SageMaker에서 ML 모델을 교육하는 전체 비용이 감소합니다.
요구 사항 및 환경에 따라 사용 사례에 맞는 모드를 선택할 수 있습니다. 예를 들어 교육 데이터 세트가 메모리에 저장하기에 충분히 작거나 여러 epoch를 실행해야 하는 경우, 파일 모드를 사용하여 모든 데이터를 메모리에 로드하는 것이 더 쉬울 수 있습니다. I/O 바운드 알고리즘이 있는 경우, 파이프 모드를 사용하면 처리량을 높이고 필요한 디스크 볼륨 크기를 줄일 수 있습니다.
파이프 모드의 최신 구현은 Amazon SageMaker를 사용할 수 있는 모든 AWS 리전에서 지원됩니다. 자세한 내용은 Amazon SageMaker 설명서를 참조하십시오.