게시된 날짜: Nov 5, 2018
Amazon SageMaker와 함께 제공되는 내장된 알고리즘에서 이제 CSV 형식의 데이터 세트에 대해 파이프 모드를 지원합니다. 이 파이프 모드는 기계 학습(ML) 모델을 교육하면서 Amazon Simple Storage Service(S3)에서 SageMaker로 데이터가 스트리밍될 수 있는 속도를 최대 40% 높입니다. 이 새로운 기능 향상으로 파이프 모드의 성능 이점이 올해 초에 출시한 protobuf recordIO 형식과 더불어 CSV 형식의 교육 데이터 세트로 확장됩니다.
Amazon SageMaker에서는 파일 모드와 파이프 모드라는 두 가지 교육 데이터 전송 방식을 지원합니다. 파일 모드에서는 교육 데이터가 모델을 교육하기 전에 먼저 교육 인스턴스에 연결된 암호화된 EBS 볼륨으로 다운로드됩니다. 파이프 모드에서는 데이터가 실행 중인 교육 알고리즘으로 직접 스트리밍됩니다. 따라서 교육 작업이 빨라지고 디스크 공간을 적게 사용하게 되므로 Amazon SageMaker에서 ML 모델을 교육하는 전체 비용이 감소합니다.
CSV 형식에 대한 파이프 모드 지원은 현재 Amazon SageMaker가 제공되는 모든 AWS 리전에서 사용할 수 있습니다. 자세한 내용은 이 블로그 게시물에서 확인할 수 있습니다.