게시된 날짜: Jul 17, 2018
Amazon SageMaker는 이제 내장 TensorFlow 컨테이너를 위한 파이프 입력 모드를 지원합니다. 파이프 입력 모드를 사용하면 TensorFlow 데이터 세트 구조를 사용하여 Amazon Simple Storage Service(Amazon S3)에서 훈련 인스턴스의 TensorFlow 컨테이너로 데이터를 직접 스트리밍할 수 있습니다.
이 기능은 훈련 작업의 시작 시간을 가속화하고 더 높은 처리량을 제공하며 더 적은 디스크 공간을 사용하므로 Amazon SageMaker의 모델 훈련 비용을 한층 더 절감해 줍니다. 예를 들어, AWS에서 올해 초에 Amazon Sagemaker의 내장 알고리즘을 위한 파이프 입력 모드를 출시할 때 실시한 내부 벤치마크에 따르면 78GB 훈련 데이터 세트의 시작 시간은 최대 87% 단축되었으며 처리량은 일부 벤치마크보다 2배 증가하여 결과적으로 총 훈련 시간이 최대 35% 단축되었습니다.
파이프 입력 모드 전에는 파일 입력 모드를 사용하여 데이터를 Amazon S3에서 훈련 인스턴스에 부착된 Amazon Elastic Block Store(Amazon EBS) 볼륨으로 로드해야 했으며 이 방식에는 모델 요소와 전체 훈련 데이터 세트 모두를 저장할 디스크 공간이 필요했습니다. 파일 입력 모드는 메모리에 완전히 들어가는 데이터 세트에서 여러 epoch를 실행하는 훈련 작업에 여전히 유용할 수 있습니다. 두 입력 모드를 합치면 소규모의 실험적 훈련 작업에서 페타바이트 규모의 분산 훈련 작업에 이르는 모든 사용 사례 범위를 지원할 수 있습니다.
Amazon SageMaker에서의 TensorFlow 컨테이너를 위한 파이프 입력 모드는 이제 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(오레곤), 유럽(아일랜드), 유럽(프랑크푸르트), 아시아 태평양(도쿄), 아시아 태평양(서울) 및 아시아 태평양(시드니) AWS 리전에서 사용할 수 있습니다. 자세한 내용은 Amazon SageMaker 설명서를 참조하십시오.