게시된 날짜: Oct 7, 2021
Amazon SageMaker는 이제 훈련 작업의 데이터에 액세스하기 위해 빠른 파일 모드를 지원합니다. 이를 통해 기존 파일 모드에서 코드를 변경하지 않고 Amazon S3에서 직접 스트리밍하여 고성능 데이터에 액세스할 수 있습니다. 예를 들어, 100GB 데이터 세트에서 K-Means 클러스터링 모델을 훈련하는 데 파일 모드에서는 28분이 걸렸지만 빠른 파일 모드에서는 단 5분이 걸렸습니다(82% 감소).
기계 학습 모델을 훈련하려면 많은 양의 데이터가 필요한 경우가 많습니다. 해당 데이터에 효율적으로 액세스하면 모델 학습 성능을 개선하는 데 도움이 됩니다. 지금까지 SageMaker는 Amazon S3에서 직접 데이터를 읽기 위한 두 가지 모드인 파일 모드와 파이프 모드를 제공했습니다. 파일 모드는 훈련 인스턴스에 연결된 암호화된 Amazon EBS 볼륨에 훈련 데이터를 다운로드합니다. 모델 훈련이 시작되기 전에 이 다운로드를 완료해야 합니다. 파이프 모드는 데이터를 훈련 알고리즘으로 직접 스트리밍하므로 성능이 향상되지만 코드 변경이 필요합니다.
빠른 파일 모드는 기존 파일 모드의 사용 편의성과 파이프 모드의 성능을 결합합니다. 이를 통해 데이터를 로컬에서 다운로드한 것처럼 편리하게 액세스할 수 있으며 Amazon S3에서 직접 데이터를 스트리밍할 수 있는 성능 이점을 제공합니다. 결과적으로 전체 데이터 세트가 훈련 인스턴스에 다운로드될 때까지 기다리지 않고 훈련을 시작할 수 있습니다. 추가 비용 없이 빠른 파일 모드를 사용할 수 있습니다.
자세히 알아보려면 SageMaker에서 훈련 데이터에 액세스하기 위한 설명서를 참조하십시오. 시작하려면 Amazon SageMaker 콘솔에 로그인하세요.