Amazon SageMaker AI, 이제 SOCI-인덱스 이미지 지원으로 몇 초 만에 훈련 작업 시작 가능
Amazon SageMaker AI는 오늘 훈련 및 처리 작업을 위한 Seekable OCI(SOCI) 인덱스 컨테이너 이미지 지원을 발표했습니다. 이제 작업에서 코드 실행을 더 빨리 시작할 수 있습니다. SOCI 인덱스 이미지는 Amazon SageMaker AI 훈련 컨테이너를 몇 초 만에 시작하여 훈련 성능에 영향을 주지 않고 이미지 가져오기 중 GPU 유휴 시간을 최대 90% 단축합니다. 훈련 또는 처리 작업을 실행하기 전에 SageMaker AI는 컨테이너 이미지를 인스턴스에 다운로드합니다. 일반적으로 10GB를 초과하는 딥 러닝 이미지의 경우, 이 다운로드로 인해 모든 작업 시작 시 몇 분이 추가되며, 추가된 만큼 비용이 발생합니다. 이제 이미지에 SOCI 인덱스가 포함되면 SageMaker AI가 이미지를 지연 로드하여 컨테이너를 시작하는 데 필요한 파일만 가져오고 코드 실행 시 나머지는 백그라운드에서 스트리밍합니다.
이 기능을 사용하려면 훈련 또는 처리 작업에서 프라이빗 Amazon ECR 리포지토리의 SOCI 인덱스 이미지를 참조하세요. 이미지 태그를 -soci 버전으로 변경하여 사전 인덱싱된 AWS Deep Learning Container를 사용하거나, 오픈 소스 도구로 Amazon ECR의 자체 이미지에 SOCI 인덱스를 추가할 수 있습니다. 이미지를 다시 빌드할 필요가 없습니다. 직무 정의, 진입점 또는 데이터 채널을 변경할 필요가 없습니다. SageMaker AI는 인덱스를 자동으로 확인하고, 인덱스가 없는 이미지는 이전과 마찬가지로 다운로드합니다. 인덱스를 사용할 수 없는 경우 작업은 표준 다운로드로 폴백되어 계속 실행됩니다.
SageMaker AI 훈련 및 처리 작업을 위한 SOCI 인덱스 이미지는 오늘부터 SageMaker AI가 제공되는 모든 AWS 리전에서 SageMaker AI API, CLI, SDK, Console을 통해 사용할 수 있습니다. 자세한 내용은 훈련 작업, 처리 작업에 대한 설명서를 참조하거나, 출시 블로그를 읽어보세요.