Amazon SageMaker Studio, SOCI 인덱싱 지원으로 컨테이너 시작 시간 단축
AWS는 오늘 Amazon SageMaker Studio에 서 SOCI(Seekable Open Container Initiative) 인덱싱을 지원한다고 발표했습니다. 따라서 사용자 지정 이미지를 사용할 경우 컨테이너 시작 시간이 최대 30~50% 단축됩니다. Amazon SageMaker Studio는 엔드 투 엔드 기계 학습 개발을 위한 완전 통합형 브라우저 기반 환경입니다. SageMaker Studio는 TensorFlow, PyTorch, Scikit-learn과 같은 주요 기계 학습 프레임워크를 위한 사전 구축된 컨테이너 이미지를 제공하여 개발 환경을 빠르게 설정할 수 있도록 지원합니다. 하지만 데이터 사이언티스트가 추가 라이브러리, 종속성 또는 구성을 포함해 특정 사용 사례에 맞게 환경을 조정해야 하는 경우, 사전 구성된 구성 요소를 포함한 사용자 지정 컨테이너 이미지를 빌드하고 등록하여 프로젝트 전반에서 일관성을 유지할 수 있습니다. ML 워크로드가 점점 더 복잡해짐에 따라 이러한 사용자 지정 컨테이너 이미지의 크기도 커졌으며, 그 결과 시작 시간이 수 분에 이르는 경우가 발생해 빠른 실험과 빠른 프로토타이핑이 중요한 반복적 기계 학습 개발 과정에서 병목 현상이 발생했습니다.
SOCI 인덱싱은 컨테이너 이미지를 지연 로드 방식으로 처리하여, 애플리케이션 시작에 필요한 구성 요소만 먼저 다운로드하고 나머지 파일은 필요 시 온디맨드로 로드함으로써 이러한 문제를 해결합니다. 사용자는 사용자 지정 이미지 전체가 다운로드될 때까지 수 분을 기다릴 필요 없이, 백그라운드에서 환경 초기화가 진행되는 동안 수 초 내에 작업을 시작할 수 있습니다. SOCI 인덱싱을 사용하려면 Finch CLI, nerdctl 또는 SOCI CLI를 포함한 Docker와 같은 도구를 사용해 사용자 지정 컨테이너 이미지에 대한 SOCI 인덱스를 생성한 후, 인덱싱된 이미지를 Amazon Elastic Container Registry(Amazon ECR)에 푸시하고 SageMaker 이미지 리소스를 생성할 때 해당 이미지 인덱스 URI를 참조하면 됩니다.
SOCI 인덱싱은 Amazon SageMaker Studio가 제공되는 모든 AWS 리전에서 사용할 수 있습니다. SageMaker Studio 사용자 지정 이미지에 SOCI 인덱싱을 구현하는 방법에 대한 자세한 내용은 Amazon SageMaker 개발자 안내서의 자체 SageMaker 이미지 가져오기를 참조하세요.