게시된 날짜: Dec 8, 2020
엔드 투 엔드 기계 학습 워크플로를 구축, 관리, 자동화 및 확장하는 Amazon SageMaker의 새로운 기능인 Amazon SageMaker 파이프라인을 기쁜 마음으로 소개해 드립니다. SageMaker 파이프라인은 ML 워크플로에 자동화 및 오케스트레이션을 도입하여 기계 학습 프로젝트를 가속화하고 프로덕션에서 수천 가지 모델로 확대할 수 있습니다.
기계 학습은 반복적인 프로세스이며 데이터 엔지니어, 데이터 사이언티스트, ML 엔지니어 및 DevOps 엔지니어 같은 여러 이해관계자들간의 협업을 필요로 합니다. 데이터 준비, 피처 엔지니어링, 훈련 및 모델 평가 전반의 여러 단계는 그 규모가 매우 크고 데이터 종속성 관리를 더욱 복잡하게 만들기 때문에 모델 구축을 위한 확장 가능한 프로세스를 구축하는 것은 어려운 일입니다. 모델 수가 늘어갈수록 모델 버전을 관리하고 프로덕션에 배포하기 위한 쉽고 확장 가능한 방식의 자동화가 필요합니다. 마지막으로 엔드 투 엔드 파이프라인 전반의 계보를 추적하려면 데이터, 모델 아티팩트 및 작업을 추적할 수 있는 사용자 지정 도구가 필요합니다.
데이터 사이언스 및 엔지니어링 팀은 Amazon SageMaker 파이프라인을 사용해 ML 프로젝트에 대해 원활하게 협업하고 엔드 투 엔드 ML 워크플로 구축, 자동화 및 확장을 간소화할 수 있습니다. Amazon SageMaker SDK는 파라미터 및 Amazon SageMaker Data Wrangler, 프로세싱, 훈련, 배치 변환, 조건 평가 및 핵심 모델 레지스트리에 대한 모델 등록을 포함할 수 있는 단계를 정의하여 모델이 파이프라인을 쉽게 구축할 수 있도록 합니다. 파이프라인이 구축되면, Amazon SageMaker가 파이프라인 실행을 관리하므로 파이프라인 실행과 Amazon SageMaker Studio의 실시간 지표 및 로그를 볼 수 있습니다. 모델을 새로운 Amazon SageMaker 모델 레지스트리에 저장하면 파이프라인에서 새 모델 버전이 자동으로 생성되고 기본 제공 승인 워크플로가 제공되어 프로덕션에 배포할 모델을 선택할 수 있습니다.
Amazon SageMaker 파이프라인은 ML 모델 구축 및 배포 파이프라인을 자동화하고 확장하기 위해 기계 학습(MLOps라고 함)에 적용되는 지속적 통합 및 지속적 전달(CI/CD)을 위한 DevOps 모범 사례를 제공합니다. Amazon SageMaker 파이프라인은 기본 제공 MLOps 템플릿을 제공하므로 ML 프로젝트를 위한 CI/CD로 시작할 수 있으며 사용자 지정 MLOps 템플릿 사용 기능을 제공합니다. 그 결과, 수동 프로세스에 의존하지 않고 ML 파이프라인을 빠르고 쉽게 확장할 수 있으며 코드의 일관성, 통합 및 단위 테스트는 물론 프로덕션 내에서의 안정적인 모델 업데이트를 보장할 수 있습니다. 마지막으로, Amazon SageMaker 파이프라인은 ML 파이프라인 각 단계의 계보를 자동으로 추적하므로 사용자 지정 도구를 구축할 필요 없이 거버넌스 및 감사 요건을 활용할 수 있습니다.