Amazon SageMaker Edge Manager – 엣지 디바이스에서 기계 학습 모델 운영 간소화

오늘 Amazon SageMaker Edge Manager를 발표하게 되어 기쁩니다. Amazon SageMaker의 새로운 기능으로 엣지 디바이스 플릿에서 기계 학습 모델을 간편하게 최적화, 보안, 모니터링 및 유지 관리합니다.

엣지 컴퓨팅은 정보 기술 분야에서 가장 흥미로운 개발 중 하나입니다. 실제로 컴퓨팅, 스토리지, 네트워킹 및 배터리 기술의 지속적인 발전으로 인해 조직에서는 제조, 에너지, 농업, 의료 등 다양한 산업 애플리케이션을 위해 전 세계 어디 곳에서든 많은 수의 임베디드 장치를 정기적으로 배포합니다. 간단한 센서부터 대형 산업용 기계에 이르기까지 이 장치들은 공통적인 목적을 가지고 있습니다. 데이터를 캡처하고 분석한 뒤 이에 대한 조치를 취하는데, 예를 들어 원하지 않는 조건이 감지되면 경고를 보낼 수 있습니다.

기계 학습(ML)이 광범위한 비즈니스 문제를 해결할 수 있는 능력을 입증한 결과, 고객은 기계 학습을 엣지 애플리케이션, 클라우드의 훈련 모델에 적용하고 로컬 데이터의 심층적인 인사이트를 추출하기 위해 엣지에서 기계 학습을 배포하려고 했습니다. 그러나 원격 환경 및 엣지 디바이스의 태생적인 제약을 감안할 때 엣지에서 모델을 배포하고 관리하는 것은 매우 어려운 경우가 많습니다.

예를 들어, 복잡한 모델이 너무 커서 적합하지 않을 수 있으므로 고객은 더 작고 덜 정확한 모델을 설치해야 합니다. 또한 여러 유형의 이상을 감지하는 것과 같이 동일한 디바이스에서 여러 모델을 사용하여 예측하는 경우, 하드웨어 리소스를 절약하기 위해 필요에 따라 모델을 로드하고 언로드하기 위해 추가 코드가 필요할 수 있습니다. 마지막으로, 예측 품질을 모니터링하는 것이 주요 관심사입니다. 실제 상황에서는 항상 훈련 세트가 예상할 수 있는 것보다 더 복잡하고 예측할 수 없기 때문입니다.

고객이 이러한 문제를 해결할 수 있도록 도움을 요청했고, 우리는 방법을 제시해야 했습니다.

Amazon SageMaker Edge Manager 발표
Amazon SageMaker Edge Manager를 사용하면 ML 엣지 개발자가 클라우드 또는 엣지 디바이스에서 동일한 친숙한 도구를 쉽게 사용할 수 있습니다. 이를 통해 모델을 프로덕션에 구현하는 데 필요한 시간과 작업을 줄이고 디바이스 플릿 전반에서 모델 품질을 지속적으로 모니터링하고 개선할 수 있습니다.

Amazon SageMaker에서 훈련하거나 가져온 모델부터 시작하여 SageMaker Edge Manager는 먼저 Amazon SageMaker Neo를 사용하여 하드웨어 플랫폼에 대해 모델을 최적화합니다. 2년 전에 출시된 Neo는 모델을 소형 풋프린트 런타임으로 실행되는 디바이스에 적합한 효율적인 공통 형식으로 변환합니다. Neo는 현재 Ambarella, ARM, 인텔, NVIDIA, NXP, Qualcomm, TI 및 Xilinx에서 제조한 칩을 기반으로 하는 디바이스를 지원합니다.

그런 다음 SageMaker Edge Manager는 모델을 패키징하고 Amazon Simple Storage Service(S3)에 모델을 저장하며, 이를 디바이스에 배포할 수 있습니다. 실제로 선택한 하드웨어에 최적화된 런타임을 사용하여 여러 모델을 배포하고 로드 및 예측할 수 있습니다.

온디바이스 모델은 모델 배포를 위해 AWS 클라우드와 통신하고 모델 관리를 위해 애플리케이션과 통신하는 SageMaker Edge Manager의 Manager Agent에 의해 관리됩니다. 실제로 이 에이전트를 애플리케이션과 통합하여 예측 요청에 따라 모델을 자동으로 로드하고 언로드할 수 있습니다. 이를 통해 필요할 때마다 대형 모델에 대한 모든 리소스를 확보하거나 메모리에 공동으로 상주하는 작은 모델 컬렉션으로 작업하는 등 다양한 시나리오가 가능합니다.

글로벌 1위 PC 제조업체인 Lenovo는 최근 SageMaker를 최신 AI 기반 SaaS 제품에 통합했습니다. PC 및 스마트 장치의 클라우드 및 소프트웨어 담당 Lenovo 부사장인 Igor Bergman은 다음과 같이 말했습니다. “Lenovo는 하드웨어 공급업체가 아니고 고객의 디바이스 경험을 혁신하고 비즈니스 목표를 달성하는 데 신뢰할 수 있는 파트너가 되기 위해 최선을 다하고 있습니다. Lenovo Device Intelligence는 Amazon SageMaker를 통해 강화한 기계 학습의 성능으로 어떻게 이 작업을 수행하는지 보여주는 훌륭한 예입니다. Lenovo Device Intelligence를 통해 IT 관리자는 PC 문제를 사전 예방적으로 진단하고 잠재적인 시스템 장애가 발생하기 전에 예측할 수 있으므로 다운타임을 줄이고 직원 생산성을 높일 수 있습니다. Amazon SageMaker Neo를 통합함으로써, 온디바이스 예측 모델의 실행이 크게 개선되었습니다. 이는 향후 몇 주 내에 소개될 새로운 Amazon SageMaker Edge Manager를 위한 긍정적인 신호입니다. SageMaker Edge Manager는 배포 후 모델을 최적화, 모니터링 및 지속적으로 개선하는 데 필요한 수작업을 없앨 수 있도록 도와줍니다. 이를 통해 우리 모델은 다른 유사한 기계 학습 플랫폼보다 더 빠르게 실행되고 메모리를 적게 소비할 것으로 기대합니다. Lenovo 서비스 포트폴리오 전반에서 AI를 새로운 애플리케이션으로 확장함에 따라 클라우드와 수백만 개의 엣지 디바이스 모두에서 유연하고 확장 가능한 고성능 파이프라인이 계속 필요합니다. 그래서 우리는 Amazon SageMaker 플랫폼을 선택했습니다. 풍부한 엣지 투 클라우드 및 CI/CD 워크플로 기능을 통해 기계 학습 모델을 모든 디바이스 워크플로에 효과적으로 도입하여 생산성을 높일 수 있습니다.”

시작하기
앞서 살펴본 것처럼, SageMaker Edge Manager를 사용하면 엣지 디바이스에 배포된 ML 모델을 보다 쉽게 작업할 수 있습니다. 현재 미국 동부(버지니아 북부),미국서부(오레곤), 미국 동부(오하이오), 유럽(아일랜드), 유럽(프랑크푸르트) 및 아시아 태평양(도쿄) 리전에서 사용 가능합니다.

샘플 노트북은 바로 사용할 수 있습니다. 사용해보시고 의견을 알려주세요.

언제든지 AWS 지원 담당자나 SageMaker에 대한 AWS 포럼을 통해 피드백을 보내 주시기 바랍니다.

– Julien