Amazon SageMaker Edge Manager

스마트 디바이스 전체에서 ML 모델을 효율적으로 관리 및 모니터링

산업 자동화, 자율 주행 차량, 자동 결제 등의 애플리케이션 수가 증가함에 따라, 새로운 데이터를 사용할 수 있을 때 실시간으로 예측할 수 있도록 엣지 디바이스에서 실행되는 ML(기계 학습) 모델이 필요합니다. Amazon SageMaker Neo는 엣지 디바이스용 ML 모델을 최적화하는 가장 쉬운 방법으로, 클라우드에서 ML 모델을 한 번 훈련하여 모든 디바이스에서 실행할 수 있게 해줍니다. 디바이스 수가 급격히 늘어남에 따라, 고객은 디바이스 전체에서 배포되어 실행되는 모델이 수천 개일 수 있습니다. Amazon SageMaker Edge Manager를 사용하면 스마트 카메라, 로봇, 개인용 컴퓨터, 모바일 디바이스 등 전체에서 ML 모델을 최적화, 보호, 모니터링 및 유지관리할 수 있습니다.

Amazon SageMaker Edge Manager는 엣지 디바이스에서 실행되는 소프트웨어 에이전트를 제공합니다. 에이전트는 SageMaker Neo에 자동으로 최적화된 ML 모델과 함께 제공되므로, 사용자는 모델 최적화를 활용하기 위해 디바이스에 Neo 런타임을 설치할 필요가 없습니다. 또한 에이전트는 예측 데이터를 수집하고 데이터 샘플을 모니터링, 레이블링, 재훈련을 위해 클라우드로 전송하므로, 사용자는 시간이 지나도 모델을 정확하게 유지할 수 있습니다. 모든 데이터는 배포된 모델의 작업에 대해 보고하는 SageMaker Edge Manager 대시보드에서 볼 수 있습니다. 그리고, SageMaker Edge Manager를 사용하면 나머지 애플리케이션과 별도로 모델을 관리할 수 있으므로, 모델과 애플리케이션을 독립적으로 업데이트하여 비용이 많이 드는 가동 중지 시간과 서비스 중단 상황을 줄일 수 있습니다. 또한 SageMaker Edge Manager는 모델에 암호로 서명하므로, 사용자는 클라우드에서 엣지 디바이스로 이동할 때 변조되지 않았는지를 확인할 수 있습니다.

Amazon SageMaker Edge Manager란?

엣지 디바이스 전체에서 모델 관리

다양한 디바이스에 대한 ML 모델 최적화

Amazon SageMaker Edge Manager는 ML 모델을 자동으로 최적화하여 CPU, GPU, 임베디드 ML 액셀러레이터로 구동되는 디바이스를 포함하여 다양한 엣지 디바이스에 배포할 수 있도록 합니다. SageMaker Edge Manager는 훈련된 모델을 실행 파일로 컴파일하여 특정 성능 최적화를 검색하고 적용함으로써, 사용자는 대상 하드웨어에서 모델을 최대 25배 빠르게 실행할 수 있습니다. SageMaker Edge Manager를 사용하면 Android, iOS, Linux, Windows 기반 컴퓨터에서 추론하기 위해 DarkNet, Keras, MXNet, PyTorch, TensorFlow, TensorFlow-Lite, ONNX, XGBoost 등의 다양한 프레임워크를 사용하여 훈련된 모델을 최적화하고 패키징할 수 있습니다.

디바이스 애플리케이션과의 손쉬운 통합

Amazon SageMaker Edge Manager는 오픈 소스 원격 프로시저 호출인 gRPC를 지원합니다. 이렇게 하면 사용자는 Android Java, C# / .NET, Dart, Go, Java, Kotlin/JVM, Node.js, Objective-C, PHP, Python, Ruby, Web 등 공통 프로그래밍 언어의 API를 통해 SageMaker Edge Manager를 기존 엣지 애플리케이션과 통합할 수 있습니다.

지속적인 모델 모니터링

Amazon SageMaker Edge Manager는 엣지 디바이스에서 데이터를 수집하여 샘플을 클라우드로 전송하고, 거기서 샘플은 SageMaker에서 분석 및 시각화됩니다. 품질 저하가 감지되면 사용자는 이를 대시보드에서 빠르게 발견하고 Amazon CloudWatch를 통해 경고를 구성할 수도 있습니다. 모델 품질 저하 또는 모델 드리프트는 예측 수행에 사용된 데이터와 모델 훈련에 사용된 데이터의 차이로 인해 또는 실제 세상의 변화로 인해 발생할 수 있습니다. 예를 들어, 눈이 온 상황의 이미지에 대해 훈련되지 않은 객체 탐지 모델은 실제 세상에서 눈이 온 상황에 처했을 때 제대로 작동하지 않습니다.

플릿 대시보드

Amazon SageMaker Edge Manager는 대시보드를 제공하여 플릿 전체의 각 디바이스에서 실행되는 모델의 성능을 이해할 수 있게 해줍니다. 대시보드는 콘솔의 대시보드를 통해 전체 플릿 상태를 시각적으로 이해하고 문제가 있는 모델을 식별하도록 도와줍니다. 문제가 식별되면 사용자는 모델 데이터를 수집하고, 데이터에 레이블을 다시 지정하고, 모델을 다시 훈련하고, 모델을 다시 배포할 수 있습니다.

디바이스에서 여러 모델 실행 – 출시 예정

한 디바이스에서 동시에 여러 모델을 호스팅하고 실행해야 하는 ML 애플리케이션의 경우, Amazon SageMaker Edge Manager를 사용하면 사용자는 간단한 애플리케이션 로직을 작성하여 하나 이상의 쿼리(예: 모델 로드/언로드, 추론 실행)를 독립적으로 여러 모델에 보내고 모델을 추가하거나 업데이트할 때 하드웨어 리소스 사용률을 리밸런스할 수 있습니다. 예를 들어, 자율 주행 로봇은 장애물을 탐지하기 위한 객체 탐지 모델, 장애물을 인식하기 위한 분류 모델, 행동을 결정하기 위한 트리 기반 모델이 필요합니다.

모델 레지스트리 및 모델 계보 – 출시 예정

곧 클라우드에서 Amazon SageMaker Edge Manager의 엣지 디바이스로 구축-훈련-배포 워크플로를 자동화하고 각 모델의 수명 주기를 추적할 수 있게 됩니다.

고객

Levnovo 고객 로고

최고의 글로벌 PC 제조업체인 Lenovo™는 최근 Amazon SageMaker를 최신 예측 유지관리 서비스에 통합했습니다.  

“새로운 SageMaker Edge Manager는 배포 후 모델의 최적화, 모니터링 및 지속적인 개선에 필요한 수작업을 없애도록 도와줄 것입니다. 그러면 우리 모델이 다른 유사한 기계 학습 플랫폼보다 더 빠르게 실행되고 메모리를 덜 소비할 것으로 예상됩니다. SageMaker Edge Manager를 사용하면 엣지에서 데이터를 자동으로 샘플링하고, 안전하게 클라우드로 전송하고, 배포 후 각 디바이스에서 각 모델의 품질을 지속적으로 모니터링할 수 있습니다. 이렇게 되면 우리는 전 세계 엣지 디바이스에서 모델을 원격으로 모니터링, 개선 및 업데이트할 수 있으며, 동시에 우리와 고객의 시간과 비용을 절약할 수 있습니다.”

Igor Bergman, Lenovo의 PC 및 스마트 디바이스의 클라우드 및 소프트웨어 담당 부사장.

Basler 고객 로고

Basler AG는 산업, 의학, 운송 및 기타 다양한 시장을 위한 고품질 디지털 카메라와 액세서리를 제조하는 최고의 업체입니다.

“Basler AG는 제조, 의료, 소매 분야 등 다양한 산업에서 지능형 컴퓨터 비전 솔루션을 제공합니다. 우리는 Amazon SageMaker Edge Manager가 제공하는 새로운 피처를 사용해 소프트웨어 제품을 확장하게 되어 기뻐하고 있습니다. 기계 학습 솔루션의 성능과 안정성을 보장하려면, 엣지 디바이스에서 기계 학습 모델을 지속적으로 모니터링, 유지관리 및 개선할 수 있게 해주는 확장 가능한 엣지-클라우드 MLOps 도구가 필요합니다. SageMaker Edge Manager를 사용하면 엣지에서 데이터를 자동으로 샘플링하고, 안전하게 클라우드로 전송하고, 배포 후 각 디바이스에서 각 모델의 품질을 지속적으로 모니터링할 수 있습니다. 이렇게 되면 우리는 전 세계 엣지 디바이스에서 모델을 원격으로 모니터링, 개선 및 업데이트할 수 있으며, 동시에 우리와 고객의 시간과 비용을 절약할 수 있습니다.”

Mark Hebbel, Basler의 소프트웨어 솔루션 책임자.

Amazon SageMaker Edge Manager 시작하기