Amazon SageMaker Edge

엣지 디바이스에서 실행되는 기계 학습 모델 쉽게 운영

Amazon SageMaker Edge는 모델을 최적화, 보호 및 엣지에 배포한 다음 스마트 카메라, 로봇 및 기타 스마트 전자 장치와 같은 디바이스 플릿에서 이러한 모델을 모니터링하여 디바이스 장치에서 기계 학습을 지원함으로써 지속적인 운영 비용을 절감합니다. TensorFlow, MXNet, PyTorch, XGBoost 및 TensorFlow Lite에서 모델을 훈련하는 고객은 SageMaker Edge를 사용하여 성능을 개선하고, 엣지 디바이스에 배포하고, 수명 주기 동안 상태를 모니터링할 수 있습니다.

SageMaker Edge Compiler는 훈련된 모델이 엣지 디바이스에서 실행될 수 있도록 최적화합니다. SageMaker Edge에는 애플리케이션 또는 디바이스 펌웨어와 상관없이 플릿에 모델을 배포하는 데 도움이 되는 무선 업데이트(OTA) 배포 메커니즘이 포함되어 있습니다. SageMaker Edge Agent를 사용하면 동일한 디바이스에서 여러 모델을 실행할 수 있습니다. Agent는 간격과 같이 사용자가 제어하는 로직을 기반으로 예측 데이터를 수집하고 클라우드에 업로드하여 시간 경과에 따라 주기적으로 모델을 다시 훈련할 수 있습니다. SageMaker Edge는 모델에 암호로 서명하므로, 사용자는 클라우드에서 엣지 디바이스로 이동할 때 변조되지 않았는지를 확인할 수 있습니다.

시간 경과에 따라 정확도를 높이기 위해 모델 구축 및 개선

SageMaker Edge Agent를 사용하면 설정한 트리거를 기반으로 데이터 및 메타데이터를 캡처할 수 있으므로 기존 모델을 실제 데이터로 다시 훈련하거나 새 모델을 구축할 수 있습니다. 또한 이 데이터는 모델 드리프트 분석과 같은 자체 분석을 수행하는 데 사용할 수 있습니다.

배포 방법 선택

세 가지 배포 옵션이 있습니다. GGv2(~ 100MB 크기)는 완전히 통합된 AWS IoT 배포 메커니즘입니다. 디바이스 용량이 제한된 고객을 위해 SageMaker Edge 내에 더 작은 기본 제공 배포 메커니즘이 있습니다. 선호하는 배포 메커니즘이 있는 고객을 위해 사용자 흐름에 연결할 수 있는 서드 파티 메커니즘을 지원합니다.

디바이스 플릿을 모니터링하는 시각적 대시보드

Amazon SageMaker Edge Manager는 대시보드를 제공하여 플릿 전체의 각 디바이스에서 실행되는 모델의 성능을 이해할 수 있게 해줍니다. 대시보드는 콘솔의 대시보드를 통해 전체 플릿 상태를 시각적으로 이해하고 문제가 있는 모델을 식별하도록 도와줍니다. 문제가 식별되면 사용자는 모델 데이터를 수집하고, 데이터에 레이블을 다시 지정하고, 모델을 다시 훈련하고, 모델을 다시 배포할 수 있습니다.

다양한 디바이스에 대한 기계 학습 모델 최적화

Amazon SageMaker Edge Compiler는 다양한 엣지 디바이스에 배포할 수 있도록 기계 학습 모델을 자동으로 최적화합니다. SageMaker Edge Compiler는 대상 하드웨어에서 모델을 최대 25배 더 빠르게 실행할 수 있는 성능 최적화를 적용하는 실행 가능한 형식으로 훈련된 모델을 컴파일합니다.

SageMaker Edge - 모델 패키징 데모 | Amazon Web Services (4:24)

보안 및 규정 준수 지원

Amazon SageMaker Edge는 고객 제공 키 또는 AWS 키로 서명하여 기계 학습 모델을 패키징합니다. Edge Agent는 서명을 인증하고 모델을 런타임에 로드하기 전에 모델이 변조되지 않았는지 확인합니다.
 
SageMaker Edge - 모델 패키징 데모 | Amazon Web Services (4:24)

고객

Levnovo 고객 로고

최고의 글로벌 PC 제조업체인 Lenovo™는 최근 Amazon SageMaker를 최신 예측 유지관리 서비스에 통합했습니다.  

“새로운 SageMaker Edge Manager는 배포 후 모델의 최적화, 모니터링 및 지속적인 개선에 필요한 수작업을 없애도록 도와줄 것입니다. 그러면 우리 모델이 다른 유사한 기계 학습 플랫폼보다 더 빠르게 실행되고 메모리를 덜 소비할 것으로 예상됩니다. SageMaker Edge Manager를 사용하면 엣지에서 데이터를 자동으로 샘플링하고, 안전하게 클라우드로 전송하고, 배포 후 각 디바이스에서 각 모델의 품질을 지속적으로 모니터링할 수 있습니다. 이렇게 되면 우리는 전 세계 엣지 디바이스에서 모델을 원격으로 모니터링, 개선 및 업데이트할 수 있으며, 동시에 우리와 고객의 시간과 비용을 절약할 수 있습니다.”

Igor Bergman, Lenovo의 PC 및 스마트 디바이스의 클라우드 및 소프트웨어 담당 부사장.

Basler 고객 로고

Basler AG는 산업, 의학, 운송 및 기타 다양한 시장을 위한 고품질 디지털 카메라와 액세서리를 제조하는 최고의 업체입니다.

“Basler AG는 제조, 의료, 소매 분야 등 다양한 산업에서 지능형 컴퓨터 비전 솔루션을 제공합니다. 우리는 Amazon SageMaker Edge Manager가 제공하는 새로운 피처를 사용해 소프트웨어 제품을 확장하게 되어 기뻐하고 있습니다. 기계 학습 솔루션의 성능과 안정성을 보장하려면, 엣지 디바이스에서 기계 학습 모델을 지속적으로 모니터링, 유지관리 및 개선할 수 있게 해주는 확장 가능한 엣지-클라우드 MLOps 도구가 필요합니다. SageMaker Edge Manager를 사용하면 엣지에서 데이터를 자동으로 샘플링하고, 안전하게 클라우드로 전송하고, 배포 후 각 디바이스에서 각 모델의 품질을 지속적으로 모니터링할 수 있습니다. 이렇게 되면 우리는 전 세계 엣지 디바이스에서 모델을 원격으로 모니터링, 개선 및 업데이트할 수 있으며, 동시에 우리와 고객의 시간과 비용을 절약할 수 있습니다.”

Mark Hebbel, Basler 소프트웨어 솔루션 책임자.

Amazon SageMaker 시작하기

엣지 디바이스에서 실행되는 기계 학습 모델 운영