Amazon SageMaker Neo

모델을 한 번 학습하고 최대 2배 개선된 성능으로 어디서나 실행

Amazon SageMaker Neo를 사용하면 개발자가 기계 학습 모델을 한 번 학습하고 클라우드와 엣지의 어디서나 실행할 수 있습니다. Amazon SageMaker Neo는 1/10의 메모리를 사용하여, 정확도 손실 없이 최대 2배 빠른 성능으로 실행되도록 모델을 최적화합니다.

개발자는 낮은 대기 시간으로 실시간 예측을 빠르게 수행할 수 있는 정확한 기계 학습 모델을 제공하기 위해 많은 시간과 노력을 소비합니다. 대체로 메모리 및 처리 능력이 제한되고 대기 시간이 매우 중요한 엣지 디바이스에서는 이러한 모델이 특히 중요합니다. 예를 들어 자율 차량의 센서가 유용하려면 일반적으로 1/1000초에 데이터를 처리해야 하므로 클라우드로 왕복하는 것이 불가능합니다. 또한 엣지 디바이스에는 각기 다른 다양한 하드웨어 플랫폼과 프로세서 아키텍처가 사용됩니다. 성능을 높이려면 개발자가 각 디바이스에 맞게 모델을 수동 튜닝하는 데 몇 주나 몇 달을 보내야 합니다. 또한 복잡한 튜닝 프로세스로 인해 모델이 엣지에 배포된 후에는 거의 업데이트되지 않습니다. 개발자는 엣지 디바이스가 수집하는 데이터에 따라 모델을 다시 학습하고 개선할 수 있기를 원합니다.

Amazon SageMaker Neo는 기계 학습 모델을 자동으로 최적화하여 정확도 손실 없이 2배 빠른 성능을 제공합니다. MXNet, TensorFlow, PyTorch 또는 XGBoost로 빌드되고 Amazon SageMaker로 학습된 기계 학습 모델에서 시작합니다. 그런 후에 Intel, NVIDIA 또는 ARM 중에서 대상 하드웨어 플랫폼을 선택합니다. 한 번만 클릭하면 SageMaker Neo에서 학습된 모델을 실행 파일로 컴파일합니다. 컴파일러는 중립 네트워크를 사용하여 모델이 대상 하드웨어 플랫폼에서 가장 효율적으로 실행되게 하는 특정 성능 최적화를 모두 검색하고 적용합니다. 이제 모델을 배포하여 클라우드나 엣지에서 예측을 시작할 수 있습니다. AWS Greengrass를 사용하면 로컬 컴퓨팅 및 ML 추론 기능을 엣지로 가져올 수 있습니다. 편리한 엣지 배포를 위해 AWS Greengrass는 Neo 최적화 모델을 지원하므로 무선 업데이트를 통해 엣지에 바로 모델을 배포할 수 있습니다.

Neo는 Apache 소프트웨어 라이선스상 Neo-AI 프로젝트 형태의 오픈 소스 코드로 사용할 수도 있습니다. 따라서 개발자가 다양한 디바이스와 애플리케이션별로 소프트웨어를 사용자 지정할 수 있습니다.

이점

최대 2배 빠른 성능으로 ML 모델 실행

Amazon SageMaker Neo는 TensorFlow, MXNet, PyTorch 및 XGBoost 기계 학습 모델을 자동으로 최적화하여 정확도 손실 없이 2배 빠른 성능을 제공합니다. 딥러닝을 통해 SageMaker Neo는 특정 모델 및 모델을 배포하려는 하드웨어에 맞는 코드 최적화를 검색하고 적용합니다. 몇 주간 노력하지 않고도 수동 튜닝의 성능 혜택을 얻을 수 있습니다.



프레임워크 크기를 1/10로 축소

Amazon SageMaker Neo는 모델 프레임워크의 소프트웨어 작업 세트를 예측에 필요한 작업으로만 줄입니다. 이 경우 일반적으로 프레임워크에 필요한 메모리 양이 1/10로 줄어듭니다. 그런 후에 모델과 프레임워크가 단일 실행 파일로 컴파일되며, 이 실행 파일을 프로덕션에 배포하여 낮은 대기 시간으로 빠르게 예측할 수 있습니다. 

여러 하드웨어 플랫폼에서 동일한 ML 모델 실행

Amazon SageMaker Neo를 사용하면 모델을 한 번 학습하고 단일 실행 파일을 통해 거의 어디서나 실행할 수 있습니다. Neo는 Intel, NVIDIA, ARM, Cadence, Qualcomm 및 Xilinx 프로세서 아키텍처에 맞게 자동으로 모델을 최적화하는 방법을 인식하므로, Amazon SageMaker 콘솔에서 클릭 몇 번이면 여러 플랫폼에 맞게 모델을 쉽게 준비할 수 있습니다. 

작동 방식

Product-Page-Diagram_Neo-How-it-Works

주요 기능

원하는 딥러닝 프레임워크 사용

Amazon SageMaker Neo는 TensorFlow, MXNet 및 PyTorch에 대한 프레임워크 특정 기능과 작업을 어디서나 실행할 수 있는 컴파일된 단일 실행 파일로 변환합니다. Neo는 필요한 소프트웨어 코드를 자동으로 컴파일하고 생성합니다.

쉽고 효율적인 소프트웨어 작업

Amazon SageMaker Neo는 클라우드 인스턴스와 엣지 디바이스에 배포되는 실행 파일을 출력합니다. Neo 런타임은 배포 플랫폼에서 스토리지 등의 리소스 사용량을 1/10로 줄이고 프레임워크 종속성을 제거합니다. 예를 들어 Neo 런타임은 최대 1GB의 스토리지를 사용할 수 있는 프레임워크 종속 배포에 비해 2.5MB의 스토리지를 사용합니다.

오픈 소스 소프트웨어

Neo는 Apache 소프트웨어 라이선스상 Neo-AI 프로젝트 형태의 오픈 소스 코드로 사용할 수 있습니다. 따라서 개발자와 하드웨어 공급업체가 애플리케이션 및 하드웨어 플랫폼을 사용자 지정하고, Neo의 최적화 및 리소스 사용량 축소 기술을 활용할 수 있습니다.  

Product-Page_Standard-Icons_01_Product-Features_SqInk
Amazon SageMaker Neo 기능 확인

Amazon SageMaker Neo 사용 방법에 대한 지침은 설명서를 참조하십시오.

Product-Page_Standard-Icons_02_Sign-Up_SqInk
무료 계정에 가입

AWS 프리 티어에 즉시 액세스할 수 있습니다. 

가입하기 
Product-Page_Standard-Icons_03_Start-Building_SqInk
콘솔에서 빌드 시작

AWS Management Console에서 Amazon SageMaker Neo를 사용하여 빌드를 시작하십시오.

로그인