PyTorch를 통한 딥 러닝

사용이 편한 고성능의 AWS 기반 딥 러닝

PyTorch는 오픈 소스 딥 러닝 프레임워크이며 기계 학습 모델을 개발하고 프로덕션에 모델을 배포하는 데 도움이 됩니다. Facebook과 협력하여 AWS에서 구축하고 유지 관리하는 PyTorch의 모델 제공 라이브러리인 TorchServe를 사용하여 PyTorch 개발자들은 쉽고 빠르게 모델을 프로덕션에 배포할 수 있습니다. 또한 PyTorch는 AWS의 고성능에 맞게 조정된, 분산 훈련용 역동적 계산 그래프 및 라이브러리를 제공합니다.

AWS에서는 Amazon SageMaker를 사용하여 PyTorch를 시작할 수 있습니다. SageMaker는 PyTorch 모델을 대규모로 구축, 훈련 및 배포할 수 있는 쉽고 경제적인 방법을 제공하는 완전관리형 기계 학습 서비스입니다. 인프라를 직접 관리하는 것을 선호하는 경우 PyTorch의 최신 버전을 통해 소스에서 구축되고 성능에 최적화되어 제공되는 AWS Deep Learning AMI 또는 AWS Deep Learning Containers를 사용하여 사용자 지정 기계 학습 환경을 빠르게 배포할 수 있습니다.

장점

사용 편의성

AWS 기반 PyTorch는 Amazon EC2 인스턴스, Elastic Fabric Adapter, 그리고 기타 스토리지, 네트워크 및 인프라 기술을 활용하도록 설계되었습니다. Facebook과 협력하여 AWS에서 구축하고 유지 관리하는 오픈 소스 PyTorch 모델 제공 라이브러리인 TorchServe를 사용하여 쉽게 모델을 프로덕션에 배포할 수 있습니다. TorchScript를 사용하면 즉시 실행 모드(반복적 모델 개발에 사용) 및 그래프 모드(모델이 구축된 후 효율적인 훈련에 사용) 간에 쉽게 전환할 수 있습니다.

고성능에 맞게 구축

강력한 GPU 인스턴스의 클러스터, 그리고 내결함성 및 탄력성을 제공하는 TorchElastic 등의 라이브러리를 활용하는 분산 훈련 백엔드를 사용하여 신속하게 모델을 훈련시키므로 더 빠른 반복이 가능해져 모델을 더 빠르게 출시할 수 있습니다.

풍부한 생태계

torchvision, torchaudio, torchtext, torchelastic, torch_xla를 포함하는 풍부한 도구 및 모델 생태계는 PyTorch를 확장하고 컴퓨터 비전, 자연어 처리, 개인정보 보호 ML, 모델 해석력 등의 개발을 지원합니다.

작동 방식

작동 방식 - AWS 기반 PyTorch

PyTorch에 대한 AWS 오픈 소스의 기여

TorchServe

TorchServe는 PyTorch용 오픈 소스 모델 제공 프레임워크이며 사용자 지정 코드를 작성할 필요 없이 훈련된 PyTorch 모델을 규모에 따라 성능 기준에 맞게 쉽게 배포할 수 있습니다. TorchServe는 대기 시간이 짧은 경량 서비스를 제공하므로 고성능 추론용 모델을 배포할 수 있습니다. 또한 개체 감지, 텍스트 분류 등의 가장 일반적인 애플리케이션에 대한 기본 핸들러를 제공하므로 모델 배포를 위해 사용자 지정 코드를 작성할 필요가 없습니다. 다중 모델 제공, A/B 테스트를 위한 모델 버전 관리, 모니터링을 위한 지표 및 애플리케이션 통합을 위한 RESTful 엔드포인트와 같은 강력한 TorchServe 기능을 사용하면 모델을 연구 단계에서 프로덕션 환경으로 빠르게 전환시킬 수 있습니다. TorchServe는 Amazon SageMaker, Kubernetes, Amazon EKS 및 Amazon EC2를 포함한 모든 기계 학습 환경을 지원합니다. TorchServe를 시작하려면 설명서 및 당사의 블로그 게시물을 참조하세요.

TorchElastic Controller for Kubernetes

TorchElastic은 가용성에 기반해 컴퓨팅 리소스의 크기를 역동적으로 조정하는 것이 중요한 대규모 딥 러닝 모델의 훈련용 라이브러리입니다. 아키텍처는 크기 및 복잡성이 계속 증가하기 때문에 TorchElastic을 통한 탄력적 및 내결함 훈련은 ML 모델을 프로덕션으로 빠르게 전환하고 모델 탐구에 최신 접근법을 채택하는 데 도움이 될 수 있습니다. TorchElastic Controller for Kubernetes는 TorchElastic용 네이티브 Kubernetes 구현으로서 TorchElastic 훈련에 필요한 포드 및 서비스의 수명 주기를 자동으로 관리합니다. 요청된 컴퓨팅 리소스의 일부만으로 훈련 작업을 시작할 수 있으며 작업을 중단 및 다시 시작할 필요 없이 나중에 더 많은 리소스가 사용 가능할 때 크기를 역동적으로 조정할 수 있습니다. 그리고 작업은 노드 실패 또는 회수(reclamation)로 인해 교체된 노드로부터 복구할 수 있습니다. TorchElastic Controller for Kubernetes를 통해 Amazon EC2 스팟 인스턴스에서 유휴 상태의 클러스터 리소스 및 훈련을 제한하여 분산 훈련 시간 및 비용을 절약할 수 있습니다. 사용자의 Kubernetes 클러스터에서 TorchElastic Controller를 시작하려면 자습서를 참조하세요.

고객 추천사

Toyota Research Institute(TRI)

Toyota Research Institute Advanced Development, Inc. (TRI-AD)는 인공 지능을 적용하여 향후 Toyota가 안전성, 접근 가능성 및 친환경성이 강화된 자동차를 생산하도록 돕고 있습니다. Amazon EC2 P3 인스턴스에서 PyTorch를 사용하여 TRI-AD는 ML 모델 훈련 시간을 며칠에서 몇 시간으로 줄였습니다. “TRI-AD는 자율 주행을 통해 모두에게 안전한 이동성을 확보하려는 TRI-AD 사명에 필수적인 TRI-AD의 컴퓨터 비전을 계속해서 최적화하고 개선하고 있습니다. 당사의 모델은 AWS 기반 PyTorch를 통해 훈련시켰지만 여전히 PyTorch는 모델 제공 프레임워크가 부족했습니다. 결국 당사는 PyTorch 모델을 당사의 자동차 및 클라우드 서버의 플릿에 배포하기 위한 소프트웨어를 만들고 유지 관리하기 위해 많은 엔지니어링 노력을 기울였습니다. TorchServe를 통해 당사는 이제 AWS 및 PyTorch 커뮤니티에서 공식적으로 지원 및 유지 관리되는 적절한 성능의 경량 모델 서버를 갖추게 되었습니다.”라고 TRI-AD의 ML 도구 책임자인 Yusuke Yachide 씨는 말합니다.

Matroid

비디오 영상에서 객체 및 이벤트를 감지하는 컴퓨터 비전 소프트웨어 제작사인 Matroid는 AWS 기반 PyTorch 및 온프레미스 환경을 통해 급격하게 증가하고 있는 여러 기계 학습 모델을 개발합니다. 이런 모델은 사용자 지정 모델 서버를 통해 배포되므로 해당 모델을 다른 형식으로 전환하는 시간이 많이 들고 힘든 작업이 필요합니다. TorchServe를 통해 Matroid는 단일 진실 공급원(SSOT)으로 기능하면서 공유 및 관리도 쉬운 단일 제공 가능 파일을 사용하여 모델 배포를 단순화할 수 있습니다.

Pinterest

Pinterest에는 이러한 이미지를 연결하는 30억 개의 이미지와 180억 개의 연결이 있습니다. Pinterest는 이러한 이미지를 맥락으로 연결하고 개인화된 사용자 경험을 전달하는 PyTorch 딥 러닝 모델을 개발했습니다. Pinterest는 Amazon EC2 P3 인스턴스를 사용하여 모델 훈련을 가속화하고 대화형 사용자 경험을 위해 짧은 대기 시간 추론을 전달합니다. 더 보기.

블로그 및 기사

블로그: Amazon SageMaker의 TorchServe 네이티브 통합을 통해 프로덕션에 PyTorch 모델 제공
2020년 8월
작성자: Todd Escalona

블로그: Amazon Elastic Kubernetes Service에서 TorchServe 실행
2020년 8월
작성자: Josiah Davis, Charles Frenzel 및 Chen Wu

2020년 4월
작성자: Shashank Prasanna 및 Manoj Rao

블로그: Cinnamon AI는 Amazon SageMaker 관리형 스폿 훈련을 통해 ML 모델 훈련 비용의 70% 절약
2020년 1월
작성자: Sundar Ranganathan 및 Yoshitaka Haribara

기사: Disney, 딥 러닝을 통해 방대한 콘텐츠 분류
2019년 12월
The Wired

Standard Product Icons (Features) Squid Ink
AWS 기반 PyTorch 시작 방법 알아보기

시작하기 페이지를 참조하세요.

자세히 알아보기 
Sign up for a free account
무료 계정에 가입

AWS 프리 티어에 즉시 액세스할 수 있습니다. 

가입 
Standard Product Icons (Start Building) Squid Ink
콘솔에서 구축 시작하기

AWS 관리 콘솔에서 구축을 시작하세요.

로그인