게시된 날짜: Apr 21, 2020
오늘부터 PyTorch 고객은 PyTorch를 위한 새로운 모델 제공 프레임워크인 TorchServe를 사용하여 사용자 지정 코드 작업 없이 훈련된 모델을 대규모로 배포할 수 있습니다.
PyTorch는 원래 Facebook에서 개발한 오픈 소스 기계 학습 프레임워크로서, 사용 편의성과 “Pythonic” 인터페이스로 인해 ML 연구자와 데이터 과학자들 사이에 인기를 얻게 되었습니다. 그러나, 프로덕션 환경에 모델을 배포하고 관리하는 부분은 이 기계 학습 프로세스의 가장 어려운 부분으로, 고객은 예측 API를 작성하고 이를 규모에 따라 확장해야 했습니다.
TorchServe를 사용하면 손쉽게 PyTorch 모델을 프로덕션 환경에 대규모로 배포할 수 있습니다. TorchServe는 지연 시간이 짧은 경량 서비스를 제공하므로 고성능 추론용 모델을 배포할 수 있습니다. 또한 물체 감지, 텍스트 분류 등의 가장 일반적인 애플리케이션에 대한 기본 핸들러를 제공하므로 모델 배포를 위해 사용자 지정 코드를 작성할 필요가 없습니다. 다중 모델 제공, A/B 테스트를 위한 모델 버전 관리, 모니터링을 위한 지표 및 애플리케이션 통합을 위한 RESTful 엔드포인트와 같은 강력한 TorchServe 기능을 사용하면 모델을 연구 단계에서 프로덕션 환경으로 빠르게 전환시킬 수 있습니다. TorchServe는 Amazon SageMaker, Kubernetes, Amazon EKS 및 Amazon EC2를 비롯한 모든 기계 학습 환경을 지원합니다.
TorchServe는 AWS에서 Facebook과의 협력을 통해 제작 및 유지 관리하며 PyTorch 오픈 소스 프로젝트의 일부로 제공됩니다. 시작하려면 TorchServe GitHub 리포지토리 및 설명서를 참조하십시오.