Veröffentlicht am: Apr 21, 2020
Ab heute können PyTorch-Kunden TorchServe nutzen. Dieses neue Model Serving-Framework für PyTorch dient dazu, trainierte Modelle skalierbar bereitzustellen, ohne einen benutzerdefinierten Code zu schreiben.
PyTorch ist ein Open-Source Machine Learning-Framework, das von Facebook entwickelt wurde. Aufgrund seiner einfachen Anwendung und der „Pythonic“-Benutzeroberfläche erfreut es sich bei ML-Forschern und Daten-Wissenschaftlern großer Beliebtheit. Dennoch ist die Bereitstellung und Verwaltung von Modellen in der Produktion der schwierigste Teil beim Machine Learning, da Kunden Prediction APIs schreiben und skalieren müssen.
Mit TorchServe ist es ganz einfach, PyTorch-Modelle in Produktionsumgebungen bereitzustellen und zu skalieren. Es bietet ein leichtes Serving mit niedriger Latenz, sodass Sie Ihre Modelle für eine hohe Performance-Interferenz bereitstellen können. Es bietet Standard-Handler für übliche Anwendungen wie Objekterkennung und Textklassifizierung, sodass Sie für die Bereitstellung Ihrer Modelle keine benutzerdefinierten Codes schreiben müssen. Dank leistungsstarker TorchServe-Funktionen, darunter Multi-Model-Serving, Modell-Versionierung für A/B-Tests, Überwachungs-Metriken und RESTful-Endpunkte für die Anwendungsintegration, können Sie Ihre Modelle schnell von der Forschung in die Produktion bringen. TorchServe unterstützt jede Machine-Learning-Umgebung, darunter Amazon SageMaker, Kubernetes, Amazon EKS und Amazon EC2.
TorchServe wird von AWS in Zusammenarbeit mit Facebook entwickelt und verwaltet und ist als Teil des PyTorch Open-Source-Projektes verfügbar. Weitere Informationen erhalten Sie im TorchServe GitHub Repository und in der Dokumentation.