Veröffentlicht am: Apr 4, 2018
Apache MXNet Model Server (MMS) ist ein Open-Source-Tool zur Bereitstellung von Modellen, das die Bereitstellung von Deep-Learning-Modellen in großem Maßstab vereinfacht. Mit der MMS-Version 0.3 können Entwickler eine skalierbare Bereitstellungsinfrastruktur für die Produktion einrichten. Dabei werden vordefinierte Containerbilder verwendet, die für Deep Learning-Workloads auf Amazon EC2-Instances vorkonfiguriert und optimiert sind.
Die Containerbilder werden in Docker Hub veröffentlicht und sind für sowohl CPU-Hosts (EC2 C5.2xlarge-Instance) und Multi-GPU-Hosts (EC2 P3.8xlarge-Instance) vorkonfiguriert und optimiert. MMS bietet auch Tools zum Verpacken von MXNet sowie neuralen Netzwerkmodellen von ONNX in einem einzigen „Modellarchiv“, das alle Artefakte enthält, die zur Bedienung des Modells benötigt werden.
Um mehr über MMS zu erfahren, besuchen Sie den Modell-Zoo sowie die Dokumentation.