Veröffentlicht am: Jan 18, 2019
Amazon Elastic Inference ist ein Service, mit dem Sie Accelerators einem beliebigen Amazon SageMaker- oder Amazon EC2-Instance-Typ zur Beschleunigung Ihrer Deep Learning-Inferenz-Workloads zuordnen können. Elastic Inference Accelerators bieten Ihnen die Vorteile der niedrigen Latenz, dem hohem Durchsatz der GPU-Beschleunigung und deutlich geringeren Kosten (bis zu 75 %). Sie können Elastic Inference für die Bereitstellung von TensorFlow-, Apache MXNet- und ONNX-Modellen für die Inferenz verwenden.
Amazon Elastic Inference unterstützt jetzt die aktuelle Version von TensorFlow 1.12. Damit ist ElPredictor, eine intuitive Python API-Funktion für die Bereitstellung von TensorFlow-Modellen mithilfe von Amazon Elastic Inference Accelerators, verfügbar. EIPredictor ermöglicht einfaches Experimentieren und lässt Sie die Leistung mit und ohne Amazon Elastic Inference vergleichen. Weitere Informationen zur Ausführung von TensorFlow-Modellen mithilfe von Amazon Elastic Inference finden Sie in diesem Blog-Eintrag.
Weitere Informationen zu Amazon Elastic Inference finden Sie auf der Webseite und dem Benutzerhandbuch zur Dokumentation.