Veröffentlicht am: Dec 12, 2019
Sie können ab sofort mehrere Amazon Elastic Inference-Beschleuniger zu einer Amazon EC2-Instance hinzufügen. Mit dieser Funktion benötigen Sie nur eine EC2-Instance in einer Auto Scaling-Gruppe, wenn Sie Inferenzprozesse für mehrere Modelle durchführen. Wenn Sie mehrere Beschleuniger zu einer EC2-Instance hinzufügen, müssen Sie nicht mehrere Auto Scaling-Gruppen von CPU- oder GPU-Instances für Ihren Inferenzprozess bereitstellen und senken so Ihre Betriebskosten.
Amazon Elastic Inference ermöglicht es Ihnen, jeder beliebigen Amazon EC2-Instance genau die richtige GPU-Beschleunigung zuzuweisen, um die Kosten für das Deep-Learning-Inference-Verfahren um bis zu 75 % zu reduzieren. Da Ihre Modelle möglicherweise unterschiedlich viel GPU-Speicher und Rechnerkapazität benötigen, stehen Ihnen verschiedene Elastic-Inference-Beschleuniger für Ihre CPU-Instanz zur Verfügung. Um die Reaktionszeit zu beschleunigen, können Sie Ihre Modelle in einen Beschleuniger laden und weiterhin Inferenzaufrufe durchführen, ohne die Modelle zu entfernen.
Das Hinzufügen mehrerer Beschleuniger zu einer EC2-Instance wird in allen Regionen unterstützt, in denen Amazon Elastic Inference verfügbar ist. Weitere Informationen zum Hinzufügen von mehreren Beschleunigern zu einer Instanz erhalten Sie in den Beiträgen Verwenden von TensorFlow-Modellen mit Elastic Inference und Verwenden von MXNet-Modellen mit Elastic Inference.