Veröffentlicht am: Aug 13, 2021
AWS Neuron, das SDK zum Ausführen von Machine-Learning-Inferenz auf AWS-Inferentia-basierten Amazon-EC2-Inf1-Instances, unterstützt jetzt TensorFlow 2. Ab Neuron 1.15.0 können Sie Ihre TensorFlow-2-BERT-basierten Modelle auf Inf1-Instances ausführen, wobei in Kürze weitere Modelle unterstützt werden. Um mehr über den Neuron-TensorFlow-2-Support zu erfahren, besuchen Sie unsere TensorFlow-2-FAQ-Seite.
Wir haben unsere Ressourcen auch mit neuer Dokumentation aktualisiert, darunter ein Tutorial, das Ihnen die ersten Schritte in TensorFlow 2 erleichtert, ein Tutorial, das Sie durch die Bereitstellung eines HuggingFace-BERT-Modellcontainers auf Inferentia mit AWS-Sagemaker-Hosting, eine Seite zur Inferenzleistung, die Ihnen hilft, unsere Ergebnisse zu vergleichen und zu replizieren und einen neuen Anwendungshinweis, der Ihnen hilft, die Typen von Deep-Learning-Architekturen zu entdecken, die in Inferentia sofort einsatzbereit sind.
AWS Neuron ist nativ in beliebte ML-Frameworks wie TensorFlow, PyTorch und Apache MXNet integriert. Es umfasst einen Deep-Learning-Compiler, eine Laufzeitumgebung und Tools, die Sie dabei unterstützen, die beste Leistung für Ihre Anwendungen zu erzielen. Weitere Informationen finden Sie auf der AWS-Neuron-Seite und der AWS-Neuron-Dokumentation.
Amazon-EC2-Inf1-Instances bieten die niedrigsten Kosten für Deep-Learning-Inferenz in der Cloud und sind in 23 Regionen verfügbar, darunter USA Ost (Nord-Virginia, Ohio), USA West (Oregon, N.Kalifornien), AWS GovCloud (USA-Ost, USA-West), Kanada (Zentral), Europa (Frankfurt, Irland, London, Mailand, Paris, Stockholm), Asien-Pazifik (Hongkong, Mumbai, Seoul, Singapur, Sydney, Tokio), Naher Osten (Bahrain), Südamerika (São Paulo) und China (Beijing, Ningxia). Sie können Amazon-EC2-Inf1-Instances in der Region nutzen, die Ihre Echtzeit-Latenzanforderungen für Machine-Learning-Inferenz am besten erfüllt. Für weitere Informationen, besuchen Sie die Amazon-EC2-Inf1-Instance-Seite.