Publié le: Aug 13, 2021
AWS Neuron, le kit SDK pour exécuter l'inférence de machine learning sur les instances Inf1 d'Amazon EC2 basées sur AWS Inferentia prend désormais en charge TensorFlow 2. À partir de Neuron 1.15.0, vous pouvez exécuter vos modèles basés sur TensorFlow 2 BERT sur des instances Inf1 et bénéficier de la prise en charge de modèles supplémentaires à venir. Pour en savoir plus sur la prise en charge de Neuron TensorFlow 2, consultez notre page FAQ TensorFlow 2.
Nous avons également mis à jour nos ressources avec une nouvelle documentation incluant un didacticiel vous aidant à démarrer avec TensorFlow 2, un didacticiel qui vous guidera sur la façon de déployer un conteneur modèle HuggingFace BERT sur Inferentia à l'aide de l'hébergement AWS Sagemaker, la page des performances d'inférence pour vous aider à comparer et reproduire nos résultats ainsi qu'une nouvelle note d'application pour vous aider à découvrir les types d'architectures deep learning qui fonctionneront immédiatement sur Inferentia.
AWS Neuron est intégré de manière native aux cadres ML populaires tels que TensorFlow, PyTorch et Apache MXNet. Il comprend un compilateur deep learning, une exécution et des outils vous aidant à extraire les meilleures performances pour vos applications. Pour en savoir plus, visitez la page AWS Neuron et consultez la documentation AWS Neuron.
Les instances Inf1 d'Amazon EC2 offrent les coûts les plus bas en ce qui concerne l'inférence de deep learning dans le cloud. Elles sont disponibles dans 23 régions dont : l'Amérique de l'Est (l'Ohio et la Virginie du Nord), l'Amérique de l'Ouest (la Californie du Nord et l'Oregon), AWS GovCloud (Amérique de l'Est et de l'Ouest), le Canada (Centre), l'Europe (Francfort, Irlande, Londres, Milan, Paris et Stockholm), l'Asie-Pacifique (Hong Kong, Mumbai, Séoul, Singapour, Sydney et Tokyo), le Moyen-Orient (Bahreïn), l'Amérique du Sud (São Paulo) et la Chine (Pékin, Ningxia). Vous pouvez tirer parti des instances Inf1 d'Amazon EC2 dans la région qui répondra le mieux à vos exigences de latence en temps réel pour l'inférence de machine learning. Pour en savoir plus, consultez la page concernant les instances Inf1 d'Amazon EC2.