Publié le: Sep 20, 2018
Vous pouvez maintenant utiliser TensorFlow 1.9.0, le framework populaire d’apprentissage automatique et profond, et S3 Select avec Apache Spark sur Amazon EMR version 5.17.0. Les bibliothèques Tensorflow peuvent être combinées à de gros moteurs de traitement de données tels que Spark on EMR pour accélérer le processus de formation des modèles en parallélisant le réglage des paramètres de formation. Le modèle formé peut ensuite être diffusé à tous les nœuds du cluster pour effectuer des inférences distribuées sur une grande quantité de données trop volumineuses pour être exécutées sur un seul nœud. TensorFlow sur EMR est fourni avec TensorBoard, un outil de visualisation qui vous permet de visualiser et de déboguer le flux du graphe de tenseurs en temps réel, de comprendre les effets de vos choix de conception et d’optimiser davantage votre modèle. Les versions de TensorFlow sur EMR varient selon le type d'instance que vous utilisez pour votre cluster.
Avec la version 5.17.0 d’EMR, vous pouvez utiliser S3 Select avec Spark. Cette fonctionnalité permet à votre application Spark d'envoyer des requêtes de manière sélective un sous-ensemble de données à partir d'un objet volumineux dans S3. Cela améliore les performances en réduisant la quantité de données à transférer et à traiter par le cluster EMR. De plus, avec cette version, vous pouvez configurer JupyterHub sur EMR pour enregistrer et conserver les blocs-notes directement dans S3. Vous pouvez également utiliser les versions mises à niveau d'Apache Flink 1.5.2, Apache HBase 1.4.6 et Presto 0.206.
Vous pouvez créer un cluster Amazon EMR avec la version 5.17.0 en choisissant l'étiquette de version « emr-5.17.0 » dans AWS Management Console, l'interface de ligne de commande AWS ou le SDK. Vous pouvez sélectionner TensorFlow, Flink, HBase et Presto afin d'installer ces applications au lancement de votre cluster EMR. Veuillez consulter la documentation Amazon EMR pour plus d'informations sur les versions EMR 5.17.0, TensorFlow 1.9.0, S3 Select with Spark, Flink 1.5.2, HBase 1.4.6, et Presto 0.206.
Amazon EMR 5.17.0 est désormais disponible dans toutes les régions prises en charge par Amazon EMR.
Vous pouvez rester à jour sur les versions EMR en vous abonnant au flux des notes de version EMR. Utilisez l'icône RSS en haut du Guide de lancement EMR pour lier l'URL du flux directement à votre lecteur de flux préféré.