Publié le: Nov 6, 2018
Vous pouvez désormais utiliser Apache Flink 1.6.0, Apache Zeppelin 0.8.0 et S3 Select avec Apache Hive et Presto sur Amazon EMR 5.18.0. Flink 1.6.0 ajoute de nouvelles fonctionnalités et mises à jour, y compris la prise en charge native de la durée de vie (TTL) d'état, qui vous permet de contrôler l'accès aux états Flink et la prise en charge des soumissions de tâches basées sur HTTP/REST qui permet une meilleure intégration des environnements de conteneur sur le cluster. Ceci comporte également plusieurs améliorations d'API de table et SQL qui simplifient l'exécution des requêtes de streaming et en lot et ajoute la prise en charge SQL du format de données Avro. Zeppelin 0.8.0 fournit la prise en charge de l'exécution de l'interprète Spark dans le mode cluster Apache Hadoop YARN, la prise en charge de l'interprète Ipython et offre la possibilité d'utiliser Apache HDFS comme stockage backend pour la sauvegarde et la lecture de fichiers de bloc-notes Zeppelin.
Avec la version 5.18.0 d'EMR, vous pouvez désormais utiliser S3 Select avec Hive et Presto. S3 Select permet aux applications de ne récupérer qu'un sous-ensemble de données d'un objet stocké dans Amazon S3. Cela améliore les performances en réduisant la quantité de données à transférer et à traiter par le cluster EMR lors de l'exécution de requêtes Hive et Presto. Consultez les pages S3 Select avec Hive et S3 Select avec Presto pour en savoir plus sur ces fonctionnalités.
De plus, avec cette version, vous pouvez également utiliser les versions mises à niveau d'Apache Flink 2.3.2, Apache HBase 1.4.7 et Presto 0.210.
Vous pouvez créer un cluster Amazon EMR avec la version 5.18.0 en choisissant l'étiquette de version « emr-5.18.0 » dans AWS Management Console, l'interface de ligne de commande AWS ou le kit SDK. Vous pouvez sélectionner Flink, HBase, Presto et Zeppelin afin d'installer ces applications au lancement de votre cluster EMR. Pour en savoir plus sur EMR 5.18.0, Flink 1.6.0, HBase 1.4.7, Spark 2.3.2, Presto 0.210 et Zeppelin 0.8.0, consultez notre documentation Amazon EMR.
Amazon EMR 5.18.0 est désormais disponible dans toutes les régions prises en charge par Amazon EMR.
Vous pouvez rester à jour sur les versions EMR en vous abonnant au flux RSS des notes de version EMR. Utilisez l'icône RSS en haut du Guide de lancement EMR pour lier l'URL du flux directement à votre lecteur de flux préféré.