Publié le: Oct 31, 2022
Nous sommes fiers de vous annoncer que la version 6.8 d’Amazon EMR inclut désormais Apache Flink version 1.15.1. Cette fonction est disponible sur EMR sur EC2.
Apache Flink est un cadre open source et un moteur permettant de traiter des flux de données. Apache Flink 1.15.1 sur EMR 6.8 inclut 62 correctifs de bugs, des réparations de vulnérabilités et des améliorations mineures pour Flink 1.15.0. Parmi les fonctions principales figurent :
- Alignement de filigranes (version bêta) sur différentes sources de données : le temps de traitement de l’évènement dans Flink dépend des éléments horodatés, appelés filigranes, qui sont insérés dans le flux soit par les sources de données, soit par un générateur de filigranes. Un filigrane horodaté à une heure t peut être compris comme une assertion indiquant que tous les événements horodatés avant sont déjà survenus. L’alignement de filigranes est utile dans le cadre du traitement de sources avec des vitesses d’événements différentes, par ex. lorsqu’une source est inactive ou crée des enregistrements à une vitesse relativement supérieure à celle des autres sources, vous pouvez activer l’alignement de filigranes séparément pour chaque source. Flink aligne les filigranes en mettant la source la plus rapide en pause et en continuant à lire des enregistrements d’autres sources jusqu’à ce que les filigranes soient alignés.
- Mise à niveau de la version de SQL : introduction des plans JSON. Il s’agit de fonctions JSON qui simplifient l’importation et l’exportation de données structurées dans SQL. Aujourd’hui, les mises à niveau de version peuvent modifier la topologie des requêtes SQL, ce qui peut introduire une incompatibilité des instantanés entre les versions. Mettre à niveau les versions de Flink représente donc un véritable défi. Grâce à cette fonctionnalité, les tableaux API et SQL fourniront tous deux un moyen de compiler et d’exécuter un plan qui garantit la même topologie pour les requêtes SQL entre les différentes versions, ce qui rendra plus fiable la mise à niveau vers les versions futures. Les utilisateurs qui le souhaitent peuvent essayer de créer un plan JSON qui sera ensuite utilisé pour restaurer une tâche Flink basée sur l’ancienne structure de l’opérateur.
Pour plus d’informations, référez-vous aux documents de version d’OSS Flink.
Amazon EMR version 6.8 est généralement disponible dans toutes les régions où Amazon EMR est disponible. Pour plus de détails, veuillez consulter la disponibilité régionale d'Amazon EMR ainsi que nos notes de mise à jour.