Publié le: Nov 28, 2022
AWS Glue pour Apache Spark prend désormais en charge trois cadres de stockage de lacs de données open source : Apache Hudi, Apache Iceberg, et Linux Foundation Delta Lake. Ces cadres vous permettent de lire et d'écrire des données dans Amazon Simple Storage Service (Amazon S3) d'une manière transactionnelle cohérente. AWS Glue est un service évolutif d'intégration des données sans serveur qui facilite la découverte, la préparation, le déplacement et l'intégration des données depuis des sources multiples. Cette fonction supprime la nécessité d'installer un connecteur distinct et réduit les étapes de configuration requises pour utiliser ces cadres dans AWS Glue pour les tâches Apache Spark.
Ces cadres de lac de données open source simplifient le traitement incrémentiel des données dans les lacs de données construits sur Amazon S3. Ils incluent des fonctionnalités telles que les requêtes de voyage dans le temps, les transactions ACID (Atomicity, Consistency, Isolation, Durability), l'ingestion de streaming, la capture des données modifiées (CDC), les upserts et les suppressions.
Pour en savoir plus, veuillez consulter notre documentation.
Cette fonction est proposée dans toutes les régions AWS où AWS Glue est disponible.