Publié le: Nov 15, 2023
Le catalogue de données AWS Glue prend désormais en charge le compactage automatique des tables Apache Iceberg, ce qui vous permet de garantir la performance constante de vos lacs de données transactionnels. L'activation du compactage automatique sur les tables Apache Iceberg réduit la charge de métadonnées sur vos tables Iceberg et améliore les performances des requêtes.
Apache Iceberg est un format de table ouvert qui fournit des performances de requête rapides sur de grandes tables dans des lacs de données. Apache Iceberg suit les fichiers de données d'une table dans ses métadonnées sur Amazon S3. À mesure que des modifications sont apportées aux tables, de plus en plus de fichiers de données sont créés et les requêtes peuvent devenir moins efficaces. Pour améliorer les performances et contrôler les coûts, les entreprises ont dû créer des pipelines de données personnalisés qui compactent périodiquement de petits fichiers. La création de ces pipelines personnalisés prend du temps et coûte cher. Ce lancement permet le compactage automatique des tables Apache Iceberg sur le catalogue de données AWS Glue. Une fois le compactage activé, le catalogue de données AWS Glue surveille en permanence les nouvelles écritures de données, suit les petits fichiers dans le stockage Amazon S3 sous-jacent et déclenche automatiquement des tâches de compactage en arrière-plan sans aucune intervention supplémentaire de votre part. Vous pouvez désormais bénéficier d'une mise en page Amazon S3 toujours optimisée pour vos tables Iceberg, ce qui se traduit par des performances de lecture plus rapides sur les lacs de données.
Outre la console AWS, les clients peuvent également utiliser l'interface de ligne de commande AWS ou les kits SDK AWS pour automatiser l'activation du compactage des tables Apache Iceberg. Pour en savoir plus, rendez-vous ici.
Le compactage automatique pour les tables Iceberg est disponible dans les régions Asie-Pacifique (Tokyo), USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Oregon) et Europe (Irlande). Pour en savoir plus, lisez le blog et consultez la documentation relative au catalogue de données AWS Glue.