Les tableaux Amazon S3 constituent désormais une solution simple et rentable pour la modernisation des lacs de données
Les tableaux Amazon S3 proposent désormais une migration gérée de vos tableaux Apache Hive vers Apache Iceberg. Iceberg ajoute les transactions ACID, l’évolution des schémas et le voyage dans le temps à votre lac de données, mais quitter Hive implique généralement la création d’un pipeline de migration pour chaque tableau, ce qui peut prendre des semaines. Vous pouvez désormais laisser les tableaux S3 gérer votre migration, ce qui permet de créer des tableaux Iceberg prêts à être interrogés, qui restent optimisés à mesure que les données augmentent.
Les tableaux S3 valident, convertissent et copient vos données pendant que les charges de travail de production continuent de s’exécuter. Pour réduire les risques liés à la migration, vous pouvez revoir chaque étape, synchroniser les tableaux de destination avec les modifications apportées à la source aussi souvent que nécessaire ou revenir à vos données sources. Vous ne payez que pour les données que la tâche copie, sans frais pour la conversion Hive-Iceberg, et les objets sources de S3 Intelligent-Tiering conservent leur niveau d’accès actuel. Si vos tableaux utilisent la compression Snappy, les tableaux S3 les recompressent au format Zstandard (ZSTD) et les compactent, ce qui réduit le stockage et le nombre d’objets et améliore les performances des requêtes.
Pour commencer, rendez-vous sur la Console de gestion AWS ou utilisez les API de migration des tableaux Amazon S3. Une compétence de migration est également disponible dans la boîte à outils de l’agent pour AWS afin d’aider les agents d’IA à orchestrer le flux de travail de manière autonome. Au lancement, la migration gérée des tableaux S3 prend en charge les tableaux Hive enregistrées par AWS Glue et stockées au format Parquet au sein du même compte AWS et de la même Région AWS. Elle est disponible dans les Régions AWS suivantes : USA Est (Virginie du Nord, Ohio), USA Ouest (Oregon), Asie-Pacifique (Mumbai, Singapour, Sydney, Tokyo), Europe (Francfort, Irlande, Stockholm). Pour en savoir plus sur les tarifs, consultez la tarification d’Amazon S3. Pour en savoir plus, consultez la page de présentation des tableaux Amazon S3, la documentation et le Blog AWS News.