Publié le: Oct 13, 2021
Amazon Virtual Public Cloud (VPC) introduit trois nouvelles fonctions pour rendre plus rapide, plus facile et plus rentable le stockage et l'exécution d'analyses sur vos journaux de flux Amazon VPC. Premièrement, les journaux de flux VPC peuvent maintenant être livrés à Amazon S3 dans le format de fichier Apache Parquet. Deuxièmement, ils peuvent être stockés dans S3 avec des préfixes compatibles avec Hive. Et troisièmement, vos journaux de flux VPC peuvent être livrés sous forme de fichiers partitionnés par heure. Toutes ces fonctions sont disponibles lorsque vous choisissez S3 comme destination de vos journaux de flux VPC.
Les requêtes sur les journaux de flux VPC stockés au format Apache Parquet sont plus efficaces en raison du format compact et en colonnes des fichiers Parquet. En outre, vous pouvez économiser sur les coûts de requêtes à l'aide d'outils tels qu'Amazon Athena et Amazon Elastic Map Reduce (EMR), car vos requêtes s'exécutent plus rapidement et doivent analyser un volume de données moins important grâce aux fichiers Parquet. Vous pouvez économiser jusqu'à 25 % des coûts de stockage S3 grâce à la meilleure compression des fichiers au format Parquet, ainsi qu'éliminer la nécessité de créer et de gérer une application de conversion Apache Parquet. Les préfixes compatibles avec Hive facilitent la découverte et le chargement de nouvelles données dans vos outils Hive, et les fichiers journaux partitionnés par heure rendent plus efficace l'interrogation des journaux sur des intervalles de temps spécifiques.
Pour démarrer, créez un nouvel abonnement au service de journaux de flux VPC avec S3 comme destination et spécifiez les options de livraison du format Parquet, des préfixes compatibles avec Hive et/ou des fichiers partitionnés par heure. Cette fonctionnalité est disponible via la console de gestion Amazon Web Services, l'interface de ligne de commande Amazon (Amazon CLI) et le kit de développement logiciel Amazon (Amazon SDK). Pour en savoir plus, consultez la documentation et lisez l'article de blog. Consultez la page de tarification de CloudWatch Logs pour connaître la tarification de la livraison des journaux au format Apache Parquet pour les journaux de flux VPC.