Publié le: Aug 31, 2021
Aujourd'hui, nous avons présenté le partitionnement dynamique dans Amazon Kinesis Data Firehose. Grâce à cette fonctionnalité, vous pouvez partitionner en continu vos données de streaming dans Kinesis Data Firehose à l'aide de clés pour des données telles que « customer_id » ou « transaction_id », et fournir des données groupées en fonction de ces clés aux préfixes correspondants Amazon Simple Storage Service (Amazon S3). Ainsi, vous réalisez plus facilement des analytiques hautes performances et rentables sur les données de streaming dans Amazon S3 à l'aide d'Amazon Athena, Amazon EMR et Amazon Redshift Spectrum.
Le partitionnement de vos données réduit le nombre de données analysées, ce qui permet d'optimiser les performances, de réduire les coûts de vos demandes d'analytique sur Amazon S3 et d'améliorer l'accès détaillé aux données. Généralement, les clients utilisent les flux de diffusion Kinesis Data Firehose pour capturer et charger leurs flux de données sur Amazon S3. Avant, pour partitionner un jeu de données de streaming pour les analytiques basées sur Amazon S3, les clients devaient exécuter des applications de partitionnement entre les compartiments Amazon S3 avant de rendre les données disponibles pour les analyses, ce qui pouvait s'avérer compliqué et coûteux.
Désormais, avec le partitionnement dynamique, Kinesis Data Firehose regroupera en continu les données en transit par clés de données définies de façon dynamique ou statique; et fournira les données groupées en fonction de ces clés aux préfixes Amazon S3. Ainsi, cela réduira de plusieurs minutes ou heures le délai d'accès aux informations, ce qui réduira les coûts et simplifiera les architectures. Avec les fonctions de conversion de format Apache Parquet et Apache ORC, le partitionnement dynamique fait de Kinesis Data Firehose le meilleur outil pour capturer, préparer et charger les données de streaming prêtes pour analytique sur Amazon S3.
Consultez le guide de l'utilisateur Kinesis Data Firehose pour commencer à utiliser le partitionnement dynamique, ou la page de tarification pour en savoir plus sur la tarification à la demande du partitionnement dynamique. Le partitionnement dynamique est disponible dans toutes les régions commerciales AWS où Kinesis Data Firehose est proposé.