Publié le: Jan 19, 2024
Amazon Kinesis Data Firehose (Firehose) propose désormais une intégration directe à Snowflake Snowpipe Streaming en version préliminaire. Firehose permet aux clients de capturer, de transformer et de diffuser de manière fiable des flux de données vers Amazon S3, Amazon Redshift, Splunk et d'autres destinations à des fins d'analyse. Grâce à cette nouvelle fonctionnalité, les clients peuvent diffuser les journaux des flux de clics, des applications et des services AWS à partir de plusieurs sources, y compris Kinesis Data Streams, vers Snowflake. En quelques clics, les clients peuvent configurer un flux Firehose pour transmettre des données à Snowflake. Firehose évolue automatiquement pour diffuser des gigaoctets de données, et les enregistrements sont disponibles dans Snowflake en quelques secondes.
Snowflake propose deux options pour charger des données dans les tables Snowflake : Snowpipe et Snowpipe Streaming. Avec Snowpipe, les clients chargent des données à partir de fichiers par micro-lots. Cela nécessite d'agréger les flux en lots, d'écrire dans le stockage provisoire, puis de les charger dans Snowflake. Ce processus en plusieurs étapes entraîne une latence de plusieurs minutes et un coût plus élevé. Snowpipe Streaming permet d'écrire des lignes de données dans des tableaux. Grâce à l'intégration à Snowpipe Streaming, Firehose diffuse des flux enregistrement par enregistrement dès qu'ils sont disponibles, de sorte que les données sont disponibles pour les requêtes dans Snowflake en quelques secondes. Ainsi, les clients réduisent les coûts, la latence et la complexité liés à la diffusion de flux dans Snowflake.
L'intégration de Firehose à Snowflake est disponible en version préliminaire dans les régions AWS USA Est (Virginie du Nord), USA Ouest (Oregon) et Europe (Irlande). Pour en savoir plus et commencer, consultez la documentation, les tarifs et la console Amazon Kinesis Data Firehose. Les fonctionnalités en version préliminaire sont fournies à des fins d'évaluation et de test et ne doivent pas être utilisées dans les systèmes de production. Pour connaitre les conditions générales, consultez la section Participation au service Bêta dans Conditions de service AWS.