Amazon Redshift annonce la prise en charge de Confluent Cloud et Apache Kafka
Amazon Redshift prend désormais en charge l'ingestion de flux à partir de Confluent Managed Cloud et de clusters Apache Kafka autogérés sur des instances Amazon EC2, étendant ainsi ses fonctionnalités au-delà d'Amazon Kinesis Data Streams (KDS) et d'Amazon Managed Streaming for Apache Kafka (MSK).
Grâce à cette mise à jour, les clients peuvent ingérer des données provenant d'un plus large éventail de sources de streaming directement dans leurs entrepôts de données Amazon Redshift. Amazon Redshift introduit le protocole mTLS (Mutual Transport Layer Security) en tant que protocole d'authentification pour une communication sécurisée entre Amazon Redshift et les nouvelles sources de streaming Kafka prises en charge. Cela garantit que l'ingestion de données provenant de ces nouvelles sources respecte les normes de sécurité élevées attendues dans les flux de données d'entreprise. En outre, un nouvel identifiant SQL « KAFKA » a été introduit pour simplifier l'identification de ces nouvelles sources Kafka prises en charge dans les définitions des schémas externes Amazon Redshift.
Vous pouvez d’ores-et-déjà commencer à utiliser cette fonctionnalité étendue d'ingestion de streaming afin de créer des pipelines de données plus complets et plus flexibles qui ingèrent des données provenant de différentes sources Kafka : celles proposées par AWS (Amazon MSK), celles disponibles auprès de partenaires (Confluent Cloud) ou celles qui sont autogérées (Apache Kafka) sur Amazon EC2.
Pour en savoir plus et commencer à diffuser des données dans Amazon Redshift à partir de n'importe quelle source Kafka, consultez la documentation relative à la diffusion sur Amazon Redshift.