Amazon Redshift kündigt Unterstützung für Confluent Cloud und Apache Kafka an
Amazon Redshift unterstützt jetzt Streamingaufnahme aus Confluent Managed Cloud und selbstverwalteten Apache Kafka-Clustern auf Amazon EC2-Instances und erweitert damit seine Funktionen über Amazon Kinesis Data Streams (KDS) und Amazon Managed Streaming für Apache Kafka (MSK) hinaus.
Mit diesem Update können Kunden Daten aus einer breiteren Spektrum von Streaming-Quellen direkt in ihre Data Warehouses in Amazon Redshift aufnehmen. Amazon Redshift führt mTLS (Mutual Transport Layer Security) als Authentifizierungsprotokoll für die sichere Kommunikation zwischen Amazon Redshift und den neu unterstützten Kafka-Streaming-Quellen ein. Dadurch wird sichergestellt, dass bei der Datenaufnahme aus diesen neuen Quellen die hohen Sicherheitsstandards eingehalten werden, die an Datenworkflows in Unternehmen gestellt werden. Darüber hinaus wurde „KAFKA“, ein neuer SQL-Identifier eingeführt, um die Identifizierung dieser neu unterstützten Kafka-Quellen in Amazon Redshift-Definitionen für externe Schemas zu vereinfachen.
Sie können die erweiterte Funktion „Streaming-Aufnahme“ sofort nutzen, um umfassendere und flexiblere Datenpipelines aufzubauen, die Daten aus verschiedenen Kafka-Quellen aufnehmen — die von AWS angeboten werden (Amazon MSK), von Partnern verfügbar sind (Confluent Cloud) oder von Quellen (Apache Kafka) auf Amazon EC2 selbst-verwaltet werden..
Weitere Informationen und die ersten Schritte zum Streamen von Daten aus einer beliebigen Kafka-Quelle in Amazon Redshift finden Sie in unter Streaming in der Amazon Redshift-Dokumentation.