Veröffentlicht am: Nov 29, 2022
Amazon Redshift unterstützt jetzt Echtzeit-Streaming-Einspeisung für Amazon Kinesis Data Streams (KDS) und Amazon Managed Streaming for Apache Kafka (MSK). Mit der Streaming-Einspeisung in Amazon Redshift entfällt die Notwendigkeit der Bereitstellung von Streaming-Daten in Amazon S3, bevor sie in Amazon Redshift erfasst werden. So können Kunden eine geringe Latenz im Bereich von Sekunden erzielen, während hunderte von Megabytes an Streamingdaten pro Sekunde in ihrem Data Warehouse erfasst werden.
Dateneningenieure, Datenanalysten und Big-Data-Entwickler stellen ihre Analytik von Batch auf Echtzeit um und setzen Streaming-Engines wie Amazon KDS und Amazon MSK ein, um eine responsive Logik und Analytik nahezu in Echtzeit in Streaming-Anwendungsdaten zu implementieren. Momentan müssen Kunden, die Echtzeit-Daten aus Diensten wie Amazon KDS und Amazon MSK in Amazon Redshift erfassen wollen, die Daten zunächst in Amazon S3 bereitstellen und den Kopierbefehl ausführen, was eine Latenz im Bereich von Minuten bedeutet. Mit der neuen Möglichkeit der Streaming-Erfassung in Amazon Redshift können Sie SQL (Structured Query Language) in Redshift einsetzen, um die Verbindung und direkte Erfassung von Daten aus mehreren Amazon KDS-Streams oder mehreren Amazon MSK-Topics gleichzeitig zu ermöglichen. Die Streaming-Erfassung in Amazon Redshift vereinfacht Data Pipelines durch die Möglichkeit der Erstellung materialisierter Ansichten direkt auf Streams. Die materialisierten Ansichten können als Teil Ihrer ELT-Pipeline (Extract Load Transform) auch SQL-Transformationen enthalten.
Sobald die materialisierten Ansichten definiert sind, werden Streaming-Daten automatisch und kontinuierlich aus dem KDS-Stream oder MSK-Topic in die materialisierte Streaming-Ansicht von Amazon Redshift aufgenommen, wenn die Funktion zur automatischen Aktualisierung aktiviert ist. Sie können die materialisierte Streaming-Ansicht auch manuell aktualisieren, wenn Sie eine direkte Kontrolle über die Einspeisungsplanung wünschen. Auf diese Weise können Sie die nachgelagerte Verarbeitung und Transformation von Streamingdaten mit vorhandenen und Ihnen bereits vertrauten Amazon Redshift-Tools und SQL vornehmen, ohne dass zusätzliche Kosten anfallen.
Die Vorversion der Streaming-Erfassung in Amazon Redshift steht jetzt allgemein in allen Regionen der Amazon Web Services (AWS) zur Verfügung, in denen Amazon Redshift verfügbar ist. Um mit der Amazon Redshift-Streaming-Einspeisung zu beginnen, stellen Sie einen Amazon Redshift-Cluster in der CURRENT-Spur bereit. Weitere Informationen über den Einstieg in die Streaming-Einspeisung in Amazon Redshift finden Sie in der Amazon Redshift-Dokumentation.