Veröffentlicht am: Feb 10, 2022
Amazon Redshift launcht die Unterstützung der Streaming-Erfassung für Kinesis Data Streams (KDS). Mit der Streaming-Erfassung in Amazon Redshift entfällt die Notwendigkeit der Bereitstellung von Daten in Amazon S3, bevor sie in Amazon Redshift erfasst werden. So können Kunden eine geringe Latenz im Bereich von Sekunden erzielen, während hunderte von Megabytes an Streamingdaten pro Sekunde in ihrem Data Warehouse erfasst werden.
Dateneningenieure, Datenanalysten und Big-Data-Entwickler stellen ihre Analytik von Batch auf Echtzeit um und setzen Streaming-Engines wie Amazon Kinesis ein, um eine responsive Logik und Analytik nahezu in Echtzeit in Streaming-Anwendungsdaten zu implementieren. Momentan müssen Kunden, die Echtzeit-Daten aus Diensten wie Amazon Kinesis in Amazon Redshift erfassen wollen, die Daten zunächst in Amazon S3 bereitstellen und den Kopierbefehl ausführen, was eine Latenz im Bereich von Minuten bedeutet. Mit der neuen Möglichkeit der Streaming-Erfassung in Amazon Redshift können Sie SQL (Structured Query Language) in Redshift einsetzen, um die Verbindung und direkte Erfassung von Daten aus mehreren Kinesis-Datenströmen gleichzeitig zu ermöglichen. Die Streaming-Erfassung in Amazon Redshift vereinfacht Data Pipelines durch die Möglichkeit der Erstellung materialisierter Ansichten direkt auf Streams. Die materialisierten Ansichten können als Teil Ihrer ELT-Pipeline (Extract Load Transform) auch SQL-Transformationen enthalten. Sobald die materialisierten Ansichten definiert sind, können Sie sie manuell aktualisieren und so die neuesten Streamdaten abrufen. Auf diese Weise können Sie die nachgelagerte Verarbeitung und Transformation von Streamingdaten mit vorhandenen und Ihnen bereits vertrauten Tools und SQL vornehmen, ohne dass zusätzliche Kosten anfallen.
Die Vorversion der Streaming-Erfassung in Amazon Redshift steht jetzt in allen Regionen der Amazon Web Services (AWS) zur Verfügung, in denen Amazon Redshift verfügbar ist. Stellen Sie zum Einstieg in die Streaming-Erfassung in Amazon Redshift einen Amazon-Redshift-Cluster im AKTUELLEN Pfad bereit und prüfen Sie, ob Ihr Cluster in der Version 1.0.35480 oder einer neueren Version läuft. Beachten Sie bitte, dass die Funktionen der Vorversion vornehmlich zu Evaluierungs- und Testzwecken dienen. Sie sollten nicht in Produktionssystemen oder mit Produktionsdaten eingesetzt werden. Die Bedingungen für die Vorversion können Sie der Beta Service Participation in den AWS-Servicebedingungen entnehmen. Weitere Informationen über den Einstieg in die Streaming-Erfassung in Amazon Redshift finden Sie auf der Seite Amazon Redshift-Dokumentation. Bei Fragen oder Feedback kontaktieren Sie uns bitte unter: redshiftstreamingingestion@amazon.com.