Veröffentlicht am: Jan 19, 2024
Amazon Kinesis Data Firehose (Firehose) bietet jetzt in der Vorschauversion die direkte Integration mit Snowflake Snowpipe Streaming. Firehose ermöglicht Kunden die zuverlässige Erfassung und Transformation von Datenströmen sowie die Bereitstellung für Analysen in Amazon S3, Amazon Redshift, Splunk und weiteren Zielorten. Mit dieser neuen Funktion können Kunden Clickstream-, Anwendungs- und AWS-Serviceprotokolle aus mehreren Quellen, einschließlich Kinesis Data Streams, an Snowflake streamen. Einen Stream von Firehose können Kunden mit einigen wenigen Klicks erstellen, um Daten an Snowflake bereitzustellen. Firehose skaliert automatisch, um Gigabyte an Daten zu streamen. Diese Aufzeichnungen sind innerhalb von Sekunden auf Snowflake verfügbar.
Snowflake bietet zwei Optionen für das Laden von Daten in Snowflake-Tabellen: Snowpipe und Snowpipe Streaming. Kunden laden Daten mit Snowpipe aus Dateien in Mikrobatches. Dazu müssen Streams zu Batches zusammengefasst, in den Zwischenspeicher geschrieben und dann in Snowflake geladen werden. Dieser mehrstufige Prozess führt zu einer Latenz von mehreren Minuten und zu höheren Kosten. Snowpipe Streaming ermöglicht das Schreiben von Datenzeilen in Tabellen. Durch die Integration mit Snowpipe Streaming liefert Firehose Streams Datensatz-für Datensatz, sobald diese zur Verfügung stehen, sodass Daten für Abfragen in Snowflake innerhalb von Sekunden verfügbar sind. Kunden reduzieren damit Kosten, Latenz und Komplexität bei der Bereitstellung von Streams in Snowflake.
Die Integration von Firehose in Snowflake ist in der Vorschauversion für die AWS-Regionen USA Ost (Nord-Virginia), USA West (Oregon) und Europa (Irland) verfügbar. Besuchen Sie Dokumentation, Preise und Konsole zu Amazon Kinesis Data Firehose, um mehr zu erfahren und sofort loszulegen. Die Vorschaufunktionen dienen ausschließlich zu Evaluierungs- und Testzwecken und sollten nicht in Produktionssysteme integriert werden. Die Allgemeinen Geschäftsbedingungen können Sie der Beta Service Participation in den AWS-Servicebedingungen entnehmen.