Veröffentlicht am: Apr 17, 2024
Amazon Data Firehose (Firehose) bietet jetzt die direkte Integration mit Snowflake Snowpipe Streaming. Firehose ermöglicht Kunden die zuverlässige Erfassung und Transformation von Datenströmen sowie die Bereitstellung für Analysen in Amazon S3, Amazon Redshift, Splunk und weiteren Zielorten. Mit dieser neuen Funktion können Kunden Clickstream-, Anwendungs- und AWS-Serviceprotokolle aus mehreren Quellen, einschließlich Kinesis Data Streams, an Snowflake streamen. Einen Stream von Firehose können Kunden mit einigen wenigen Klicks erstellen, um Daten an Snowflake bereitzustellen. Firehose skaliert automatisch, um Gigabyte an Daten zu streamen. Diese Aufzeichnungen sind innerhalb von Sekunden auf Snowflake verfügbar.
Snowflake bietet zwei Optionen für das Laden von Daten in Snowflake-Tabellen: Snowpipe und Snowpipe Streaming. Kunden laden Daten mit Snowpipe aus Dateien in Mikrobatches. Dazu müssen Streams zu Batches zusammengefasst, in den Zwischenspeicher geschrieben und dann in Snowflake geladen werden. Dieser mehrstufige Prozess führt zu einer Latenz von mehreren Minuten und zu höheren Kosten. Snowpipe Streaming ermöglicht das Schreiben von Datenzeilen in Tabellen. Durch die Integration mit Snowpipe Streaming liefert Firehose Streams Datensatz-für Datensatz, sobald diese zur Verfügung stehen, sodass Daten für Abfragen in Snowflake innerhalb von Sekunden verfügbar sind. Kunden reduzieren damit Kosten, Latenz und Komplexität bei der Bereitstellung von Streams in Snowflake.
Besuchen Sie die Dokumentation, Preise und Konsole zu Amazon Data Firehose, um mehr zu erfahren und sofort loszulegen.