Amazon Data Firehose stellt Datenströme im Tabellenformat Apache Iceberg in Amazon S3 bereit
Amazon Data Firehose (Firehose) kann jetzt Datenströme in Apache Iceberg-Tabellen in Amazon S3 bereitstellen.
Firehose ermöglicht es Kunden Datenströme zu erfassen und zu transformieren und für Analysen in Amazon S3, Amazon Redshift, OpenSearch, Splunk, Snowflake und weiteren Zielen bereitzustellen. Mit diesem neuen Feature kann Firehose in Apache Iceberg integriert werden, sodass Kunden Datenströme direkt in Apache Iceberg-Tabellen in ihrem Amazon S3 Data Lake bereitstellen können. Firehose kann Datenströme von Kinesis Data Streams, Amazon MSK oder Direct PUT API erfassen und ist ebenfalls integriert, um Streams von AWS-Services zu erfassen, wie AWS WAF Web ACL Logs, Amazon CloudWatch Logs, Amazon VPC Flow Logs, AWS IOT, Amazon SNS, AWS API Gateway Access-Logs und vielen anderen, die hier aufgelistet sind. Kunden können Daten aus jeder dieser Quellen direkt in Apache Iceberg-Tabellen in Amazon S3 streamen und mehrstufige Prozesse vermeiden. Firehose ist serverlos, d. h.Kunden können einen Stream einfach durch Konfiguration der Quell- und Zieleigenschaften einrichten und auf Basis der verarbeiteten Bytes bezahlen.
Das neue Feature ermöglicht es Kunden auch, die Datensätze in einem Datenstrom an verschiedene Apache Iceberg-Tabellen weiterzuleiten, basierend auf dem Inhalt des eingehenden Datensatzes. Für das Weiterleiten von Datensätzen an verschiedene Tabellen, können Kunden die Weiterleitungsregeln mit JSON-Ausdrücken konfigurieren. Zusätzlich können Kunden festelegen, inwieweit der eingehende Datensatz einen Aktualisierungs- oder Löschvorgang auf Zeilenebene in der Apache Iceberg-Zieltabelle anwenden soll, sowie die Verarbeitung für Datenbereinigung und „Recht auf Vergessenwerden“-Szenarien automatisieren.
Besuchen Sie für den Einstieg die Amazon-Data-Firehose-Dokumentation, -Preise und -Konsole.