Amazon Data Firehose-Unterstützung für die Bereitstellung von Daten in Apache Iceberg-Tabellen ist in weiteren AWS-Regionen verfügbar
Amazon Data Firehose-Unterstützung für die Bereitstellung von Datenströmen in Apache Iceberg-Tabellen in Amazon S3 ist jetzt in allen AWS-Regionen verfügbar, mit Ausnahme der Regionen AWS China, AWS GovCloud und ap-southeast-5.
Mit diesem Feature kann Firehose in Apache Iceberg integriert werden, sodass Kunden Datenströme direkt in Apache Iceberg-Tabellen in ihrem Amazon S3 Data Lake bereitstellen können. Firehose kann Datenströme von Kinesis Data Streams, Amazon MSK oder Direct PUT API erfassen und ist ebenfalls integriert, um Streams von AWS-Services zu erfassen, wie AWS WAF Web ACL Logs, Amazon CloudWatch Logs, Amazon VPC Flow Logs, AWS IOT, Amazon SNS, AWS API Gateway Access-Logs und vielen anderen, die hier aufgelistet sind. Kunden können Daten aus jeder dieser Quellen direkt in Apache Iceberg-Tabellen in Amazon S3 streamen und mehrstufige Prozesse vermeiden. Firehose ist serverlos, d. h.Kunden können einen Stream einfach durch Konfiguration der Quell- und Zieleigenschaften einrichten und auf Basis der verarbeiteten Bytes bezahlen.
Das neue Feature ermöglicht es Kunden auch, die Datensätze in einem Datenstrom an verschiedene Apache Iceberg-Tabellen weiterzuleiten, basierend auf dem Inhalt des eingehenden Datensatzes. Für das Weiterleiten von Datensätzen an verschiedene Tabellen, können Kunden die Weiterleitungsregeln mit JSON-Ausdrücken konfigurieren. Zusätzlich können Kunden festelegen, inwieweit der eingehende Datensatz einen Aktualisierungs- oder Löschvorgang auf Zeilenebene in der Apache Iceberg-Zieltabelle anwenden soll, sowie die Verarbeitung für Datenbereinigung und „Recht auf Vergessenwerden“-Szenarien automatisieren.
Besuchen Sie die Dokumentation, Preise und Konsole zu Amazon Data Firehose, um mehr zu erfahren und sofort loszulegen.