Amazon Data Firehose unterstützt die kontinuierliche Replikation von Datenbankänderungen in Apache Iceberg-Tabellen in Amazon S3
Amazon Data Firehose ermöglicht jetzt die Erfassung und Replikation von Datenbankänderungen in Apache Iceberg-Tabellen in Amazon S3 (Vorschau). Dieses neue Feature erlaubt es Kunden, Echtzeitdaten aus MySQL- und PostgreSQL-Datenbanken einfach direkt in Apache Iceberg. Tabellen zu streamen.
Firehose ist ein vollständig verwalteter, serverloser Streaming-Service, der es Kunden ermöglicht, Datenströme zu erfassen, zu transformieren und für Analysen in Amazon S3, Amazon Redshift, OpenSearch, Splunk, Snowflake und anderen Zielen bereitzustellen. Mit dieser Funktionalität führt Firehose eine erste vollständige Datenkopie aus ausgewählten Datenbanktabellen durch, streamt anschließend kontinuierlich Change Data Capture (CDC) -Updates, um Einfüge-, Aktualisierungs- und Löschvorgänge in den Apache Iceberg-Tabellen widerzuspiegeln. Diese optimierte Lösung beseitigt die Notwendigkeit komplexer Datenpipeline-Setups und mininmiert gleichzeitig die Leistungsauswirkungen auf die Datenbanktransaktion.
Die wichtigsten Funktionen beinhalten: • Automatische Erstellung von Apache Iceberg-Tabellen, die Quelldatenbankschemas entsprechen • Automatische Schemaentwicklung als Reaktion auf geänderte Quellen • Selektive Replikation spezifischer Datenbanken, Tabellen und Spalten
Das Vorschaufeature ist in allen AWS-Regionen verfügbar, mit Ausnahme der Regionen China, AWS GovCloud (USA) und Asien-Pazifik (Malaysia). Die Allgemeinen Geschäftsbedingungen können Sie der Beta Service Participation in den AWS-Servicebedingungen entnehmen.
Besuchen Sie für den Einstieg die Amazon-Data-Firehose-Dokumentation und -Konsole.
Weitere Informationen über dieses Feature finden Sie im AWS-Blogbeitrag.