Amazon Data Firehose supporta la replica continua delle modifiche al database sulle tabelle Apache Iceberg in Amazon S3
Amazon Data Firehose ora consente l'acquisizione e la replica delle modifiche al database sulle tabelle Apache Iceberg in Amazon S3 (anteprima). Questa nuova funzionalità consente ai clienti di trasmettere facilmente dati in tempo reale dai database MySQL e PostgreSQL direttamente nelle tabelle Apache Iceberg.
Firehose è un servizio di streaming serverless completamente gestito che consente ai clienti di acquisire, trasformare e distribuire flussi di dati in Amazon S3, Amazon Redshift, OpenSearch, Splunk, Snowflake e altre destinazioni per l'analisi. Con questa funzionalità, Firehose esegue una copia iniziale completa dei dati dalle tabelle del database selezionate, quindi trasmette continuamente gli aggiornamenti di Change Data Capture (CDC) per riflettere inserimenti, aggiornamenti ed eliminazioni nelle tabelle Apache Iceberg. Questa soluzione semplificata elimina le complesse configurazioni della pipeline di dati riducendo al minimo l'impatto sulle prestazioni delle transazioni del database.
Le funzionalità principali includono: • Creazione automatica di tabelle Apache Iceberg corrispondenti agli schemi del database di origine • Evoluzione automatica dello schema in risposta alle modifiche all'origine • Replica selettiva di database, tabelle e colonne specifici
Questa funzionalità di anteprima è disponibile in tutte le regioni AWS ad eccezione di Cina, AWS GovCloud (Stati Uniti) e Asia Pacifico (Malesia). Per i termini e le condizioni, consulta la sezione Beta Service Participation (Partecipazione al servizio beta) nei Termini di servizio di AWS.
Per iniziare, consulta la documentazione e la console di Amazon Data Firehose.
Per ulteriori informazioni su questa funzionalità, consulta questo post del blog AWS.