Il flusso di dati Amazon Kinesis introduce le tabelle di streaming per la distribuzione dei dati verso tabelle Apache Iceberg su Amazon S3 Tables
Il flusso di dati Amazon Kinesis introduce le tabelle di streaming, una nuova funzionalità interamente serverless che distribuisce in modo continuo i dati dei flussi Kinesis ad Amazon S3 Tables in formato Apache Iceberg. Le tabelle di streaming eliminano la necessità di costruire e gestire pipeline di distribuzione Iceberg autogestite, riducendo i costi di distribuzione dei dati fino al 50%. La compattazione integrata intelligente risolve il problema dei file di piccole dimensioni e garantisce prestazioni delle query costanti e prevedibili, riducendo i costi delle query a valle fino al 30%.
Flusso di dati Amazon Kinesis è un servizio di streaming dei dati serverless che facilita la cattura, l'elaborazione e l'archiviazione dei flussi di dati su qualsiasi scala. I clienti mostrano un interesse crescente nel distribuire dati in streaming a tabelle Apache Iceberg, per alimentare analisi in tempo quasi reale e pipeline di funzionalità per IA/ML basate sui dati più aggiornati. Per raggiungere questo obiettivo, oggi i clienti devono costruire e gestire pipeline personalizzate, occuparsi delle conversioni di formato e gestire l'infrastruttura di calcolo, con un conseguente aumento dei costi. L'acquisizione in streaming ad alto volume genera inoltre numerosi file Parquet di piccole dimensioni, che compromettono le prestazioni delle query a valle e fanno crescere i costi di archiviazione. Grazie alle tabelle di streaming, ai clienti basta creare una tabella di streaming, una funzionalità completamente serverless che distribuisce in modo continuo i dati da un flusso Kinesis alle Amazon S3 Tables. La compattazione integrata intelligente elimina l'impatto negativo dei file di piccole dimensioni sulle prestazioni e assicura query costanti e prevedibili, senza compromettere la freschezza dei dati. Il flusso di dati Amazon Kinesis gestisce automaticamente dimensionamento dinamico, nuovi tentativi, compattazione e affidabilità della distribuzione, completando il processo in pochi minuti, senza applicazioni personalizzate, senza infrastrutture di calcolo da gestire e senza alcun carico operativo. La configurazione delle tabelle di streaming avviene in pochi clic dalla console, come esperienza integrata, oppure tramite API.
Le tabelle di streaming supportano le modalità di capacità On Demand Advantage (ODA) e On Demand Standard (ODS), con un modello di prezzo basato sull'utilizzo, senza costi di configurazione né impegni minimi. Il costo viene addebitato esclusivamente per i dati distribuiti con successo. Le tabelle di streaming sono disponibili in tutte le regioni AWS in cui viene offerto il flusso di dati Amazon Kinesis, incluse le regioni AWS GovCloud (Stati Uniti) e Cina. Per iniziare, consulta la guida utenti e la pagina dei prezzi del flusso di dati Amazon Kinesis.