Amazon Kinesis Data Streams anuncia tablas de streaming y entrega datos a tablas de Apache Iceberg en las tablas de Amazon S3
Amazon Kinesis Data Streams presenta las tablas de streaming, una nueva capacidad totalmente sin servidor que entrega de forma continua datos de las transmisiones de Kinesis a tablas de Amazon S3 en formato Apache Iceberg. Las tablas de streaming eliminan la necesidad de crear y operar canalizaciones de entrega de Iceberg autoadministradas, lo que reduce los costos de entrega de datos hasta en un 50 %. La compactación inteligente en línea elimina el problema de los archivos pequeños y hace que el rendimiento de las consultas sea predecible, lo que reduce los costos de las consultas posteriores hasta en un 30 %.
Amazon Kinesis Data Streams es un servicio de datos de streaming sin servidor que hace que sea fácil capturar, procesar y almacenar flujos de datos a cualquier escala. Los clientes buscan cada vez más enviar datos de streaming a tablas de Apache Iceberg para realizar análisis casi en tiempo real y alimentar canalizaciones de características de IA/ML con los datos más recientes. Para hacerlo actualmente, los clientes deben crear y administrar canalizaciones personalizadas, gestionar las conversiones de formato y administrar la infraestructura de computación, lo que incrementa sus costos. La ingesta de streaming de gran volumen también genera una gran cantidad de archivos de Parquet pequeños, que degradan el rendimiento de las consultas posteriores y aumentan los costos de almacenamiento. Con las tablas de streaming, los clientes simplemente crean una tabla de streaming, una capacidad totalmente sin servidor que entrega datos de forma continua desde una transmisión de Kinesis a las tablas de Amazon S3. La compactación inteligente en línea evita el impacto en el rendimiento de los archivos pequeños y hace que el rendimiento de las consultas sea predecible sin sacrificar la actualización de los datos. Kinesis Data Streams gestiona automáticamente el escalado, los reintentos, la compactación y la confiabilidad de la entrega, y pone los datos a disposición en cuestión de minutos, sin aplicaciones personalizadas, recursos de computación autoadministrados ni sobrecarga operativa. Los clientes configuran las tablas de streaming con unos pocos clics desde la consola como una experiencia integrada o mediante las API.
Las tablas de streaming admiten los modos de capacidad On Demand Advantage (ODA) y On Demand Standard (ODS) con precios basados en el uso, sin tarifas de configuración ni compromisos mínimos. Solo se le cobrará por los datos enviados correctamente. Las tablas de streaming están disponibles en todas las regiones de AWS en las que Amazon Kinesis Data Streams está disponible, incluidas las regiones de AWS GovCloud (EE. UU.) y China. Para empezar, consulte la guía del usuario de Amazon Kinesis Data Streams y la página de precios.