Los corredores de Amazon MSK Express ahora entregan datos a tablas de streaming para Apache Iceberg
Los corredores de Amazon MSK Express ahora entregan datos a tablas de streaming para Apache Iceberg, una nueva capacidad que materializa continuamente los temas de Apache Kafka en tablas de Apache Iceberg en Amazon S3 Tables. La entrega de datos de Amazon MSK a tablas de streaming puede reducir el costo de ingestión y entrega de datos de Apache Kafka en Amazon S3 Tables hasta en un 60% en comparación con las implementaciones autogestionadas y reduce los costos de consultas posteriores hasta un 30% en comparación con las implementaciones autogestionadas de Apache Kafka.
Los clientes confían en Apache Kafka para ingerir datos en tiempo real para casos de uso como la detección de fraudes y la personalización, y cada vez más desean unificar esos datos con las tablas de Apache Iceberg para realizar análisis casi en tiempo real, pero la integración de ambos los obliga a operar procesos personalizados complejos, gestionar las conversiones de formato y hacer frente al problema de los archivos pequeños, en el que la ingestión de grandes volúmenes crea muchos archivos pequeños de parquet que ralentizan las consultas posteriores y aumentan los costos. Con esta capacidad, la compactación inteligente en línea elimina el impacto en el rendimiento de los archivos pequeños y hace que el rendimiento de las consultas sea predecible sin sacrificar la frescura de los datos, mientras que la coordinación integrada resuelve los conflictos de escritura simultáneos entre los consumidores de alto rendimiento. Amazon MSK admite un rendimiento de hasta 10 GB/s para la entrega a Apache Iceberg en Amazon S3 Tables y, dado que esta capacidad nativa no añade ningún rendimiento de salida de los agentes, los clientes evitan los costos incrementales de infraestructura que implica escalar las canalizaciones de conectores y adaptan la capacidad a la demanda real en lugar de a los picos. Los clientes entregan datos a tablas de streaming y consultan o transforman los datos con cualquier motor de su elección, incluidos Apache Spark, Trino o Apache Flink.
Para empezar, los clientes abren la consola de Amazon MSK, seleccionan el clúster Express y habilitan la función con unos pocos clics, o bien utilizan las API de MSK o el servidor MCP. La entrega de datos de Amazon MSK a tablas de streaming ya está disponible en todas las regiones de AWS en las que se ofrecen agentes de Amazon MSK Express. Para obtener información, visite la página de precios. Para obtener más información, consulte la Guía para desarrolladores de Amazon MSK y las habilidades de inteligencia artificial de Amazon MSK.