Publicado en: Sep 27, 2023
Amazon Kinesis Data Firehose ahora se integra con Amazon MSK para ofrecer una solución completamente administrada que simplifica el procesamiento y la entrega de datos de streaming desde los clústeres de Apache Kafka de Amazon MSK a los lagos de datos almacenados en Amazon S3. Con solo unos pocos clics, los clientes de Amazon MSK pueden cargar datos que quieran de forma continua desde los clústeres de Apache Kafka a su bucket de Amazon S3. De esta manera, se evita la necesidad de desarrollar o ejecutar sus propias aplicaciones de conector.
Amazon MSK es un servicio completamente administrado para Apache Kafka que facilita la tarea de crear y ejecutar aplicaciones que utilizan Apache Kafka como un almacén de datos. Kinesis Data Firehose es un servicio completamente administrado que captura, transforma y entrega datos de manera continua a lagos de datos, almacenes de datos y servicios de análisis. Kinesis Data Firehose escala automáticamente para adaptarse al rendimiento de sus datos de Amazon MSK y sin una administración continua. Kinesis Data Firehose también ofrece características fáciles de usar, como JSON a Parquet/ORC para la conversión de formatos y la agregación de lotes a fin de optimizar el tamaño de los archivos de S3. Estas características simplifican los flujos de trabajo de análisis y el procesamiento de los datos entregados.
Para comenzar, necesitará una cuenta de AWS. Una vez que tenga una cuenta, puede crear una secuencia de entrega en la consola de Amazon Kinesis. Para obtener más información, consulte la guía para desarrolladores de Amazon Kinesis Data Firehose.
La entrega de Amazon MSK a Amazon S3 mediante Amazon Kinesis Data Firehose se puede utilizar en todas las regiones comerciales y de AWS GovCloud (EE. UU.) en las que Amazon MSK y Kinesis Data Firehose están disponibles.
A partir del 9 de febrero de 2024, Kinesis Data Firehose pasa a ser Amazon Data Firehose