Características de Amazon Kinesis Data Firehose

Amazon Kinesis Data Firehose ofrece la manera más sencilla de cargar datos de streaming en almacenes de datos y herramientas de análisis. Kinesis Data Firehose es un servicio completamente administrado que facilita el registro, la transformación y la carga de volúmenes masivos de datos de streaming desde cientos de miles de orígenes a Simple Storage Service (Amazon S3), Amazon Redshift, Amazon OpenSearch Service, Kinesis Data Analytics, puntos de conexión HTTP genéricos y proveedores de servicios como Datadog, New Relic, MongoDB y Splunk. Esto permite realizar análisis y obtener información casi en tiempo real.

Una transmisión de entrega es la entidad subyacente de Kinesis Data Firehose. Kinesis Data Firehose se utiliza mediante la creación de una transmisión de entrega y el posterior envío de datos a ella.

Puede lanzar Amazon Kinesis Data Firehose y crear un flujo de entrega para cargar datos en Amazon S3, Amazon Redshift, Amazon OpenSearch Service, puntos de enlace HTTP, Datadog, New Relic, MongoDB o Splunk con tan solo unos clics en la consola de administración de AWS. Puede enviar datos al flujo de entrega mediante una llamada a la API de Firehose, o bien con la ejecución del agente Linux que ofrecemos en el origen de datos. Kinesis Data Firehose carga continuamente los datos en los destinos especificados.

Puede especificar un tamaño por lotes o un intervalo por lotes para controlar la rapidez con que los datos se cargan en los destinos. Por ejemplo, puede definir el intervalo por lotes en 60 segundos si desea recibir nuevos datos en un plazo de 60 segundos después de enviarlos a la transmisión de entrega. Asimismo, puede especificar si los datos deben comprimirse. El servicio admite algoritmos de compresión comunes, entre otros, GZip, Snappy compatible con Hadoop, Zip y Snappy. El agrupamiento por lotes y la compresión de datos antes de cargarlos permite controlar la rapidez con que se reciben nuevos datos en los destinos.

Una vez lanzadas, se aumenta o reduce automáticamente el escalado de las transmisiones de entrega para administrar gigabytes por segundo o más de velocidad de entrada de datos, y mantener la latencia de los datos a los niveles que especifique para la transmisión, dentro de los límites. No necesita intervención ni mantenimiento.

Kinesis Data Firehose admite los formatos de datos en columnas, como Apache Parquet y Apache ORC, están optimizados para el análisis y el almacenamiento rentables mediante el uso de servicios como Amazon Athena, Amazon Redshift Spectrum, Amazon EMR y otras herramientas basadas en Hadoop. Kinesis Data Firehose puede convertir el formato de datos de entrada de JSON a formatos Parquet u ORC antes de almacenarlos en Amazon S3 para ahorrar costos de almacenamiento y análisis.

Particione dinámicamente sus datos en streaming antes de la entrega a S3 mediante claves definidas de forma estática o dinámica como "customer_id" o "transaction_id". Kinesis Data Firehose agrupa los datos según estas claves y realiza la entrega en prefijos S3 con una clave única, lo que le facilita la ejecución de análisis de alto rendimiento y rentables en S3 mediante Athena, EMR y Redshift Spectrum. Más información »

Puede configurar Amazon Kinesis Data Firehose para que prepare los datos de streaming antes de cargarlos en los almacenes de datos. Tan solo debe seleccionar una función de AWS Lambda desde la pestaña de configuración de transmisión de entrega de Amazon Kinesis Data Firehose en la consola de administración de AWS. Amazon Kinesis Data Firehose aplicará automáticamente la función a todos los registros de datos de entrada y cargará los datos transformados en los destinos. Amazon Kinesis Data Firehose proporciona planos de Lambda pregenerados para convertir orígenes de datos comunes, como los registros de Apache y del sistema, a formatos JSON y CSV. Puede utilizar estos planos pregenerados sin ningún cambio o personalizarlos más, o bien escribir sus propias funciones personalizadas. También puede configurar Amazon Kinesis Data Firehose para que reintente de forma automática los trabajos con errores y para que cree backups de los datos de streaming sin procesar. Más información »

En la actualidad, Amazon Kinesis Data Firehose admite Amazon S3, Amazon Redshift, Amazon OpenSearch Service, los puntos de enlace HTTP, Datadog, New Relic, MongoDB y Splunk como destinos. Puede especificar el bucket de Amazon S3, la tabla de Amazon Redshift, el dominio de Amazon OpenSearch Service, los puntos de enlace HTTP o el proveedor de servicio en el que deberían cargarse los datos.

Amazon Kinesis Data Firehose ofrece la opción de que los datos se cifren automáticamente después de cargarlos en el destino. Como parte de la configuración de la transmisión de entrega, puede especificar una clave de cifrado del sistema de administración de claves (KMS) de AWS.

Amazon Kinesis Data Firehose expone varias métricas a través de la consola, así como en Amazon CloudWatch, entre otras, el volumen de datos enviados, el volumen de datos cargados en los destinos, los límites de transmisión de entrega, los números de registros acelerados y la tasa de éxito de la carga. Puede usar estas métricas para supervisar el estado de las transmisiones de entrega, adoptar las medidas necesarias, como modificar los destinos, configurar alarmas cuando se acerque a los límites y garantizar que el servicio recibe datos y los carga en los destinos.

Con Amazon Kinesis Data Firehose, solo paga por el volumen de datos que usted transmite a través del servicio y, si corresponde, por la conversión de formato de datos. También pagará por la entrega y la transferencia de datos a Amazon VPC cuando corresponda. No se requieren tarifas mínimas ni compromisos iniciales. No necesita mano de obra para operar, escalar y mantener la infraestructura o aplicaciones personalizadas a fin de capturar y cargar los datos de streaming.