¿Qué se logra con esta implementación de soluciones de AWS?
La solución de datos de streaming de AWS para Amazon Kinesis configura de forma automática los servicios de AWS necesarios para capturar, almacenar, procesar y entregar datos de streaming con facilidad. Esta solución lo ayuda a resolver casos de uso de streaming en tiempo real, como capturar un volumen alto de registros de aplicaciones, analizar datos de secuencias de clics, entregar de manera continua a un lago de datos y más. Para brindar flexibilidad de adaptación a diferentes casos de uso y necesidades comerciales, esta solución ofrece dos plantillas de AWS CloudFormation. Los desarrolladores pueden utilizar esta solución para probar nuevas combinaciones de servicios como base para sus entornos de producción, o para mejorar una aplicación existente que ya hayan implementado.
Además, la solución reduce el tiempo de desarrollo a días al eliminar o reducir la necesidad de generar modelos y aprovisionar recursos con AWS CloudFormation; configurar registros, paneles y alarmas de Amazon CloudWatch; e implementar de forma manual las prácticas recomendadas para datos de streaming en AWS. Se trata de una solución que puede utilizarse con todo tipo de datos y lógica, lo que le permite empezar con un código de ejemplo y comenzar a personalizarlo rápidamente. Después de la implementación, puede utilizar las capacidades de monitoreo de la solución para una transición sencilla hacia la producción.
La solución de datos de streaming de AWS para Amazon Kinesis utiliza plantillas en las que los datos fluyen entre los productores, el almacenamiento en streaming, los consumidores y los destinos. Los productores generan de manera continua datos y los envían al almacenamiento en streaming, donde se capturarán de manera duradera y estarán disponibles para que el consumidor de datos los procese. Los consumidores de datos procesarán los datos y los enviarán a un destino.
Actualmente, esta solución ofrece dos plantillas, pero hay más en desarrollo. Las plantillas de AWS CloudFormation utilizan Amazon Kinesis Data Streams para el almacenamiento en streaming. Una plantilla utiliza Amazon API Gateway para la incorporación y AWS Lambda como consumidor. La segunda plantilla utiliza la incorporación directa a Kinesis Data Streams desde Amazon Elastic Compute Cloud (Amazon EC2), Amazon Kinesis Data Analytics como consumidor y Amazon Simple Storage Service (Amazon S3) como destino de almacenamiento. Cada plantilla le permite combinar diferentes componentes y ampliarlos según sus necesidades.
Información general sobre la implementación de soluciones de AWS
Esta solución configura de forma automática los servicios de AWS principales y necesarios para capturar, almacenar, procesar y entregar datos de streaming con facilidad. Hay dos opciones disponibles, cada una de ellas con un código de demostración personalizable. Elija la plantilla que se adapte a su caso de uso y a sus requisitos comerciales; a continuación, utilice la guía de implementación para implementarla.
Opción 1
Opción 2
Opción 1
Plantilla de AWS CloudFormation con Amazon API Gateway y AWS Lambda
Plantilla de AWS CloudFormation con Amazon API Gateway y AWS Lambda
Esta plantilla utiliza API Gateway para la incorporación, de modo que ofrece una capa de abstracción desde el almacenamiento en streaming (Kinesis Data Streams). Esta capa de abstracción le permite implementar enfoques de autenticación personalizados para los productores de datos, cuotas de control para productores específicos y cambiar la secuencia de Kinesis de destino.
Esta plantilla utiliza AWS Lambda como el consumidor de datos, lo cual se recomienda para casos de usos que no requieran un estado interno como filtrado, procesamiento de eventos comerciales y limpieza de datos. AWS Lambda ofrece una pequeña área de superficie para escenarios de error, y es sencillo de escalar y operar.
Arquitectura de solución de datos de streaming de AWS para Amazon Kinesis
Opción 2: Plantilla de AWS CloudFormation con incorporación directa y Amazon Kinesis Data Analytics
La plantilla de AWS CloudFormation incluye una instancia de Amazon Elastic Compute Cloud (Amazon EC2), que genera datos mediante Amazon Kinesis Producer Library y los escribe en Kinesis Data Streams, que almacena los registros de los datos. Una aplicación de Amazon Kinesis Data Analytics para Apache Flink procesa los registros entrantes y guarda los datos en un bucket de Amazon Simple Storage Service (Amazon S3). Un panel de Amazon CloudWatch monitorea los errores, eventos específicos, uso de recursos, progreso y estado de la aplicación.
Esta plantilla de AWS CloudFormation utiliza la incorporación directa desde Amazon EC2 a Kinesis Data Streams. Se recomienda especialmente esta plantilla si tiene un nivel de control sobre el código que se está escribiendo en Kinesis Data Streams. Esto le permite ofrecer optimizaciones de costo mediante el almacenamiento en búfer en el productor de datos y supone tener que administrar menos recursos.
Kinesis Data Analytics para Apache Flink es el consumidor de datos, especialmente indicado si su caso de uso requiere capacidades como una aplicación duradera y un procesamiento único. Además, Kinesis Data Analytics procesa de forma eficiente altos volúmenes de secuencias de datos con baja latencia y alta disponibilidad. Entre los casos de uso que pueden beneficiarse de estas capacidades se incluyen el streaming de procesos de extracción, transformación y carga (ETL), el análisis en tiempo real, el análisis predictivo y el aprendizaje automático.
Para los servicios que ha seleccionado, se brinda lo siguiente en cada plantilla de Amazon CloudFormation creada con la solución de datos de streaming para Amazon Kinesis: configuraciones predeterminadas recomendadas para los recursos creados; Amazon Cloud Watch logs, paneles, alarmas y métricas; políticas administradas y roles de AWS Identity and Access Management (IAM); configuración de Amazon CloudTrail; y prácticas recomendadas de seguridad que incluyen cifrado con AWS Key Management Service.
Características
Configuraciones automatizadas
Configura de forma automática los servicios de AWS necesarios para capturar, almacenar, procesar y entregar datos de streaming con facilidad.
Flexibilidad
Para brindar flexibilidad de adaptación a diferentes casos de uso y necesidades comerciales, esta solución ofrece dos plantillas de AWS CloudFormation. Los desarrolladores pueden utilizar esta solución para probar nuevas combinaciones de servicios como base para sus entornos de producción, o para mejorar una aplicación existente que ya hayan implementado.
Casos de uso de streaming en tiempo real
Capture registros de aplicaciones de alto volumen, analice datos de secuencias de clics, entregue de manera continua a un lago de datos y más.
Independiente del tipo de datos y lógica
Personalice rápidamente el código de ejemplo de la solución. Después de la implementación, puede comenzar fácilmente la transición hacia la producción gracias a las capacidades de monitoreo de Amazon CloudWatch.
Implemente usted mismo una solución
Consulte nuestra biblioteca de Implementaciones de soluciones de AWS para obtener respuestas a problemas de arquitectura comunes.
