La solución de datos de streaming para Amazon Kinesis proporciona plantillas de AWS CloudFormation en las que los datos fluyen entre los productores, el almacenamiento en streaming, los consumidores y los destinos. Para respaldar varios casos de uso y necesidades empresariales, la solución ofrece cuatro plantillas de CloudFormation. De manera similar a la solución de datos de streaming para Amazon MSK, las plantillas se configuran con el fin de aplicar las prácticas recomendadas y supervisar la funcionalidad mediante paneles y alarmas, así como para proteger los datos.
Beneficios
Información general sobre la solución de AWS
-
Opción 1
-
Opción 2
-
Opción 3
-
Opción 4
-
Opción 1
-
Plantilla de AWS CloudFormation con Amazon API Gateway y AWS Lambda
Hacer clic para ampliarCerrarPlantilla de AWS CloudFormation con Amazon API Gateway y AWS Lambda
Arquitectura de la solución de datos de streaming para Amazon Kinesis
Opción 1: plantilla de AWS CloudFormation con Amazon API Gateway, Kinesis Data Streams y AWS Lambda
Esta plantilla de AWS CloudFormation implementa una arquitectura de referencia que incluye lo siguiente:
- Una API REST de Amazon API Gateway actúa como proxy hacia Amazon Kinesis Data Streams y agrega un registro de datos individual o una lista de registros de datos.
- Se utiliza un grupo de usuarios de Amazon Cognito para controlar quién puede invocar los métodos de la API REST.
- Kinesis Data Streams para almacenar los datos de streaming entrantes.
- Una función de AWS Lambda procesa los registros de la secuencia de datos.
- Los registros fallidos y errores que se produzcan durante el procesamiento de AWS Lambda quedan anotados, y los eventos se almacenan en Amazon Simple Queue Service (Amazon SQS). La cola almacena metadatos correspondientes a lotes de registros fallidos o errores de Lambda, lo que permite a los clientes recuperar estos registros y determinar los pasos que se deben dar para resolverlos.
Solución de datos de streaming para Amazon Kinesis
Costo estimado Código fuente Opción 1: la plantilla de AWS CloudFormation utiliza API Gateway, Kinesis Data Streams y AWS LambdaVersión 1.6.0
Fecha de lanzamiento: 11/2021
Autor: AWSTiempo de implementación estimado: 5-10 minutos
Recursos adicionales
Descargar la guía de implementaciónUtilice el siguiente botón para suscribirse a las actualizaciones de la solución.Nota: Para suscribirse a las actualizaciones de RSS, debe disponer de un complemento de RSS habilitado para el navegador que utilice.
-
Opción 2
-
La plantilla de AWS CloudFormation utiliza Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics y Amazon CloudWatch
Hacer clic para ampliarCerrarLa plantilla de AWS CloudFormation utiliza la plantilla de AWS CloudFormation que usa Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics y Amazon CloudWatch
Arquitectura de la solución de datos de streaming para Amazon Kinesis
Opción 2: plantilla de AWS CloudFormation que utiliza la plantilla de AWS CloudFormation que usa Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics y Amazon CloudWatch
Esta plantilla de AWS CloudFormation implementa una arquitectura de referencia que incluye lo siguiente:
- Una instancia de Amazon Elastic Compute Cloud (Amazon EC2) utiliza Amazon Kinesis Producer Library (KPL) para generar datos.
- Amazon Kinesis Data Streams almacena el flujo de datos entrante.
- Kinesis Data Analytics Studio procesa los registros entrantes y guarda los datos procesados en un bucket de Amazon Simple Storage Service (Amazon S3).
- Un panel de Amazon CloudWatch monitorea el estado de la aplicación, el progreso, el uso de recursos, los eventos y los errores.
Solución de datos de streaming para Amazon Kinesis
Versión 1.6.0
Fecha de lanzamiento: 11/2021
Autor: AWSTiempo de implementación estimado: 5-10 minutos
Recursos adicionales
Descargar la guía de implementaciónUtilice el siguiente botón para suscribirse a las actualizaciones de la solución.Nota: Para suscribirse a las actualizaciones de RSS, debe disponer de un complemento de RSS habilitado para el navegador que utilice.
-
Opción 3
-
La plantilla de AWS CloudFormation utiliza Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose y Amazon S3
Hacer clic para ampliarCerrarLa plantilla de AWS CloudFormation utiliza Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose y Amazon S3
Arquitectura de la solución de datos de streaming para Amazon Kinesis
Opción 3: la plantilla de AWS CloudFormation utiliza Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose y Amazon S3
Esta opción implementa una arquitectura de referencia que incluye lo siguiente:
- Amazon Kinesis Data Streams almacena los datos de streaming entrantes.
- Amazon Kinesis Data Firehose envía los datos a un búfer antes de entregar la salida a un bucket de Amazon S3. Se trata de un servicio completamente administrado cuya escala se ajusta de manera automática para adaptarse al rendimiento de sus datos. Además, no requiere administración continua.
- Un panel de Amazon CloudWatch monitorea la ingesta y el almacenamiento en búfer de los datos. Las alarmas de CloudWatch se configuran para métricas esenciales de Kinesis Data Firehose.
Solución de datos de streaming para Amazon Kinesis
Versión 1.6.0
Fecha de lanzamiento: 11/2021
Autor: AWS
Tiempo de implementación estimado: 5-10 minutos
Utilice el siguiente botón para suscribirse a las actualizaciones de la solución.Nota: Para suscribirse a las actualizaciones de RSS, debe disponer de un complemento de RSS habilitado para el navegador que utilice.
- Amazon Kinesis Data Streams almacena los datos de streaming entrantes.
-
Opción 4
-
La plantilla de AWS CloudFormation utiliza Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics y Amazon API Gateway
Hacer clic para ampliarCerrarLa plantilla de AWS CloudFormation utiliza Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics y Amazon API Gateway
Arquitectura de la solución de datos de streaming para Amazon Kinesis
Opción 4: la plantilla de AWS CloudFormation utiliza Amazon Kinesis Data Streams, Amazon Kinesis Data Analytics y Amazon API Gateway
Esta opción implementa una arquitectura de referencia similar a la opción 2 e incluye lo siguiente:
- Una instancia de Amazon Elastic Compute Cloud (Amazon EC2) que utiliza Amazon Kinesis Producer Library (KPL) para generar datos.
- Kinesis Data Streams almacena los datos de streaming entrantes.
- Kinesis Data Analytics procesa los registros entrantes e invoca de forma asíncrona un punto de enlace externo.
- La aplicación de demostración invoca una función de AWS Lambda.
- La API externa puede ser cualquier integración compatible con Amazon API Gateway (por ejemplo, un punto de conexión de Amazon SageMaker).
- Un panel de Amazon CloudWatch monitorea el estado de la aplicación, el progreso, el uso de recursos, los eventos y los errores.
Solución de datos de streaming para Amazon Kinesis
Versión 1.6.0
Fecha de lanzamiento: 11/2021
Autor: AWS
Tiempo de implementación estimado: 5-10 minutos
Recursos adicionales
Utilice el siguiente botón para suscribirse a las actualizaciones de la solución.Nota: Para suscribirse a las actualizaciones de RSS, debe disponer de un complemento de RSS habilitado para el navegador que utilice.
- Una instancia de Amazon Elastic Compute Cloud (Amazon EC2) que utiliza Amazon Kinesis Producer Library (KPL) para generar datos.
Contenido relacionado
Este artículo describe la arquitectura para lograr la inferencia en tiempo real de los datos de streaming mediante varios servicios de AWS. También trata la integración de Amazon Kinesis Data Analytics (KDA) con Apache Flink para invocar asincrónicamente servicios o bases de datos subyacentes.
Consulte nuestra biblioteca de Implementaciones de soluciones de AWS para obtener respuestas a problemas de arquitectura comunes.
Encuentre socios consultores y tecnológicos certificados por AWS que lo ayudarán a comenzar.
Explore nuestra cartera de ofertas de asesoramiento para obtener ayuda autorizada por AWS con la implementación de la solución.