Información general
La solución de datos de streaming para Amazon Kinesis proporciona plantillas de AWS CloudFormation en las que los datos fluyen entre los productores, el almacenamiento en streaming, los consumidores y los destinos. Para respaldar varios casos de uso y necesidades empresariales, la solución ofrece cuatro plantillas de CloudFormation. De manera similar a la solución de datos de streaming para Amazon MSK, las plantillas se configuran con el fin de aplicar las prácticas recomendadas y supervisar la funcionalidad mediante paneles y alarmas, así como para proteger los datos.
Los datos de streaming se pueden capturar de forma duradera mediante el almacenamiento escalable masivo, que es capaz de administrar un volumen de datos alto procedente de los productores de datos. Un productor pueden ser miles de orígenes de datos, cada uno generando datos de streaming de manera continua y que, normalmente, envían registros de manera simultánea y en tamaños reducidos (kilobytes).
Los datos de streaming incluyen diversos tipos de datos, como archivos de registros generados por los clientes que utilizan aplicaciones móviles o web, compras electrónicas, actividades de los jugadores en un juego, información de redes sociales, operaciones bursátiles o servicios geoespaciales, así como telemetría de dispositivos conectados o instrumentación en centros de datos.
Beneficios
Detalles técnicos
-
Opción 1
-
Opción 2
-
Opción 3
-
Opción 4
-
Opción 1
-
Plantilla de AWS CloudFormation con Amazon API Gateway y AWS Lambda
Opción 1: plantilla de AWS CloudFormation con Amazon API Gateway, Kinesis Data Streams y AWS Lambda
Paso 1
Una API de REST de Amazon API Gateway actúa como proxy hacia Amazon Kinesis Data Streams y agrega un registro de datos individual o una lista de registros de datos.Paso 2
Se usa un grupo de usuarios de Amazon Cognito para controlar quién puede invocar los métodos de la API de REST.Paso 3
Kinesis Data Streams para almacenar los datos de streaming entrantes.Paso 4
Una función de AWS Lambda procesa los registros del flujo de datos.Paso 5
Los registros fallidos y errores que se produzcan durante el procesamiento de AWS Lambda quedan anotados, y los eventos se almacenan en Amazon Simple Queue Service (Amazon SQS). La cola almacena metadatos correspondientes a lotes de registros fallidos o errores de Lambda, lo que permite a los clientes recuperar estos registros y determinar los pasos que se deben dar para resolverlos.Contenido relacionado
Blog de arquitectura de AWSInferencia instream en tiempo real con AWS Kinesis, SageMaker y Apache FlinkEste artículo describe la arquitectura para lograr la inferencia en tiempo real de los datos de streaming mediante varios servicios de AWS. También trata la integración de Amazon Managed Service para Apache Flink para invocar de forma asíncrona los servicios o bases de datos subyacentes.
FormaciónIntroducción a Amazon Kinesis AnalyticsEste es un curso introductorio de Amazon Kinesis Analytics que lo ayudará a consultar datos transmitidos o construir aplicaciones de transmisión desde cero mediante SQL.
FormaciónAspectos fundamentales sobre el análisis de datosEn este curso autoguiado, aprenderá sobre el proceso que se sigue para planificar soluciones de análisis de datos y sobre los distintos procesos de análisis de datos que intervienen.
Acerca de esta implementaciónVersión1.8.1Lanzamiento10/2023AutorAWSTiempo de implementación estimado5-10 minutosCosto estimadoOpciones de despliegue¿Listo para comenzar?Inicie esta solución en la consola de AWS para implementarla -
Opción 2
-
Opción 2: plantilla de AWS CloudFormation con la plantilla de AWS CloudFormation que usa Amazon EC2, Amazon Kinesis Producer Library, Amazon Kinesis Data Streams, Amazon Managed Service para Apache Flink y Amazon CloudWatch
Paso 1
Una instancia de Amazon Elastic Compute Cloud (Amazon EC2) usa Amazon Kinesis Producer Library (KPL) para generar datos.Paso 3
Amazon Managed Service para Apache Flink Studio procesa los registros entrantes y guarda los datos procesados en un bucket de Amazon Simple Storage Service (Amazon S3).Paso 4
Un panel de Amazon CloudWatch supervisa el estado de la aplicación, el progreso, el uso de recursos, los eventos y los errores.
Contenido relacionado
Blog de arquitectura de AWSInferencia instream en tiempo real con AWS Kinesis, SageMaker y Apache FlinkEste artículo describe la arquitectura para lograr la inferencia en tiempo real de los datos de streaming mediante varios servicios de AWS. También trata la integración de Amazon Managed Service para Apache Flink para invocar de forma asíncrona los servicios o bases de datos subyacentes.
FormaciónIntroducción a Amazon Kinesis AnalyticsEste es un curso introductorio de Amazon Kinesis Analytics que lo ayudará a consultar datos transmitidos o construir aplicaciones de transmisión desde cero mediante SQL.
FormaciónAspectos fundamentales sobre el análisis de datosEn este curso autoguiado, aprenderá sobre el proceso que se sigue para planificar soluciones de análisis de datos y sobre los distintos procesos de análisis de datos que intervienen.
Acerca de esta implementaciónVersión1.8.1Lanzamiento10/2023AutorAWSTiempo de implementación estimado5-10 minutosCosto estimadoOpciones de despliegue¿Listo para comenzar?Inicie esta solución en la consola de AWS para implementarla -
Opción 3
-
La plantilla de AWS CloudFormation utiliza Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose y Amazon S3
Opción 3: la plantilla de AWS CloudFormation utiliza Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose y Amazon S3
Paso 1
Amazon Kinesis Data Streams almacena los datos de streaming entrantes.Paso 2
Amazon Kinesis Data Firehose envía los datos a un búfer antes de entregar la salida a un bucket de Amazon S3. Se trata de un servicio completamente administrado cuya escala se ajusta de manera automática para adaptarse al rendimiento de sus datos. Además, no requiere administración continua.Paso 3
Un panel de Amazon CloudWatch supervisa la ingesta y el almacenamiento en búfer de los datos. Las alarmas de CloudWatch se configuran para métricas esenciales de Kinesis Data Firehose.Contenido relacionado
Blog de arquitectura de AWSInferencia instream en tiempo real con AWS Kinesis, SageMaker y Apache FlinkEste artículo describe la arquitectura para lograr la inferencia en tiempo real de los datos de streaming mediante varios servicios de AWS. También trata la integración de Amazon Managed Service para Apache Flink para invocar de forma asíncrona los servicios o bases de datos subyacentes.
FormaciónIntroducción a Amazon Kinesis AnalyticsEste es un curso introductorio de Amazon Kinesis Analytics que lo ayudará a consultar datos transmitidos o construir aplicaciones de transmisión desde cero mediante SQL.
FormaciónAspectos fundamentales sobre el análisis de datosEn este curso autoguiado, aprenderá sobre el proceso que se sigue para planificar soluciones de análisis de datos y sobre los distintos procesos de análisis de datos que intervienen.
Acerca de esta implementaciónVersión1.8.1Lanzamiento10/2023AutorAWSTiempo de implementación estimado5-10 minutosCosto estimadoOpciones de despliegue¿Listo para comenzar?Inicie esta solución en la consola de AWS para implementarla -
Opción 4
-
Plantilla de AWS CloudFormation con Amazon Kinesis Data Streams, Amazon Managed Service para Apache Flink y Amazon API Gateway
Opción 4: plantilla de AWS CloudFormation con Amazon Kinesis Data Streams, Amazon Managed Service para Apache Flink y Amazon API Gateway
Paso 1
Una instancia de Amazon Elastic Compute Cloud (Amazon EC2) que usa Amazon Kinesis Producer Library (KPL) para generar datos.Paso 3
Managed Service para Apache Flink procesa los registros entrantes e invoca de forma asíncrona un punto de conexión externo.Paso 4
La aplicación de demostración invoca una función de AWS Lambda.Paso 5
La API externa puede ser cualquier integración compatible con Amazon API Gateway (por ejemplo, un punto de conexión de Amazon SageMaker).Paso 6
Un panel de Amazon CloudWatch supervisa el estado de la aplicación, el progreso, el uso de recursos, los eventos y los errores.Blog de arquitectura de AWSInferencia instream en tiempo real con AWS Kinesis, SageMaker y Apache FlinkEste artículo describe la arquitectura para lograr la inferencia en tiempo real de los datos de streaming mediante varios servicios de AWS. También trata la integración de Amazon Managed Service para Apache Flink para invocar de forma asíncrona los servicios o bases de datos subyacentes.
FormaciónIntroducción a Amazon Kinesis AnalyticsEste es un curso introductorio de Amazon Kinesis Analytics que lo ayudará a consultar datos transmitidos o construir aplicaciones de transmisión desde cero mediante SQL.
FormaciónAspectos fundamentales sobre el análisis de datosEn este curso autoguiado, aprenderá sobre el proceso que se sigue para planificar soluciones de análisis de datos y sobre los distintos procesos de análisis de datos que intervienen.
Acerca de esta implementaciónVersión1.8.1Lanzamiento10/2023AutorAWSTiempo de implementación estimado5-10 minutosCosto estimadoOpciones de despliegue¿Listo para comenzar?Inicie esta solución en la consola de AWS para implementarla