La solución de datos de streaming para Amazon MSK proporciona plantillas de AWS CloudFormation en las que los datos fluyen entre los productores, el almacenamiento en streaming, los consumidores y los destinos. Para admitir varios casos de uso y necesidades empresariales, esta solución ofrece cuatro plantillas de AWS CloudFormation. De manera similar a la solución de datos de streaming para Amazon Kinesis, las plantillas se configuran con el fin de aplicar las prácticas recomendadas y supervisar la funcionalidad mediante paneles y alarmas, así como para proteger los datos.
Beneficios
Configuración automatizada
Configure de forma automática los servicios de AWS necesarios para capturar, almacenar, procesar y entregar datos de streaming con facilidad.
Cuatro opciones de plantillas
Elija entre las cuatro diferentes opciones de plantillas de AWS CloudFormation. Prueba nuevas combinaciones de servicios para el entorno de producción y mejore las aplicaciones existentes.
Casos de uso en tiempo real
Capture registros de aplicaciones de alto volumen, analice datos de secuencias de clics, entregue de manera continua a un lago de datos y más.
Código fuente personalizable
Personalice el código repetitivo de la solución y, tras ello, utilice las capacidades de supervisión de la solución para pasar rápidamente de la etapa de pruebas a la fase de producción.
Información general sobre la solución de AWS
En el siguiente esquema, se muestran las cuatro plantillas de AWS CloudFormation que puede implementar automáticamente con la guía de implementación de la solución.
Opción 1
Opción 2
Opción 3
Opción 4
Opción 1
Plantilla de AWS CloudFormation utilizando Amazon Managed Streaming for Apache Kafka (Amazon MSK)
Una instancia de Amazon EC2 que contiene las bibliotecas cliente de Apache Kafka necesarias para comunicarse con el clúster de Amazon MSK. Esta máquina cliente está ubicada en la misma VPC que el clúster, y se puede acceder a ella a través de AWS Systems Manager Session Manager.
Arquitectura de la solución de datos de streaming para Amazon MSK
Opción 2: plantilla de AWS CloudFormation con Amazon MSK y AWS Lambda
Esta plantilla de AWS CloudFormation implementa una arquitectura de referencia que incluye lo siguiente:
Una función Lambda que procesa los registros en un tema de Apache Kafka. La función predeterminada es una aplicación Node.js que registra los mensajes recibidos, pero se puede personalizar para satisfacer sus necesidades comerciales.
Copia de seguridad de Amazon MSK para archivar, reproducir o analizar
Este artículo explica los patrones y las soluciones que se pueden utilizar para realizar copias de seguridad de temas de MSK en S3, lo que permite a los clientes reducir la configuración de retención de datos a largo plazo en MSK. Algunos clientes almacenan datos a largo plazo en MSK para cargas de trabajo de análisis de datos y Machine Learning. Compartimos un patrón para simplificar esta arquitectura mediante la descarga de datos de temas en S3 y el uso de S3 para análisis y ML.
La compatibilidad de AWS con Internet Explorer finaliza el 07/31/2022. Los navegadores compatibles son Chrome, Firefox, Edge y Safari.
Más información »
