¿Para qué sirve esta implementación de soluciones de AWS?
La solución de datos de streaming de AWS para Amazon MSK proporciona plantillas de AWS CloudFormation en las que los datos fluyen entre los productores, el almacenamiento en streaming, los consumidores y los destinos. Para admitir varios casos de uso y necesidades empresariales, esta solución ofrece cuatro plantillas de AWS CloudFormation. De manera similar a la solución de datos de streaming de AWS para Amazon Kinesis, las plantillas se configuran para aplicar las prácticas recomendadas a fin de monitorear la funcionalidad mediante paneles y alarmas, así como para proteger los datos.
Beneficios
Configuración automatizada
Configure de forma automática los servicios de AWS necesarios para capturar, almacenar, procesar y entregar datos de streaming con facilidad.
Cuatro opciones de plantillas
Elija entre las cuatro diferentes opciones de plantillas de AWS CloudFormation. Prueba nuevas combinaciones de servicios para el entorno de producción y mejore las aplicaciones existentes.
Casos de uso en tiempo real
Capture registros de aplicaciones de alto volumen, analice datos de secuencias de clics, entregue de manera continua a un lago de datos y más.
Código fuente personalizable
Personalice el código repetitivo de la solución y, tras ello, utilice las capacidades de monitoreo de la solución para pasar rápidamente de la etapa de pruebas a la fase de producción.
Información general sobre la implementación de soluciones de AWS
En el siguiente esquema, se muestran las cuatro plantillas de AWS CloudFormation que puede implementar automáticamente con la guía de implementación de la solución.
Opción 1
Opción 2
Opción 3
Opción 4
Opción 1
Plantilla de AWS CloudFormation utilizando Amazon Managed Streaming for Apache Kafka (Amazon MSK)
Una instancia Amazon EC2 que contiene las bibliotecas cliente de Apache Kafka necesarias para comunicarse con el clúster de MSK. Esta máquina cliente está ubicada en la misma VPC que el clúster, y se puede acceder a ella a través de AWS Systems Manager Session Manager.
Solución de datos de streaming de AWS para la arquitectura de la solución Amazon MSK
Opción 2 – Plantilla de AWS CloudFormation utilizando Amazon MSK y AWS Lambda
Esta plantilla de AWS CloudFormation implementa una arquitectura de referencia que incluye una función de Lambda que procesa los registros en un tema de Apache Kafka. La función predeterminada es una aplicación Node.js que registra los mensajes recibidos, pero puede personalizarse según las necesidades de su empresa.
Copia de seguridad de Amazon MSK para archivar, reproducir o analizar
Este artículo explica los patrones y las soluciones que se pueden utilizar para realizar copias de seguridad de temas de MSK en S3, lo que permite a los clientes reducir la configuración de retención de datos a largo plazo en MSK. Algunos clientes almacenan datos a largo plazo en MSK para cargas de trabajo de análisis de datos y Machine Learning. Compartimos un patrón para simplificar esta arquitectura mediante la descarga de datos de temas en S3 y el uso de S3 para análisis y ML.
