Amazon Managed Streaming for Apache Kafka (Amazon MSK)

Servicio para Apache Kafka completamente administrado, de alta disponibilidad y seguro

Amazon MSK es un servicio completamente administrado que facilita la tarea de crear y ejecutar aplicaciones que utilizan Apache Kafka para procesar datos de streaming. Apache Kafka es una plataforma de código abierto para crear aplicaciones y canalizaciones de datos de streaming con funcionamiento en tiempo real. Con Amazon MSK, puede utilizar las API nativas de Apache Kafka para llenar lagos de datos, realizar cambios mediante streaming en bases de datos o desde ellas, y potenciar las aplicaciones de aprendizaje automático y análisis.

Configurar y administrar clústeres de Apache Kafka y ajustar su escala durante las tareas de producción es una tarea desafiante. Cuando ejecute Apache Kafka por su cuenta, tendrá que aprovisionar los servidores, configurar Apache Kafka de forma manual, reemplazar los servidores cuando presenten errores, organizar la aplicación de parches y las actualizaciones del servidor, diseñar el clúster para que tenga alta disponibilidad, garantizar que los datos se almacenen de forma duradera y segura, configurar la monitorización y las alarmas, y planificar cuidadosamente eventos de escalado a fin de admitir los cambios de carga. Amazon MSK facilita la creación y ejecución de aplicaciones de producción en Apache Kafka sin que sea necesario contar con experiencia en administración de la infraestructura de dicha plataforma. Esto significa que se invierte menos tiempo en administrar la infraestructura y más en la creación de aplicaciones.

Con unos clics en la consola de Amazon MSK, puede crear clústeres de Apache Kafka de alta disponibilidad con ajustes y configuraciones basados en las prácticas recomendadas de implementación de Apache Kafka. En Amazon MSK, se aprovisionan y ejecutan automáticamente sus clústeres de Apache Kafka. Mediante Amazon MSK, se monitoriza continuamente el estado de los clústeres y se reemplazan de forma automática los nodos en mal estado sin que su aplicación tenga tiempo de inactividad. Además, con Amazon MSK se aporta seguridad a su clúster de Apache Kafka mediante el cifrado de datos en reposo.

Beneficios

Totalmente compatible

Amazon MSK ejecuta y administra Apache Kafka por usted. Esto facilita la migración y ejecución de sus aplicaciones Apache Kafka existentes en AWS sin tener que realizar cambios en el código de la aplicación. Cuando se utiliza Amazon MSK, se mantiene la compatibilidad con el código abierto y se pueden seguir utilizando herramientas conocidas, personalizadas y creadas por la comunidad, como MirrorMaker, Apache Flink y Prometheus.

Completamente administrado

Con Amazon MSK, puede centrarse en la creación de aplicaciones de streaming sin tener que preocuparse por el gasto operativo de administrar su entorno de Apache Kafka. En Amazon MSK, se administran el aprovisionamiento, la configuración y el mantenimiento de los clústeres de Apache Kafka y los nodos Apache ZooKeeper. Mediante Amazon MSK, también se pueden ver las métricas de rendimiento clave de Apache Kafka en la consola de AWS.

Procesamiento elástico de transmisiones

Apache Flink es un eficiente marco de procesamiento de transmisiones de código abierto para cálculos con estado de datos de streaming. Puede ejecutar aplicaciones de Apache Flink completamente administradas escritas en SQL, Java o Scala que ajusten su escala de manera elástica para procesar transmisiones de datos en Amazon MSK.

Alta disponibilidad

Amazon MSK crea un clúster de Apache Kafka y ofrece replicación Multi-AZ dentro de una región de AWS. Amazon MSK monitoriza continuamente el estado del clúster y, si hay un error en un componente, lo reemplaza de manera automática.

Alto nivel de seguridad

Amazon MSK proporciona varios niveles de seguridad para sus clústeres de Apache Kafka, entre los que se cuentan aislamiento de redes VPC, AWS IAM para la autorización de API en el plano de control, cifrado en reposo, cifrado TLS en tránsito, autenticación mediante certificados basada en TLS. Además, admite la autorización de plano de datos con las listas de control de acceso (ACL) de Apache Kafka.

Casos prácticos de clientes

Nutmeg
Poshmark
Vonage
Secureworks
Compass
ZipRecruiter
Ver casos prácticos de clientes »

Funcionamiento

Apache Kafka es un almacén de datos de streaming en el que se separan las aplicaciones que producen datos de streaming (productores) en su almacén de datos de las aplicaciones que los consumen (consumidores) de su almacén de datos. En las organizaciones, se utiliza Apache Kafka como un origen de datos para las aplicaciones con las que se analizan datos de streaming de manera constante y se reacciona a ellos.

Con unos clics en la consola de Amazon MSK, el servicio aprovisiona su clúster de Apache Kafka y, dado que es compatible con las actualizaciones de versiones, siempre puede usar la última versión de Apache Kafka que admita Amazon MSK. Después de configurar los clústeres, sus aplicaciones pueden transmitir datos de los productores a un tema, en el cual los consumidores leen los datos en tiempo real.

Diagrama del funcionamiento de Amazon MSK

Descargue las diapositivas del seminario web para obtener más información acerca de Amazon MSK. 

Introducción a Amazon MSK

Realice la configuración para un clúster de Amazon MSK
Realice la configuración para un clúster de Amazon MSK

Regístrese en AWS y descargue bibliotecas y herramientas.

Consulte la guía de introducción
Consulte la guía de introducción

Aprenda cómo configurar el clúster de Apache Kafka en Amazon MSK en esta guía paso a paso.

Ejecute su clúster de Apache Kafka
Ejecute su clúster de Apache Kafka

Comience a ejecutar su clúster de Apache Kafka en Amazon MSK. Inicie sesión en la consola de Amazon MSK.