Amazon Managed Streaming for Kafka (MSK)

(versión preliminar pública)

Servicio para Apache Kafka completamente administrado, de alta disponibilidad y seguro

Amazon Managed Streaming for Kafka (Amazon MSK) es un servicio completamente administrado con el que se le facilita la tarea de crear y ejecutar aplicaciones que utilizan Apache Kafka para procesar datos de streaming. Apache Kafka es una plataforma de código abierto para crear aplicaciones y canalizaciones de datos de streaming en tiempo real. Con Amazon MSK, puede utilizar API de Apache Kafka para llenar lagos de datos, realizar cambios mediante streaming en bases de datos o desde ellas, y potenciar las aplicaciones de aprendizaje automático y análisis.

Configurar, escalar y administrar clústeres de Apache Kafka durante la producción es una tarea desafiante. Cuando ejecuta Apache Kafka por su cuenta, tiene que aprovisionar los servidores, configurar Apache Kafka de forma manual, reemplazar los servidores cuando presentan errores, organizar la aplicación de parches y las actualizaciones del servidor, diseñar el clúster para que tenga alta disponibilidad, asegurar que los datos se almacenen de forma duradera y segura, configurar la monitorización y las alarmas, y planificar cuidadosamente eventos de escalado a fin de admitir los cambios de carga. Mediante Amazon Managed Streaming for Kafka, se facilita la creación y ejecución de aplicaciones de producción en Apache Kafka sin que sea necesario contar con experiencia en administración de la infraestructura de dicha plataforma. Esto significa que invierte menos tiempo en administrar la infraestructura y más en la creación de aplicaciones.

Con unos clics en la consola de Amazon MSK, puede crear clústeres de Apache Kafka de alta disponibilidad con ajustes y configuraciones basados en las prácticas recomendadas de implementación de Apache Kafka. En Amazon MSK, se aprovisionan y ejecutan automáticamente sus clústeres de Apache Kafka. Mediante Amazon MSK, se monitoriza continuamente el estado de los clústeres y se reemplazan de forma automática los nodos en mal estado sin que su aplicación tenga tiempo de inactividad. Además, con Amazon MSK se aporta seguridad a su clúster de Apache Kafka mediante el cifrado de datos en reposo.

Beneficios

Totalmente compatible

Amazon MSK se ocupa de ejecutar y administrar Apache Kafka por usted. Esto facilitan la migración y ejecución de sus aplicaciones Apache Kafka existentes en AWS sin tener que realizar cambios al código de la aplicación. Cuando utiliza Amazon MSK, mantiene la compatibilidad de código abierto y puede seguir utilizando herramientas conocidas, personalizadas y creadas por la comunidad, como MirrorMaker, en la que se proporciona replicación de secuencias.

Completamente administrado

Con Amazon MSK, puede enfocarse en la creación de aplicaciones de streaming sin tener que preocuparse por el gasto operativo de administrar su entorno de Apache Kafka. En Amazon MSK, se administran el aprovisionamiento, la configuración y el mantenimiento de los clústeres de Apache Kafka y los nodos Apache Zookeeper. Mediante Amazon MSK, también se pueden ver las métricas de rendimiento clave de Apache Kafka en la consola de AWS.

Alta disponibilidad

Con Amazon MSK, se crea un clúster de Apache Kafka y se ofrece replicación multi-AZ dentro de una región de AWS. Amazon MSK monitoriza continuamente el estado del clúster y, si hay un error en un componente, lo reemplaza de manera automática.

Alto nivel de seguridad

En Amazon MSK se proporcionan diversos niveles de seguridad para sus clústeres de Apache Kafka, incluido el aislamiento de red, mediante Amazon VPC, AWS IAM para la autorización de API en el plano de control y cifrado en reposo. El soporte de cifrado de Amazon MSK está integrado con AWS Key Management Service (KMS).

Funcionamiento

Apache Kafka es un almacén de datos de streaming en el que se separan las aplicaciones que producen datos de streaming (productores) en su almacén de datos de las aplicaciones que los consumen (consumidores) de su almacén de datos. En las organizaciones, se utiliza Apache Kafka como un origen de datos para las aplicaciones con las que se analizan datos de streaming de manera constante y se reacciona a ellos.

Con unos clics en la consola de Amazon MSK, Amazon MSK aprovisiona su clúster de Apache Kafka y administra las actualizaciones de Apache Kafka para que utilice siempre la versión más segura y rápida de esa herramienta. Una vez que configura los clústeres, sus aplicaciones pueden transmitir datos de los productores a un tema, en el cual los consumidores leen los datos en tiempo real.

product-page-diagram_Grand-Canyon-How-It-Works2

Introducción a Amazon MSK

Product-Page_Standard-Icons_02_Sign-Up_SqInk
Realice la configuración para un clúster de Amazon MSK

Regístrese en AWS y descargue bibliotecas y herramientas.

Product-Page_Standard-Icons_01_Product-Features_SqInk
Consulte la guía de introducción

Aprenda cómo configurar el clúster de Apache Kafka en Amazon MSK en esta guía paso a paso.

Product-Page_Standard-Icons_03_Start-Building_SqInk
Ejecute su clúster de Apache Kafka

Comience a ejecutar su clúster de Apache Kafka en Amazon MSK. Inicie sesión en la consola de Amazon MSK.