Aspectos generales

P. ¿Qué es Amazon MSK?
Amazon Managed Streaming for Apache Kafka (Amazon MSK) es un servicio de datos de streaming de AWS que administra la infraestructura y las operaciones de Apache Kafka, lo que facilita a los desarrolladores y administradores de DevOps la ejecución de aplicaciones de Apache Kafka en AWS sin necesidad de convertirse en expertos en el funcionamiento de clústeres de Apache Kafka. Amazon MSK es ideal para ejecutar en AWS aplicaciones nuevas o existentes que usen Apache Kafka. Amazon MSK opera y mantiene clústeres de Apache Kafka, provee características de seguridad de nivel empresarial listas para usar y cuenta con integraciones incorporadas con AWS que agilizan el desarrollo de aplicaciones de datos de streaming. Para comenzar, puede migrar cargas de trabajo de Apache Kafka existentes a Amazon MSK, o bien crear cargas nuevas de cero y en cuestión de minutos con unos pocos clics. No se aplican cargos por transferencia de datos para el tráfico interno de los clústeres y no se requieren confirmaciones ni pagos iniciales. Paga solo por los recursos que consume.
 
P: ¿Qué es Apache Kafka?
Apache Kafka es una plataforma de código abierto, de alto rendimiento, tolerante a errores y escalable para la creación de aplicaciones y canalizaciones de datos de streaming en tiempo real. Apache Kafka es un almacén de datos de streaming que separa las aplicaciones que producen datos de streaming (productores) en su almacén de datos de las aplicaciones que consumen datos de streaming (consumidores) de su almacén de datos. En las organizaciones, se utiliza Apache Kafka como un origen de datos para las aplicaciones con las que se analizan datos de streaming de manera constante y se reacciona a ellos. Obtenga más información acerca de Apache Kafka.
 
P. ¿Qué son los datos de streaming?
Los datos de streaming son una secuencia continua de pequeños registros o eventos (el tamaño de un registro o evento normalmente es de unos pocos kilobytes) generada por miles de máquinas, dispositivos, sitios web y aplicaciones. Los datos de streaming incluyen una amplia variedad de datos, como los archivos de registros generados por los clientes que utilizan sus aplicaciones móviles o web, las compras de comercio electrónico, la actividad de los jugadores en los juegos, la información de las redes sociales, los parqués financieros, los servicios geoespaciales, los registros de seguridad, las métricas y la telemetría de los dispositivos conectados o la instrumentación en los centros de datos. Los servicios de datos de streaming como Amazon MSK y Amazon Kinesis Data Streams facilitan la recopilación, el procesamiento y la entrega continuos de datos de streaming. Obtenga más información acerca de los datos de streaming.
 
P. ¿Cuáles son las principales capacidades de Apache Kafka?
Apache Kafka tiene tres capacidades clave:
 
  • Apache Kafka almacena los datos en streaming de forma tolerante a fallos, lo que proporciona un amortiguador entre productores y consumidores. Almacena los eventos como una serie continua de registros y conserva el orden en que se produjeron los registros. 
  • Apache Kafka permite que muchos productores de datos –por ejemplo, sitios web, dispositivos de Internet de las cosas (IoT), instancias de Amazon Elastic Compute Cloud (Amazon EC2)– publiquen continuamente datos en streaming y los clasifiquen mediante temas de Apache Kafka. Varios consumidores de datos (por ejemplo, aplicaciones de machine learning, funciones de AWS Lambda o microservicios) leen de estos temas a su propio ritmo, de forma similar a una cola de mensajes o un sistema de mensajería empresarial.
  • Los consumidores procesan datos a partir de los temas de Apache Kafka con la estrategia primero en entrar, primero en salir, lo que permite conservar el orden en el que se generaron los datos.
 
P: ¿Cuáles son los conceptos clave de Apache Kafka?
Apache Kafka almacena registros en temas. Los productores de datos escriben registros en temas y los consumidores leen registros a partir de los temas. Cada registro de Apache Kafka consta de una clave, un valor y una marca temporal. Apache Kafka particiona los temas y replica estas particiones en varios nodos denominados agentes. Apache Kafka se ejecuta como un clúster en uno o más agentes, que pueden estar ubicados en varias zonas de disponibilidad de AWS a fin de crear un clúster con alta disponibilidad. Apache Kafka recurre a Apache ZooKeeper para coordinar tareas de clúster y puede mantener el estado de los recursos que interactúan con un clúster de Apache Kafka.
 
P. ¿Cuándo debería usar Apache Kafka?
Apache Kafka se utiliza para respaldar aplicaciones en tiempo real que transforman y entregan datos de streaming, además de reaccionar ante ellos, así como para crear canalizaciones de datos de streaming en tiempo real que obtienen datos de manera fiable a partir de varios sistemas o aplicaciones.
 
P. ¿Qué hace Amazon MSK?
Amazon MSK facilita las tareas de empezar a usar y ejecutar versiones de código abierto de Apache Kafka en AWS con alta disponibilidad y seguridad, al mismo tiempo que provee integración con servicios de AWS sin la sobrecarga operativa que implica ejecutar un clúster de Apache Kafka. Amazon MSK permite usar y configurar versiones de código abierto de Apache Kafka mientras que el servicio se encarga de administrar la configuración, el aprovisionamiento, las integraciones con AWS y el mantenimiento continuo de los clústeres de Apache Kafka.
 
Con unos pocos clics en la consola, puede aprovisionar un clúster de Amazon MSK. A partir de ese momento, Amazon MSK reemplaza agentes que funcionan incorrectamente, replica de forma automática los datos para lograr alta disponibilidad, administra los nodos de Apache ZooKeeper, implementa de manera automática parches de hardware según sea necesario, administra las integraciones con servicios de AWS, torna visibles métricas importantes a través de la consola y admitirá las actualizaciones de versión de Apache Kafka para que pueda aprovechar las mejoras realizadas en la versión de código abierto de Apache Kafka.
 
P: ¿Qué versiones de Apache Kafka admite Amazon MSK?
Para conocer cuáles son las versiones de Kafka compatibles, consulte la documentación de Amazon MSK.
 
P: ¿Las API de Apache Kafka son compatibles con Amazon MSK?
Sí, Amazon MSK admite de manera nativa todas las API de administración y plano de datos.
 
P: ¿Amazon MSK es compatible con el cliente administrativo AdminClient de Apache Kafka?
Sí.
 
P: ¿Amazon MSK admite el registro de esquemas?
 Sí, los clientes de Apache Kafka pueden utilizar AWS Glue Schema Registry, una característica sin servidor de AWS Glue, sin cargo adicional. Consulte la documentación del usuario de Schema Registry a fin de comenzar y obtener más información.

Generación y consumo de datos

P: ¿Puedo usar las API de Apache Kafka para introducir y expulsar datos de Apache Kafka?
Sí, Amazon MSK es compatible con las API de productor y consumidor nativas de Apache Kafka. No es necesario modificar el código de la aplicación cuando los clientes comiencen a trabajar con clústeres dentro de Amazon MSK.
 
P: ¿Puedo usar Apache Kafka Connect, Apache Kafka Streams o cualquier otro componente de ecosistema de Apache Kafka con Amazon MSK?
Sí, puede usar cualquier componente que utilice las API de productor y consumidor de Apache Kafka y el cliente administrativo Admin Client de Apache Kafka. Actualmente, las herramientas que cargan archivos .jar a clústeres de Apache Kafka no son compatibles con Amazon MSK, incluidos Confluent Control Center, Confluent Auto Data Balancer y Uber  uReplicator.

Migración a Amazon MSK

P: ¿Puedo migrar datos ubicados dentro un clúster de Apache Kafka a Amazon MSK?
Sí, puede usar herramientas de terceros o de código abierto como MirrorMaker que incluyen Apache Kafka de código abierto para replicar datos de clústeres a un clúster de Amazon MSK. Este es un laboratorio de migración de Amazon MSK para ayudarle a completar una migración.

Actualizaciones de versiones

P: ¿Admite las actualizaciones de versiones de Apache Kafka? 
Sí, Amazon MSK admite actualizaciones de versiones de Apache Kafka completamente administradas. Para obtener más información sobre cómo actualizar su versión de Apache Kafka y las mejores prácticas de alta disponibilidad, consulte la documentación de actualizaciones de versión.

Clústeres

P: ¿Cómo creo el primer clúster de Amazon MSK?
Puede crear el primer clúster con unos pocos clics en la consola de administración de AWS o con los SDK de AWS. En primer lugar, en la consola de Amazon MSK seleccione la región de AWS en la que desee crear el clúster de Amazon MSK. Elija un nombre para el clúster, la VPC con la cual desee ejecutar el clúster, una estrategia de replicación de datos para el clúster y las subredes para cada zona de disponibilidad. A continuación, elija un tipo de instancia de agente y la cantidad de agentes por zona y haga clic en Crear (Create).

P: ¿Qué recursos hay dentro de un clúster?
Cada clúster incluye instancias de agente, almacenamiento aprovisionado y nodos de Apache ZooKeeper.

P: ¿Qué tipos de instancias de agente puedo aprovisionar dentro de un clúster de Amazon MSK?
Puede elegir instancias T3.small de EC2 o bien instancias de la familia M5 de EC2.
 
P: ¿Amazon MSK ofrece precios para instancias reservadas?
Actualmente no.

P: ¿Debo aprovisionar y pagar por los volúmenes de arranque de agentes?
No, cada agente que aprovisione incluirá almacenamiento para volúmenes de arranque que administra el servicio Amazon MSK.

P: Cuando creo un clúster de Apache Kafka, ¿los recursos subyacentes (por ej. instancias de Amazon EC2) se muestran en mi consola de EC2?
Algunos recursos, como las interfaces de red elásticas (ENI), se mostrarán en su cuenta de Amazon EC2. Otros recursos de Amazon MSK no se mostrarán en su cuenta de EC2 porque están administrados por el servicio Amazon MSK.

P: ¿Qué debo aprovisionar dentro de un clúster de Amazon MSK?
Debe aprovisionar instancias de agente y almacenamiento de agente en todos los clústeres que cree. No debe aprovisionar nodos de Apache ZooKeeper porque estos recursos están incluidos sin cargo adicional en cada clúster que cree.

P: ¿Cuál es la configuración de agente predeterminada para un clúster?
A menos que se especifique lo contrario, Amazon MSK usa los mismos valores predeterminados especificados por la versión de código abierto de Apache Kafka. La configuración predeterminada está documentada aquí. 
P. ¿Puedo aprovisionar agentes de manera desigual en las diferentes zonas de disponibilidad (por ej., 3 en EE.UU. Este-1a, 2 en EE.UU. Este-1b y 1 en EE.UU. Este-1c)?
No, Amazon MSK impone la práctica recomendada de equilibrar la cantidad de agentes en zonas de disponibilidad dentro de un clúster.

P: ¿Cómo funciona la replicación de datos en Amazon MSK?
Amazon MSK usa la replicación líder-seguidor de Apache Kafka para replicar datos entre agentes. Amazon MSK facilita la implementación de clústeres con replicación en zonas de disponibilidad múltiples y ofrece la opción de usar una estrategia de replicación personalizada por tema. De manera predeterminada con cada opción de replicación, los agentes líderes y seguidores se implementarán y aislarán con la estrategia de replicación especificada. Por ejemplo, si selecciona una estrategia de replicación de agente en tres zonas de disponibilidad con un agente por clúster de zona, Amazon MSK creará un clúster de tres agentes (un agente en tres zonas de una región) y, de forma predeterminada (a menos que decida anular el factor de replicación de tema), el factor de replicación de tema también será tres.

P. ¿Puedo cambiar las configuraciones de agente predeterminadas o cargar una configuración de clúster en Amazon MSK?
Sí, Amazon MSK permite crear configuraciones personalizadas y aplicarlas a los clústeres nuevos o a los ya existentes. Para obtener más información sobre las configuraciones personalizadas, consulte la documentación de configuración.

P. ¿Qué propiedades de configuración se pueden personalizar?
Las propiedades de configuración que se pueden personalizar están documentadas aquí.

P. ¿Cuál es la configuración predeterminada de un tema nuevo?
Amazon MSK usa la configuración predeterminada de Apache Kafka a menos que se especifique lo contrario aquí.

Temas

P: ¿Cómo se crean los temas?
Una vez que se haya creado el clúster de Apache Kafka, podrá crear temas con las API de Apache Kafka. Todas las configuraciones y acciones a nivel de particiones y temas se realizan con las API de Apache Kafka. A continuación se muestra un ejemplo de comando para crear un tema mediante las API de Apache Kafka:
 
bin/kafka-topics.sh --create —bootstrap-server ConnectionString:9092 --replication-factor 3 --partitions 1 --topic TopicName  

Redes

P: ¿Amazon MSK se ejecuta en una VPC de Amazon?
Sí, Amazon MSK siempre se ejecuta en una VPC de Amazon cuya administración está a cargo del servicio Amazon MSK. Los recursos de Amazon MSK se encontrarán disponibles para la VPC de Amazon, la subred y el grupo de seguridad que seleccione al momento de configurar el clúster. Las direcciones IP de su VPC se adjuntan a sus recursos de Amazon MSK a través de interfaces de red elásticas (ENI) y todo el tráfico de red permanece dentro de la red de AWS. No es posible obtener acceso a él mediante Internet.
 
P: ¿La conexión entre mis clientes y un clúster de Amazon MSK siempre será privada?
Sí, la única manera de generar y consumir datos a partir de un clúster de Amazon MSK es a través de una conexión privada entre sus clientes en una VPC y el clúster de Amazon MSK. Amazon MSK no admite puntos de enlace públicos.

P: ¿De qué manera los clientes podrán obtener acceso a los agentes de un clúster de Amazon MSK desde el interior de una VPC?
Los clientes en su VPC podrán obtener acceso a los agentes de un clúster mediante interfaces de red elásticas (ENI) que aparecerán en su cuenta. Los grupos de seguridad de las ENI determinarán el origen y el tipo de tráfico de ingreso y egreso permitido en los agentes.

P: ¿De qué manera puedo otorgar acceso a un clúster a los clientes que se ejecutan en diferentes cuentas de AWS?
Puede usar la interconexión de VPC para otorgar a los clientes que se ejecutan en diferentes cuentas de AWS acceso a un clúster.

Conexión con la VPC

P. ¿Cómo puedo conectar con mi clúster de AWS MSK fuera de la VPC?

Existen varios métodos para conectar con los clústeres de AWS MSK fuera de la VPC.

Cifrado

P: ¿Puedo cifrar datos en un clúster de Amazon MSK?
Sí, Amazon MSK usa cifrado del servidor de Amazon EBS y claves de AWS KMS para cifrar volúmenes de almacenamiento.

P. ¿Los datos se cifran en tránsito entre agentes dentro de un clúster de Amazon MSK?
Sí, de forma predeterminada, los clústeres nuevos tienen habilitado el cifrado en tránsito a través de TLS para la comunicación entre agentes. Es posible deshabilitar el cifrado en tránsito cuando se crea un clúster.

P: ¿Los datos se cifran en tránsito entre los clientes de Apache Kafka y el servicio Amazon MSK?
Sí, de forma predeterminada, el cifrado en tránsito está configurado en TLS únicamente para los clústeres creados con la CLI o la consola de AWS. Se requiere configuración adicional para que los clientes logren comunicarse con los clústeres que usan el cifrado TLS. Puede cambiar la configuración de cifrado predeterminada seleccionando los ajustes de texto no cifrado o TLS/texto no cifrado. Más información: sobre el cifrado de MSK

P: ¿Los datos se cifran en tránsito mientras se trasladan entre agentes y nodos de Apache ZooKeeper en un clúster de Amazon MSK?
Sí, los clústeres de Amazon MSK que ejecutan Apache Kafka versión 2.5.1 o posterior admiten cifrado en tránsito TLS entre agentes Kafka y nodos ZooKeeper.
 
P: ¿Puedo actualizar la configuración del cifrado de mi clúster?
Puede cambiar la configuración del cifrado cliente a agente de los clústeres de la consola o mediante la API de actualización de seguridad. Tenga en cuenta que la configuración de cifrado de agente a agente de los clústeres existentes no se puede cambiar. 

Administración de acceso

P: ¿Cómo puedo controlar la autenticación del clúster y la autorización de la API de Apache Kafka?
Amazon MSK ofrece tres opciones para controlar la autenticación (AuthN) y la autorización (AuthZ). 1) IAM Access Control para AuthN/Z (recomendado), 2) autenticación de certificados TLS (CA) para AuthN y listas de control de acceso para AuthZ, y 3) SASL/SCRAM para AuthN y listas de control de acceso para AuthZ. Amazon MSK recomienda utilizar IAM Access Control. Es la opción más fácil de utilizar y, dado que por defecto tiene el acceso con menos privilegios, es la más segura.

P. ¿Cómo funciona la autorización en Amazon MSK?
Si utiliza IAM Access Control, Amazon MSK utiliza las políticas que usted escribe y su propio autorizador para autorizar acciones. Si utiliza la autenticación de certificados TLS o SASL/SCRAM, Apache Kafka utiliza listas de control de acceso (ACL) para la autorización. Para habilitar las ACL, debe habilitar la autenticación del cliente mediante certificados TLS o SASL/SCRAM.

P. ¿Cómo puedo autenticar y autorizar un cliente al mismo tiempo?
Si utiliza el control de acceso IAM, Amazon MSK autenticará y autorizará en su nombre sin necesidad de ninguna configuración adicional. Si utiliza la autenticación TLS, puede usar el nombre D de los certificados TLS de los clientes como principal de la ACL para autorizar las solicitudes de los clientes. Si utiliza SASL/SCRAM, puede utilizar el nombre de usuario como principal de la ACL para autorizar las solicitudes de los clientes.

P: ¿Cómo puedo controlar las acciones de la API de servicio?
Puede controlar las acciones de la API de servicio mediante AWS IAM.

P: ¿Puedo habilitar el control de acceso de IAM para un clúster existente?
No, sin embargo, una característica que le permitiría actualizar su configuración de autenticación llegará pronto.

P: ¿Puedo utilizar el control de acceso de IAM fuera de Amazon MSK?
No, el control de acceso de IAM solo está disponible para los clústeres de Amazon MSK.

P: ¿Puedo actualizar la configuración de autenticación de mi clúster?
Puede habilitar o desactivar los modos de autenticación para los clústeres desde la consola o mediante la API de actualización de seguridad. Al utilizar la API, los modos de autenticación que se declaren explícitamente se modificarán como corresponda, mientras que los que se omitan se conservarán como estén. Por ejemplo, si el clúster utiliza mTLS para la autenticación y usted habilita el control de acceso de IAM mediante una llamada a la API de actualización de seguridad, tanto mTLS y el control de acceso de IAM se habilitarán en el clúster.

P: ¿Puedo habilitar varios modos de autenticación del clúster?
Sí, puede agregar varios modos de autenticación al clúster, durante la creación y las actualizaciones. Los agentes en el clúster han dedicado puertos para cada modo de autenticación. Los clientes que se conectan a Kafka mediante estos puertos deben tener habilitado el modo de autenticación correspondiente.

P: ¿Puedo desactivar un modo de autenticación de mi clúster?
Sí, puede desactivar un modo de autenticación. Para garantizar que sus clientes no pierdan la conectividad con los agentes, no desactive ningún modo de autenticación existente hasta que todos los clientes se hayan actualizado para utilizar otros modos de autenticación disponibles.

P: ¿Puedo hacer un seguimiento de los clientes que utilizan un modo de autenticación con mi clúster?
Sí, puede hacer un seguimiento del número de conexiones abiertas por modo de autenticación mediante la métrica ClientConnectionCount publicada en el espacio de nombres de AWS o Kafka en las métricas de Amazon CloudWatch.

Monitoreo, métricas, registro y etiquetado

P: ¿Cómo puedo monitorizar el rendimiento de los clústeres o temas?
Para monitorizar el rendimiento de los clústeres, puede usar las consolas de Amazon MSK o Amazon CloudWatch, o bien obtener acceso a métricas de host y JMX mediante el uso de Open Monitoring de Prometheus, una solución de monitorización de código abierto.
 
P: ¿Cuál es el costo de los diferentes niveles de monitorización de CloudWatch?
El costo de la monitorización de clústeres con Amazon CloudWatch depende del nivel de monitorización y del tamaño del clúster de Apache Kafka. Amazon CloudWatch se cobra por métrica al mes e incluye una capa gratuita. Para más información, consulte los precios de Amazon CloudWatch. Para obtener información sobre el número de métricas expresado para cada nivel de monitorización, consulte la documentación acerca de la monitorización de Amazon MSK.
 
P: ¿Qué herramientas de monitorización son compatibles con Open Monitoring de Prometheus?
Las herramientas que están diseñadas para realizar lecturas a partir de exportadores de Prometheus son compatibles con Open Monitoring, como: Datadog, Lenses, New Relic, Sumologic o un servidor de Prometheus. Si desea obtener más información sobre Open Monitoring, consulte la documentación sobre Open Monitoring de Amazon MSK.
 
P: ¿Cómo puedo monitorizar el estado y el rendimiento de los clientes?
Puede usar cualquier monitorización del lado del cliente compatible con la versión de Apache Kafka que esté usando.
 
P. ¿Puedo etiquetar los recursos de Amazon MSK?
Sí, es posible etiquetar los clústeres de Amazon MSK mediante la CLI o la consola de AWS.
 
P: ¿Cómo monitorizo el retraso del consumidor?
Las métricas de retraso del consumidor a nivel del tema se encuentran disponibles como parte del conjunto de métricas predeterminadas que Amazon MSK publica en Amazon CloudWatch para todos los clústeres. No es necesario realizar configuraciones adicionales para obtener estas métricas. Para obtener métricas a nivel de la partición (dimensión de partición), puede habilitar la monitorización mejorada (PER-PARTITION-PER-TOPIC) en su clúster. De manera alternativa, puede habilitar el monitorización abierta en el clúster y usar un servidor Prometheus, a fin de capturar métricas de nivel de partición de los agentes en el clúster. Las métricas de retraso del consumidor están disponibles en el puerto 11001, como otra métrica Kafka.
 
P: ¿Cuánto cuesta publicar las métricas de retraso del consumidor en Amazon CloudWatch?
Las métricas a nivel del tema se incluyen en el conjunto predeterminado de métricas de Amazon MSK, las cuales son gratuitas. Las métricas a nivel de la partición se cobran de acuerdo con los precios de Amazon CloudWatch.
 
P: ¿Cómo accedo a los registros del agente de Apache Kafka?
Puede habilitar la entrega del registro del agente para clústeres nuevos y existentes de Amazon MSK. Puede entregar los registros del agente a Amazon CloudWatch Logs, Amazon S3 y Kinesis Data Firehose. Kinesis Data Firehose admite Amazon Elasticsearch Service entre otros destinos. Para aprender cómo habilitar esta característica, visite la documentación de registro de Amazon MSK. A fin de conocer sobre los precios, diríjase a las páginas de precios de CloudWatch Logs y Kinesis Data Firehose.
 
P: ¿Cuál es el nivel de registro para los registros de los agentes?
Amazon MSK ofrece registros de nivel INFO para todos los agentes dentro del clúster.
 
P: ¿Cómo accedo a los registros de Apache Zookeeper?
Puede solicitar los registros de Apache Zookeeper mediante un ticket de admisión.
 
P: ¿Puedo registrar el uso de las API de recursos de Apache Kafka, como la creación de temas?
Sí, si utiliza IAM Access Control, el uso de las API de recursos de Apache Kafka se registra en AWS CloudTrail. 

Apache Kafka Connect

P: ¿Qué es Apache Kafka Connect?

Kafka Connect, un componente de código abierto de Apache Kafka, es un marco para conectar Apache Kafka con sistemas externos como bases de datos, almacenes de valores de clave, índices de búsqueda y sistemas de archivos. 

P: ¿Dónde puedo encontrar los conectores?

MSK Connect ejecuta cualquier conector que implemente las interfaces de Kafka Connect. Hay muchas fuentes de conectores, incluidos nuestros socios, proyectos de código abierto como Debezium y proveedores de conectores comerciales como Confluent y lenses.io.

P: ¿Puedo utilizar MSK Connect para mover datos entre diferentes clústeres de Apache Kafka?

Sí, puede utilizar conectores que lean y escriban en Kafka. La popular herramienta de replicación de Apache Kafka, MirrorMaker 2, utiliza Kafka Connect para replicar datos entre temas en diferentes clústeres de Apache Kafka. Esto proporciona una vía fácil para sincronizar o migrar datos entre clústeres de Kafka.

P: ¿MSK Connect es compatible con clústeres de Apache Kafka que no sean MSK?

MSK Connect funciona con clústeres de Amazon MSK, otros clústeres de Apache Kafka y compatibles, incluidos los clústeres autoadministrados en EC2 o en entornos que no sean de AWS, sujetos a la conectividad de Amazon VPC. 

Apache ZooKeeper

P: ¿Qué es Apache ZooKeeper?
De https://zookeeper.apache.org/: "Apache ZooKeeper es un servicio centralizado para tareas de mantenimiento de información de configuración, asignación de nombres, aprovisionamiento de sincronización distribuida y suministro de servicios grupales. Las aplicaciones distribuidas utilizan de alguna u otra forma todos estos tipos de servicios", incluido Apache Kafka.

>P: ¿Amazon MSK usa Apache ZooKeeper?
Sí, Amazon MSK usa Apache ZooKeeper y administra Apache ZooKeeper dentro de cada clúster como parte del servicio Amazon MSK. Los nodos de Apache ZooKeeper están incluidos en cada clúster sin costo adicional.
 
P: ¿De qué manera los clientes interactúan con Apache ZooKeeper?
Los clientes pueden interactuar con Apache ZooKeeper mediante un punto de enlace de Apache ZooKeeper proporcionado por el servicio. El punto de enlace se provee en la consola de administración de AWS o mediante el uso de la API DescribeCluster.

Integraciones

P: ¿A qué servicios de AWS se integra Amazon MSK?
Amazon MSK se integra a:

Escalado

P. ¿Cómo puedo aumentar el almacenamiento en mi clúster?
Puede aumentar el almacenamiento del clúster mediante la consola de administración de AWS o la interfaz de línea de comandos (CLI) de AWS.
 
P: ¿Cómo puedo expandir automáticamente el almacenamiento de mi clúster?
Puede crear una política de auto scaling para almacenamiento utilizando la consola de administración de AWS o creando una política de Auto Scaling para la aplicación de AWS mediante AWS CLI o API.

P: ¿Puedo escalar el número de agentes en un clúster existente?
Sí. Puede escalar o aumentar la cantidad de agentes para los clústeres de Amazon MSK existentes.
 
P: ¿Puedo escalar el tamaño de los agentes en un clúster existente?
Sí. Puede elegir escalar a un tipo de agente de mayor o menor tamaño en sus clústeres de Amazon MSK.
 
P: ¿Cómo equilibro las particiones entre agentes?
Se puede utilizar Cruise Control para reequilibrar automáticamente las particiones para gestionar el calor de E/S. Consulte la documentación de Cruise Control para obtener más información. De manera alternativa, puede utilizar la API de administrador de Kafka kafka-reassign-partitions.sh para reasignar particiones entre agentes.

Precios y disponibilidad

P: ¿Cuál es el esquema de precios de Amazon MSK?
Los precios se basan en la hora por agente y por GB al mes de almacenamiento aprovisionado. Las tarifas de transferencia de datos de AWS se aplican para las transferencias de entrada y salida de Amazon MSK. Para obtener más información, vaya a la página de precios.

P: ¿Debo pagar transferencia de datos como resultado de la replicación de datos?
No, todas las transferencias de datos internas del clúster están incluidas en el servicio sin cargo adicional.
 
P: ¿En qué regiones de AWS está disponible Amazon MSK?
La disponibilidad por región de Amazon MSK está documentada aquí. 

P: ¿Cuál es el esquema de precios de las transferencias de datos?
Pagará los cargos de transferencia de datos de AWS estándar para los datos transferidos desde y hacia un clúster de Amazon MSK. No se cobrarán las transferencias de datos dentro del clúster en una región, incluidos los datos transferidos entre agentes y los que se transfieren entre agentes y nodos de Apache ZooKeeper.

Conformidad

P: ¿Qué programas de conformidad están en el ámbito para Amazon MSK?
Amazon MSK es conforme o cumple con los requisitos para los siguientes programas:
  • Cumplimiento de requisitos de HIPAA
  • PCI
  • ISO
  • SOC 1, 2 Y 3

Para obtener una lista completa de los servicios y los programas de conformidad de AWS, consulte los Servicios de AWS en el ámbito del programa de conformidad.

Acuerdo de nivel de servicios

P. ¿Qué garantiza el acuerdo de nivel de servicios (SLA) de Amazon MSK?
El acuerdo de nivel de servicios de Amazon MSK garantiza un porcentaje de tiempo de funcionamiento mensual mínimo del 99,9 % para Amazon MSK.
 
P. ¿Cómo sé si reúno los requisitos para recibir un crédito de servicio de SLA?
Tendrá derecho a un crédito de SLA para Amazon MSK de acuerdo con el SLA de Amazon MSK si las implementaciones Multi-AZ en Amazon MSK tienen un porcentaje de tiempo de funcionamiento mensual inferior al 99,9 % durante cualquier ciclo de facturación mensual.
 
Para obtener información completa sobre los términos y las condiciones del SLA, así como detalles sobre cómo enviar una reclamación, consulte la página de detalles del SLA de Amazon MSK.

Introducción a Amazon MSK

Calcule sus costos
Calcule sus costos

Vaya a la página de precios de Amazon MSK.

Consulte la guía de introducción
Consulte la guía de introducción

Aprenda cómo configurar el clúster de Apache Kafka en Amazon MSK en esta guía paso a paso.

Ejecute su clúster de Apache Kafka
Ejecute su clúster de Apache Kafka

Comience a ejecutar su clúster de Apache Kafka en Amazon MSK. Inicie sesión en la consola de Amazon MSK.