Aspectos generales

P: ¿Qué es Amazon Kinesis Data Analytics?
Amazon Kinesis Data Analytics ofrece la manera más sencilla de transformar y analizar datos de streaming en tiempo real con Apache Flink. Apache Flink es un marco de código abierto y un motor para procesar secuencias de datos. Kinesis Data Analytics reduce la complejidad de desarrollar, administrar e integrar las aplicaciones de Apache Flink con otros servicios de AWS.
 
Kinesis Data Analytics se ocupa de todo lo necesario para ejecutar sus aplicaciones de streaming de forma continua y ajusta la escala automáticamente para adaptarse al volumen y rendimiento de los datos de entrada. Con Kinesis Data Analytics, no hay servidores que administrar, no hay tarifas mínimas ni costos de instalación y solo paga por los recursos que consumen sus aplicaciones de streaming.
 
P: ¿Qué es el procesamiento de streaming en tiempo real y por qué lo necesito?
Las empresas consumen datos más rápido que nunca por un crecimiento explosivo de origen de datos en tiempo real. Ya sea que gestione datos de los registros procedentes de aplicaciones móviles y web, datos de compra de plataformas de comercio electrónico o datos de sensores de dispositivos IoT, consumir datos en tiempo real le permite aprender lo que sus clientes, organizaciones y negocios están haciendo ahora mismo.
 
P: ¿Qué puedo hacer con Kinesis Data Analytics?
Puede utilizar Kinesis Data Analytics para muchos casos de uso con el fin de procesar datos de forma constante y obtener información en segundos o minutos en lugar de esperar días o incluso semanas. Kinesis Data Analytics le permite crear con rapidez aplicaciones de procesamiento de streaming completas para el análisis de los registros, el análisis de secuencias de clics, Internet de las cosas (IoT), la tecnología publicitaria, los videojuegos y más. Los cuatro casos de uso más comunes son el streaming de procesos de extracción, transformación y carga (ETL), la generación continua de métricas, análisis de respuesta en tiempo real y la consulta interactiva de flujos de datos.
 
Streaming de procesos ETL
Las aplicaciones de streaming de procesos de ETL le permiten limpiar, enriquecer, organizar y transformar datos sin procesar antes de cargar sus lagos de datos o almacenamiento de datos en tiempo real, y así reducir o eliminar los pasos de ELT por lotes. Estas aplicaciones pueden guardar pequeños registros en archivos más grandes antes de la entrega y realizar cadenas sofisticadas a través de secuencias y tablas. Por ejemplo, puede crear una aplicación que lea continuamente los datos del sensor IoT almacenados en Amazon Managed Streaming for Apache Kafka (Amazon MSK), organice los datos por tipo de sensor, elimine datos duplicados, normalice los datos por un esquema específico y, a continuación, proporcione los datos a Amazon Simple Storage Service (Amazon S3).
 
Generación continua de métricas
La generación continua de métricas le permite supervisar y comprender las tendencias de los datos con el paso del tiempo. Las aplicaciones pueden incorporar datos de streaming en la información crítica e integrarlos perfectamente con bases de datos de informes y servicios de supervisión para atender a las aplicaciones y a los usuarios en tiempo real. Con Kinesis Data Analytics, puede usar el código Apache Flink o SQL para generar continuamente análisis de series de tiempo a lo largo de periodos de tiempo. Por ejemplo, puede crear un marcador en vivo para un videojuego para móviles mediante el procesamiento por minuto de los mejores jugadores y el envío de esta información a Amazon DynamoDB. O puede supervisar el tráfico de su sitio web calculando la cantidad de visitantes únicos cada cinco minutos y enviando los resultados procesados a Amazon Redshift.
 
Análisis de la capacidad de respuesta en tiempo real
Las aplicaciones de análisis de la capacidad de respuesta en tiempo real envían alarmas o notificaciones en tiempo real cuando determinadas métricas alcanzan umbrales predeterminados o, en casos más complejos, cuando su aplicación detecta anomalías mediante algoritmos de machine learning (ML). Estas aplicaciones le permiten responder de forma inmediata a los cambios de su negocio en tiempo real, como en la predicción de abandono de usuario en aplicaciones móviles y la identificación de sistemas degradados. Por ejemplo, una aplicación puede procesar la disponibilidad o la tasa de éxito de una API de cara al cliente con el tiempo y enviar los resultados a Amazon CloudWatch. Puede crear otra aplicación que busque eventos que cumplan determinados criterios y notificar automáticamente a los clientes correspondientes mediante Amazon Kinesis Data Streams y Amazon Simple Notification Service (SNS).
 
Análisis interactivo de flujo de datos
El análisis interactivo permite la exploración del flujo de datos en tiempo real. Con consultas o programas adecuados, puede inspeccionar flujos de Amazon MSK o Amazon Kinesis Data Streams y observar cómo se ven los datos en esos flujos. Por ejemplo, puede ver cómo se comporta una métrica en tiempo real que calcula el promedio durante un periodo de tiempo y enviar los datos agregados a un destino de su elección. El análisis interactivo también ayuda con el desarrollo repetitivo de aplicaciones de procesamiento de flujo. Las consultas que cree se actualizarán continuamente conforme lleguen nuevos datos. Con Kinesis Data Analytics Studio puede implementar estas consultas para que se ejecuten de forma continua con escalado automático y copias de seguridad de estado duradero habilitadas.
 
P: ¿Cómo comienzo a usar aplicaciones de Apache Flink para Kinesis Data Analytics?
Inicie sesión en la consola de Amazon Kinesis Data Analytics y cree una nueva aplicación de procesamiento de streaming. También puede usar la AWS CLI y los AWS SDK. Una vez que se crea una aplicación, vaya a su entorno de desarrollo integrado favorito, conéctese a AWS e instale las bibliotecas de Apache Flink de código abierto y los SDK de AWS en el idioma que prefiera. Apache Flink es un marco de código abierto y un motor para procesar secuencias de datos y SDK de AWS. Las bibliotecas ampliables incluyen más de 25 operadores de procesamiento de transmisiones predefinidos, como window y aggregate, e integraciones en servicios de AWS, como Amazon MSK, Amazon Kinesis Data Streams y Amazon Kinesis Data Firehose. Una vez finalizado el proceso de creación, debe cargar su código en Kinesis Data Analytics y el servicio se ocupa de todo lo necesario para ejecutar sus aplicaciones de funcionamiento en tiempo real de forma continua y ajusta la escala automáticamente para adaptarse al volumen y nivel de procesamiento de los datos de entrada.
 
P: ¿Cómo comienzo a usar aplicaciones de Apache Beam para Kinesis Data Analytics?
Usar Apache Beam para crear su aplicación de Kinesis Data Analytics es muy similar a comenzar con Apache Flink. Siga las instrucciones de la pregunta anterior y asegúrese de instalar los componentes necesarios para que las aplicaciones se ejecuten en Apache Beam, según las instrucciones de la guía para desarrolladores. Tenga en cuenta que Kinesis Data Analytics solo es compatible con Java SDK cuando se ejecuta en Apache Beam.
 
P: ¿Cómo comienzo a utilizar Amazon Kinesis Data Analytics Studio?
Puede comenzar desde la consola de Amazon Kinesis Data Analytics y crear un nuevo bloc de notas de Studio. Una vez que empiece el bloc de notas, puede abrirlo en Apache Zeppelin para escribir inmediatamente código en SQL, Python o Scala. Puede desarrollar aplicaciones de forma interactiva mediante la interfaz del bloc de notas para Amazon Kinesis Data Streams, Amazon MSK y Simple Storage Service (Amazon S3) con las integraciones, y otras fuentes diversas con conectores personalizados. Puede utilizar todos los operadores compatibles con Apache Flink en Flink SQL y Table API para realizar consultas de secuencias de datos ad hoc y desarrollar su aplicación de procesamiento de flujo. Una vez que esté listo, con unos pocos clics, puede promover fácilmente su código a una aplicación de procesamiento de streaming en ejecución continua con escalado automático y estado duradero.
 
P: ¿Cómo comienzo a usar Kinesis Data Analytics para SQL?
Inicie sesión en la consola de Amazon Kinesis Data Analytics y cree una nueva aplicación de procesamiento de streaming. También puede usar la AWS CLI y los AWS SDK. Puede crear una aplicación completa en tres pasos sencillos: 1) configure los datos de streaming de entrada, 2) escriba las consultas en SQL, y 3) apunte adónde desea que se carguen los datos. Kinesis Data Analytics reconoce formatos de datos estándar como JSON, CSV y TSV, y crea un esquema de referencia de manera automática. Puede modificar el esquema o, si los datos de entrada no están estructurados, puede definir un esquema nuevo con el editor de esquemas intuitivo. A continuación, el servicio aplica el esquema a la transmisión de entrada y hace que tenga el aspecto de una tabla SQL que se actualiza constantemente, para que pueda escribir consultas SQL. Para crear las consultas, utiliza el editor SQL.
 
El editor SQL incorpora todas las características necesarias, incluida la comprobación de sintaxis y las pruebas con datos en vivo. También le proporcionamos plantillas que incluyen el código SQL para cualquier tarea, desde un filtro de transmisiones sencillo a la detección de anomalías y el análisis de los elementos K principales. Kinesis Data Analytics se ocupa del aprovisionamiento y el escalado elástico de toda la infraestructura para abastecer cualquier rendimiento de datos. No es necesario que planifique, aprovisione ni administre infraestructura.
 
P: ¿Qué límites tiene Kinesis Data Analytics?
Kinesis Data Analytics ajusta la escala de la aplicación de manera elástica para adaptarse al procesamiento de datos de su secuencia de origen y al nivel de complejidad de su consulta en la mayoría de las situaciones. Si desea obtener información detallada acerca de las cuotas de servicio, consulte la sección Limits (Cuotas) en la Guía para desarrolladores SQL de Amazon Kinesis Data Analytics. Si desea obtener información detallada acerca de las cuotas del servicio de las aplicaciones de Apache Flink, consulte la sección Limits en la Guía para desarrolladores de Apache Flink de Amazon Kinesis Data Analytics.
 
P: ¿Amazon Kinesis Data Analytics admite el registro de esquemas?
Sí, mediante el uso de los conectores de Apache Flink DataStream, las aplicaciones de Amazon Kinesis Data Analytics for Apache Flink pueden utilizar AWS Glue Schema Registry, una característica sin servidor de AWS Glue. Puede integrar Apache Kafka/Amazon MSK y Amazon Kinesis Data Streams, como receptor u origen, con sus cargas de trabajo de Amazon Kinesis Data Analytics for Apache Flink. Consulte la documentación del usuario de Schema Registry para comenzar y obtener más información.

Conceptos clave

P: ¿Qué es una aplicación de Kinesis Data Analytics?
Una aplicación es la entidad de Kinesis Data Analytics con la que trabaja. Las aplicaciones de Kinesis Data Analytics leen y procesan datos de streaming en tiempo real de forma constante. Usted escribe un código de aplicación en un lenguaje compatible con Apache Flink para procesar los datos de streaming entrantes y producir elementos de salida. A continuación, Kinesis Data Analytics escribe los elementos de salida en un destino configurado.
 
Cada aplicación posee tres componentes principales:
 
Entrada: el origen de streaming de su aplicación. En la configuración de entrada, usted asigna el origen de streaming a la secuencia de datos en la aplicación. Los datos fluyen desde su origen de datos hacia sus streaming de datos en la aplicación. Se procesan los datos de estos streaming de datos en la aplicación al utilizar el código de la aplicación, enviar datos procesados a sus streaming posteriores de datos o destinos en la aplicación. Puede agregar entradas dentro del código de aplicación para las aplicaciones de Apache Flink y los blocs de notas de Studio, y a través de la API para Kinesis Data Analytics para aplicaciones SQL.
 
Código de aplicación: una serie de operadores de Apache Flink o enunciados SQL que procesan entradas y producen salidas. En su forma más simple, el código de la aplicación puede ser un único operador de Apache Flink o enunciado SQL que lee a partir de un streaming de datos en la aplicación asociado con un origen de streaming y escribe en una secuencia de datos en la aplicación asociado con un elemento de salida. En el caso de un bloc de notas de Studio, podría tratarse de una simple consulta selecta de SQL de Flink, con los resultados mostrados en contexto dentro del bloc de notas. Puede escribir un código de Apache Flink en los lenguajes que admite para Kinesis Data Analytics para aplicaciones de Apache Flink o blocs de notas de Studio, o bien código SQL que divide las secuencias de datos iniciales en la aplicación en múltiples streamings y aplica una lógica adicional para los streamings independientes de Kinesis Data Analytics para aplicaciones SQL.
 
Salida: puede crear uno o más streamings en la aplicación para almacenar resultados intermedios. Además, como opción, puede configurar la salida de una aplicación para que envíe datos de streaming en la aplicación específicos a un destino externo. Estas salidas se agregan dentro del código de la aplicación para las aplicaciones de Apache Flink y los blocs de notas de Studio, y para las aplicaciones de Kinesis Data Analytics para SQL.
 
P: ¿Qué es una secuencia de datos en la aplicación?
Una secuencia de datos en la aplicación es una entidad que almacena continuamente datos en su aplicación para su procesamiento. Sus aplicaciones escriben y leen continuamente secuencias de datos dentro de la aplicación. Para las aplicaciones de Apache Flink y Studio, puede interactuar con el streaming en la aplicación mediante datos de procesamiento a través de los operadores de streaming. Los operadores transforman uno o más streaming de datos en un nuevo streaming de datos. Para las aplicaciones SQL, la interacción con la secuencia en la aplicación es la misma que con una tabla SQL al utilizar enunciados SQL. Puede aplicar enunciados SQL a uno o más streaming de datos e insertar los resultados en una nueva secuencia de datos.
 
P: ¿Qué código de aplicación admite?
Kinesis Data Analytics admite aplicaciones creadas con Java, Scala y Python con las bibliotecas de código abierto de Apache Flink y con su propio código personalizado. Kinesis Data Analytics también admite aplicaciones creadas usando Java con bibliotecas de código abierto de Apache Beam y con su propio código personalizado. Kinesis Data Analytics Studio admite el código creado con SQL, Python y Scala compatible con Apache Flink.

Administración de aplicaciones

P: ¿Cómo puedo monitorear las operaciones y el rendimiento de mis aplicaciones de Kinesis Data Analytics?
AWS proporciona varias herramientas que puede utilizar a fin de monitorear las aplicaciones de Kinesis Data Analytics, incluido el acceso al panel de Flink para las aplicaciones de Apache Flink. Puede configurar algunas de estas herramientas para que realicen la monitorización por usted. Para obtener más información sobre cómo monitorear su aplicación, consulte:

P: ¿Cómo puedo administrar y controlar el acceso a mis aplicaciones de Kinesis Data Analytics?
Kinesis Data Analytics necesita permisos para leer los registros de los orígenes de datos de streaming que especifique en su aplicación. Kinesis Data Analytics también necesita permisos para escribir la salida de su aplicación en destinos específicos en la configuración de salida de su aplicación. Puede conceder estos permisos al crear roles de AWS Identity and Access Management (IAM) que Kinesis Data Analytics puede asumir. Los permisos que conceda a un rol determinarán lo que Kinesis Data Analytics podrá hacer cuando el servicio asuma el rol. Para obtener más información, consulte lo siguiente:

  • Granting Permissions (Concesión de permisos) en la Guía para desarrolladores de Amazon Kinesis Data Analytics para Apache Flink.
  • Concesión de permisos en la Guía de Amazon Kinesis Data Analytics para desarrolladores de Studio.
  • Granting Permissions (Concesión de permisos) en la Guía de Amazon Kinesis Data Analytics para desarrolladores de SQL.

P: ¿De qué manera Kinesis Data Analytics ajusta la escala de mi aplicación?
Kinesis Data Analytics ajusta la escala de su aplicación de manera elástica para adaptarse al procesamiento de datos de su transmisión de origen y al nivel de complejidad de su consulta en la mayoría de los casos. Kinesis Data Analytics aprovisiona capacidad mediante unidades de procesamiento de Amazon Kinesis (KPU). Una KPU le proporciona 1 vCPU y 4 GB de memoria.
 
Para las aplicaciones de Apache Flink y los blocs de notas de Studio, Kinesis Data Analytics asigna 50 GB de almacenamiento de aplicaciones en ejecución por KPU que utiliza la aplicación para los puntos de control y está disponible para su uso a través de disco temporal. Un punto de control es una copia de seguridad actualizada de una aplicación en ejecución que se utiliza para recuperarse inmediatamente de una interrupción de la aplicación. También puede controlar la ejecución en paralelo de las tareas de la aplicación de Apache Flink de Kinesis Data Analytics (como la lectura de una fuente o un operador de ejecución) mediante los parámetros Parallelism y ParallelismPerKPU en la API. El parámetro Parallelism define el número de instancias simultáneas de una tarea. Todos los operadores, los orígenes y los receptores se ejecutan con un paralelismo definido, de forma predeterminada uno. ParallelismperKPU define la cantidad del número de tareas paralelas que se pueden programar por cada unidad de procesamiento de Kinesis (KPU) de su aplicación, de forma predeterminada uno. Para obtener más información, consulte Scaling (Escalado) en la Guía para desarrolladores de Amazon Kinesis Data Analytics para Apache Flink.
 
Para las aplicaciones SQL, cada origen de streaming se asigna a la secuencia correspondiente en la aplicación. Si bien no es necesario para muchos clientes, puede usar las KPU de forma más eficaz si incrementa la cantidad de secuencias en la aplicación asignadas a su origen mediante la especificación del parámetro de paralelismo de entrada. Kinesis Data Analytics asigna las particiones del origen de datos de streaming de manera uniforme, como los fragmentos de una secuencia de datos de Amazon Kinesis, a la cantidad de secuencias de datos en aplicación que haya especificado. Por ejemplo, si el origen de datos de streaming es una secuencia de datos de Amazon Kinesis de 10 fragmentos y especifica un paralelismo de entrada de dos, Kinesis Data Analytics asignará cinco fragmentos de Amazon Kinesis a dos secuencias en aplicación con los nombres “SOURCE_SQL_STREAM_001” y “SOURCE_SQL_STREAM_002”. Para obtener más información, consulte la sección Configuring Application Input (Configuración de la entrada de la aplicación) en la Guía para desarrolladores de SQL de Amazon Kinesis Data Analytics.
 
P: ¿Cuáles son las prácticas recomendadas asociadas con la creación y la administración de mis aplicaciones de Kinesis Data Analytics?
Para obtener información sobre las prácticas recomendadas para Apache Flink, consulte la sección Best Practices (Prácticas recomendadas) de la Guía para desarrolladores de Apache Flink para Amazon Kinesis Data Analytics. La sección cubre las prácticas recomendadas para la tolerancia a errores, rendimiento, registro, codificación y más.
 
Para obtener información sobre las prácticas recomendadas para Amazon Kinesis Data Analytics Studio, consulte la sección de prácticas recomendadas de la Guía de Studio de Amazon Kinesis Data Analytics para desarrolladores. La sección trata las prácticas recomendadas y los ejemplos para aplicaciones SQL, Python y Scala, los requisitos para implementar su código como una aplicación de procesamiento de streaming en ejecución continua, el rendimiento, el registro y mucho más.
 
Para más información sobre las prácticas recomendadas para SQL, vea la sección Best Practices (Prácticas recomendadas) de la Guía para desarrolladores de SQL de Amazon Kinesis Data Analytics. La sección trata la administración de aplicaciones, definición de esquema de entrada, conexión de salida y autoría de código de aplicación.
 
P: ¿Puedo acceder a recursos detrás de una VPC de Amazon con una aplicación de Kinesis Data Analytics para Apache Flink?
Sí. Puede obtener acceso a los recursos que hay detrás de una Amazon VPC. Puede aprender a configurar su aplicación para el acceso a una VPC en la sección Using an Amazon VPC (Uso de una Amazon VPC) de la Guía para desarrolladores de Amazon Kinesis Data Analytics.
 
P: ¿Puede una única aplicación de Kinesis Data Analytics para Apache Flink tener acceso a múltiples VPC?
No. Si se especifican varias subredes, todas ellas deben estar en la misma VPC. Puede conectarse a otras VPC si interconecta las VPC.
 
P: ¿Puede una aplicación de Kinesis Data Analytics para Apache Flink conectada a una VPC acceder a Internet y a los puntos de enlace del servicio de AWS?
Las aplicaciones de Kinesis Data Analytics para Apache Flink y los blocs de notas de Kinesis Data Analytics Studio configurados para obtener acceso a los recursos de una VPC determinada no tendrán acceso a Internet como configuración predeterminada. Puede aprender a configurar el acceso a Internet para su aplicación en la sección Internet and Service Access (Internet y acceso al servicio) de la Guía para desarrolladores de Amazon Kinesis Data Analytics.

Precios y facturación

P: ¿Cuánto cuesta Kinesis Data Analytics?
Con Amazon Kinesis Data Analytics paga únicamente por lo que usa. Amazon Kinesis Data Analytics no conlleva el aprovisionamiento de recursos ni costos iniciales.

Se le cobra una tarifa por hora en función de la cantidad de unidades de procesamiento de Amazon Kinesis (o KPU) que utilice para ejecutar su aplicación de streaming. Una sola KPU es una unidad de capacidad de procesamiento de secuencias compuesta de 1 vCPU de capacidad informática y 4 GB de memoria. Amazon Kinesis Data Analytics escala automáticamente el número de KPU requerido por su aplicación de procesamiento de transmisiones, tales como las demandas de memoria y cómputo varían en respuesta a la complejidad del procesamiento y la velocidad de datos de streaming procesados.

Para las aplicaciones de Apache Flink y Apache Beam, pagará una KPU adicional única por aplicación para la organización de aplicaciones. En las aplicaciones de Apache Flink y Apache Beam también paga por el almacenamiento de aplicaciones en ejecución y copias de seguridad de aplicaciones duraderas. El almacenamiento de aplicaciones en ejecución se utiliza para capacidades de procesamiento con estado en Amazon Kinesis Data Analytics y se paga por GB al mes. Las copias de seguridad de aplicaciones duraderas son opcionales, se pagan por GB al mes y proporcionan un punto de recuperación a un momento dado para las aplicaciones.

En el caso de Studio de Amazon Kinesis Data Analytics, en modo de desarrollo o interactivo, se le cobra una KPU adicional para la orquestación de aplicaciones y otra para el desarrollo interactivo. También se le cobra por la ejecución del almacenamiento de la aplicación. No se le cobra por las copias de seguridad duraderas de las aplicaciones.
 
Para obtener más información sobre los precios, consulte la página de precios de Amazon Kinesis Data Analytics.
 
P: ¿Kinesis Data Analytics está disponible dentro de la capa gratuita de AWS?
No. En la actualidad, Kinesis Data Analytics no está disponible dentro de la capa gratuita de AWS. La capa gratuita de AWS es un programa que ofrece pruebas gratuitas de varios servicios de AWS.
 
P: ¿Se me cobraría una aplicación de Kinesis Data Analytics que estuviera en ejecución pero no procesase ningún dato del origen?
 
Para las aplicaciones de Apache Flink y Apache Beam, si la aplicación de Kinesis Data Analytics está en ejecución, se le cobrará un mínimo de dos KPU y 50 GB.
 
Para los blocs de notas de Kinesis Data Analytics Studio, si la aplicación está en ejecución, se le cobrará un mínimo de tres KPU y 50 GB.
 
Para las aplicaciones SQL, si la aplicación de Kinesis Data Analytics está en ejecución, se le cobrará un mínimo de una KPU.
 
P: Además de los costos de Kinesis Data Analytics, ¿podría incurrir en otros costos?
Kinesis Data Analytics es una solución de procesamiento de secuencia completamente administrada, independiente del origen de streaming del que lea datos y de los destinos en los que escriba los datos procesados. Se le cobrará de manera independiente por los servicios que lea o escriba en su aplicación.
P: ¿Qué es Apache Flink?
Apache Flink es un motor y marco de código abierto para el procesamiento de datos de lote y de streaming. Esto facilita la creación de aplicaciones de streaming, porque proporciona operadores potentes y resuelve muy bien los principales problemas de streaming, tales como el procesamiento duplicado. Apache Flink proporciona distribución de datos, comunicación y tolerancia a fallos para cálculos distribuidos a lo largo de secuencia de datos.
 
P: ¿Cómo puedo desarrollar aplicaciones?
Puede comenzar por descargar las bibliotecas de código abierto, incluidos el AWS SDK, Apache Flink y los conectores para los servicios de AWS. Obtenga instrucciones sobre cómo descargar las bibliotecas y crear su primera aplicación en la Guía para desarrolladores de Apache Flink de Amazon Kinesis Data Analytics.
 
P: ¿Qué aspecto tiene el código de mi aplicación?
Puede escribir su código de Apache Flink con secuencias de datos y operadores de secuencia. Las secuencias de datos de la aplicación son la estructura de datos con la que puede realizar el procesamiento en lugar de utilizar su código. Los datos fluyen de manera continua desde las fuentes hacia las secuencias de datos de aplicaciones. Se utilizan uno o dos operadores de secuencias para definir el procesamiento de secuencias de datos de la aplicación, incluidos la transformación, la partición, el agregado, la cadena y la ventana. Las secuencias de datos y los operadores se pueden conectar en cadenas en serie y en paralelo. A continuación se muestra un breve ejemplo del uso de un pseudocódigo. 
DataStream <GameEvent> rawEvents = env.addSource(
 New KinesisStreamSource(“input_events”));
DataStream <UserPerLevel> gameStream =
 rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId, 
   event.gameMetadata.levelId,event.userId));
gameStream.keyBy(event -> event.gameId)
            .keyBy(1)
            .window(TumblingProcessingTimeWindows.of(Time.minutes(1)))
            .apply(...) - > {...};
gameStream.addSink(new KinesisStreamSink("myGameStateStream"));
P: ¿Cómo puedo utilizar los operadores?
Los operadores toman una secuencia de datos de la aplicación como entrada y envían los datos procesados a un streaming de datos de la aplicación como salida. Los operadores pueden conectarse para crear aplicaciones con varios pasos y no requieren conocimientos avanzados de sistemas distribuidos para implementar y operar.
 
P: ¿Qué operadores se admiten?
Kinesis Data Analytics para Apache Flink incluye más de 25 operadores de Apache Flink que pueden utilizarse para resolver una amplia variedad de casos de uso, incluidos Map, KeyBy, Aggregations, Window Join y Window. Map permite realizar procesamiento arbitrario, al tomar un elemento de un streaming de datos de entrada y producir otro elemento. KeyBy organiza lógicamente los datos mediante una clave específica que le permite procesar puntos de datos similares juntos. Aggregations realiza el procesamiento a través de múltiples claves, como SUM, MIN y MÁX. Window Join une dos secuencias de datos juntas en una clave y ventana determinadas. Window agrupa fechas mediante una clave y una operación típicamente basada en el tiempo, como contar el número de elementos únicos durante un periodo de cinco minutos.
 
Puede crear operadores personalizados si estos no satisfacen sus necesidades. Puede encontrar más ejemplos en la sección Operadores de la Guía para desarrolladores de Apache Flink de Amazon Kinesis Data Analytics. Puede encontrar un listado detallado de los operadores de Apache Flink en la sección Operators (Operadores) de la documentación de Apache Flink.
 
P: ¿Qué integraciones se admiten en una aplicación Kinesis Data Analytics para Apache Flink?
Puede configurar integraciones predeterminadas con código mínimo o construir su propia integración para conectarse virtualmente a cualquier origen de datos. Las bibliotecas de código abierto basadas en Apache Flink admiten fuentes y destinos de transmisión, o receptores, para procesar la entrega de datos. Esto también incluye compatibilidad con el enriquecimiento de datos a través de conectores de entrada/salida (E/S) asíncrona. A continuación se muestra una lista de conectores específicos incluidos en las bibliotecas de código abierto.
 
  • Orígenes de datos de streaming: Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams  Destinos o receptores: Amazon Kinesis Data Streams
  • Amazon Kinesis Data Firehose, Amazon DynamoDB, Amazon Elasticsearch Service y Simple Storage Service (Amazon S3) (a través de integraciones de receptores de archivos)

Apache Flink también incluye otros conectores, como Apache Kafka, Apache Casssandra, Elasticsearch y más.
 
P: ¿Puede Kinesis Data Analytics para aplicaciones de Apache Flink replicar datos entre transmisiones o temas?
Sí. Puede usar aplicaciones de Kinesis Data Analytics para Apache Flink para replicar datos entre Amazon Kinesis Data Streams, Amazon MSK y otros sistemas. Un ejemplo presentado en la documentación demuestra cómo leer de un tema Amazon MSK y escribir en otro.
 
P: ¿Son compatibles las integraciones personalizadas?
Puede agregar un origen o un destino a su aplicación basándose en un conjunto de primitivas que le permiten leer y escribir desde archivos, directorios, sockets o cualquier cosa a la que pueda acceder a través de Internet. Apache Flink proporciona estas primitivas para orígenes de datos y receptores de datos. Las primitivas vienen con configuraciones como la capacidad de leer y escribir datos de forma continua o una vez, de manera asincrónica o sincrónica, y mucho más. Por ejemplo, puede configurar una aplicación para leer de forma continua desde Simple Storage Service (Amazon S3) mediante la ampliación de la actual integración de origen basada en archivos.
 
P: ¿Qué modelo de entrega proporciona Kinesis Data Analytics para aplicaciones de Apache Flink?
Las aplicaciones de Apache Flink en Kinesis Data Analytics usan un modelo de entrega del tipo exactamente una vez si una aplicación está construida con operadores idempotentes, incluidas las fuentes y los receptores. Esto significa que los datos procesados afectarán los resultados posteriores una vez y sólo una vez. Los puntos de control guardan el estado actual de la aplicación y permite que las aplicaciones de Kinesis Data Analytics para Apache Flink recuperen la posición de la aplicación para proporcionar la misma semántica como una ejecución sin errores. Los puntos de control para las aplicaciones de Apache Flink se proporcionan a través de la funcionalidad de puntos de control de Apache Flink. De forma predeterminada, las aplicaciones de Kinesis Data Analytics para Apache Flink utilizan la semántica del tipo exactamente una vez de Apache Flink. La aplicación admitirá la semántica de procesamiento del tipo exactamente una vez si diseña sus aplicaciones con fuentes, operadores y receptores que utilizan la semántica del tipo exactamente una vez de Apache Flink.
 
P: ¿Tengo acceso al almacenamiento local desde el almacenamiento de mi aplicación?
Sí. Kinesis Data Analytics para aplicaciones de Apache Flink proporciona a su aplicación 50 GB de almacenamiento de aplicaciones en ejecución por cada unidad de procesamiento de Kinesis (KPU). Kinesis Data Analytics incrementa el almacenamiento con su aplicación. El almacenamiento de aplicaciones en ejecución se utiliza para guardar el estado de la aplicación mediante puntos de control. También es accesible al código de la aplicación para utilizarlo como disco temporal para el almacenamiento de datos en caché y cualquier otro propósito. Kinesis Data Analytics puede eliminar datos del almacenamiento de la aplicación en ejecución que no están guardados mediante puntos de control (por ejemplo, operadores, fuentes, receptores) en cualquier momento. Todos los datos almacenados en un almacenamiento de la aplicación en ejecución se cifran en reposo.
 
P: ¿Cómo realiza Kinesis Data Analytics para Apache Flink una copia de seguridad automática de mi aplicación?
Kinesis Data Analytics realiza automáticamente copias de seguridad del estado de su aplicación en ejecución mediante puntos de control e instantáneas. Los puntos de control guardan el estado actual de la aplicación y permite que las aplicaciones de Kinesis Data Analytics para Apache Flink recuperen la posición de la aplicación para proporcionar la misma semántica como una ejecución sin errores. Los puntos de control utilizan almacenamiento de aplicaciones en ejecución. Las instantáneas guardan un punto de recuperación en un momento dado para las aplicaciones. Las instantáneas utilizan copias de seguridad de aplicaciones duraderas.
 
P: ¿Qué son las instantáneas de la aplicación?
Las instantáneas le permiten crear y restaurar la aplicación a un punto anterior en el tiempo. Esto le permite mantener el estado de la aplicación anterior y restaurar su aplicación en cualquier momento. Puede controlar cómo sus instantáneas en cualquier momento dado se incrementan de cero a miles de instantáneas. Las instantáneas utilizan copias de seguridad de aplicaciones y Kinesis Data Analytics le cobra con base en el tamaño. Kinesis Data Analytics cifra los datos guardados en las instantáneas de manera predeterminada. Puede eliminar instantáneas individuales a través de la API o todas las instantáneas mediante la eliminación de su aplicación.
 
P: ¿Cuáles son las versiones compatibles de Apache Flink?
Amazon Kinesis Data Analytics para aplicaciones Apache Flink es compatible con Apache Flink 1.6, 1.8
y 1.11 (recomendado). Apache Flink 1.11 en Kinesis Data Analytics es compatible con la versión 11 de Java Development Kit, 3.7 de Python y 2.1.2 de Scala. Puede encontrar más información en la sección Create an Application (Crear una aplicación) de la Guía para desarrolladores de AWS.
 
P: ¿Qué versiones de componentes son compatibles con Kinesis Data Analytics para Flink 1.13?
Apache Flink 1.13 en Kinesis Data Analytics es compatible con la versión 11 de Java Development Kit, Python 3.8 y Scala 2.12. Puede encontrar más información en la sección Create an Application (Crear una aplicación) de la Guía para desarrolladores de AWS.
 
P: ¿Se pueden ejecutar las aplicaciones Kinesis Data Analytics para Apache Flink en Apache Beam?
Sí, admite aplicaciones de streaming creadas con Apache Beam SDK para Java versión 2.23. Puede crear aplicaciones de streaming de Apache Beam en Java y ejecutarlas con Apache Flink 1.8 en Amazon Kinesis Data Analytics, Apache Spark que se ejecuta localmente y otros motores de ejecución compatibles con Apache.
 
P: ¿Se pueden ejecutar las aplicaciones Kinesis Data Analytics para Apache Flink en Apache Beam?
Apache Beam es un modelo unificado de código abierto para definir aplicaciones de procesamiento de datos por lotes y transmisión que se ejecutan en varios motores de ejecución.

Creación de aplicaciones de Amazon Kinesis Analytics Studio

P: ¿Cómo puedo desarrollar una aplicación de Studio?
Puede comenzar desde las consolas de Studio de Amazon Kinesis Data Analytics, Amazon Kinesis Data Streams o Amazon MSK con unos pocos clics para lanzar un bloc de notas sin servidor para consultar inmediatamente secuencias de datos y llevar a cabo análisis de datos interactivos.

Análisis de datos interactivos: puede escribir código en el bloc de notas en SQL, Python o Scala para interactuar con sus datos de streaming, y con tiempos de respuesta de consultas en segundos. Puede utilizar las visualizaciones integradas para explorar los datos y ver la información en tiempo real sobre sus datos de streaming desde su bloc de notas, y desarrollar con facilidad aplicaciones de procesamiento de streaming con la tecnología de Apache Flink.

Una vez que su código esté listo para ejecutarse como una aplicación de producción, puede hacer la transición con un solo clic a una aplicación de procesamiento de streaming que procesa GB de datos por segundo, sin servidores.

Aplicación de procesamiento de streaming: una vez que tenga todo listo para promover su código a producción, puede crear su código mediante clics. Puede hacer clic en Deploy as stream processing application (Implementar como aplicación de procesamiento de streaming) en la interfaz del bloc de notas o enviar un único comando en la CLI, y Studio se encarga de toda la administración de la infraestructura necesaria para que ejecute su aplicación de procesamiento de streaming a escala, con escalado automático y estado duradero habilitado, al igual que en una aplicación de Amazon Kinesis Data Analytics para Apache Flink.

P: ¿Qué aspecto tiene el código de mi aplicación?
Puede escribir código en el bloc de notas en su lenguaje preferido de SQL, Python o Scala mediante la API de tablas de Apache Flink. La API de tablas es una abstracción de alto nivel y una API relacional que admite un superconjunto de capacidades de SQL. Ofrece operaciones conocidas, como seleccionar, filtrar, unir, agrupar por, agregar, etc., junto con conceptos específicos de streaming, como el de las ventanas. Tiene que utilizar %<interpreter> para especificar el idioma que se utilizará en una sección del cuaderno y puede cambiar fácilmente entre idiomas. Los intérpretes son complementos de Apache Zeppelin que permiten a los desarrolladores especificar un idioma o un motor de procesamiento de datos para cada sección del cuaderno. También puede crear funciones definidas por el usuario y referenciarlas para mejorar la funcionalidad del código.

P: ¿Qué operaciones SQL de archivos se admiten?
Puede llevar a cabo operaciones SQL, como escanear y filtrar (SELECT, WHERE), agregaciones (GROUP BY, GROUP BY WINDOW, HAVING), conjuntos (UNION, UNIONALL, INTERSECT, IN, EXISTS), orden (ORDER BY, LIMIT), uniones (INNER, OUTER, Timed Window -BETWEEN, AND, uniones con tablas temporales, es decir, tablas que siguen los cambios en el tiempo), Top N, desduplicación y reconocimiento de patrones. Algunas de estas consultas, como GROUP BY, OUTER JOIN y Top N, son de “actualización de resultados” para datos de streaming, lo que significa que los resultados se actualizan continuamente a medida que se procesan los datos de streaming. También se admiten otras instrucciones DDL, como CREATE, ALTER y DROP. Para obtener una lista completa de consultas y muestras, consulte https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/sql/queries.html.

P: ¿De qué manera se admiten Python y Scala?

La API de tablas de Apache Flink es compatible con Python y Scala a través de la integración del lenguaje mediante cadenas de Python y expresiones de Scala. Las operaciones admitidas son muy similares a las operaciones SQL admitidas; entre ellas, seleccionar, ordenar, agrupar, unir, filtrar y crear ventanas. Aquí se incluye una lista completa de operaciones y muestras: https://ci.apache.org/projects/flink/flink-docs- release-1.11/dev/table/tableApi.html

P: ¿Cuáles son las versiones compatibles de Apache Flink y Apache Zeppelin?

Kinesis Data Analytics Studio es compatible con Apache Flink 1.11 y Apache Zeppelin 0.9.

P: ¿Qué integraciones se admiten en una aplicación Kinesis Data Analytics para Studio de manera predeterminada?

  • Origen de datos: Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams, Amazon S3 
  • Destinos o máscaras: Amazon MSK, Amazon Kinesis Data Streams y Amazon S3

P: ¿Son compatibles las integraciones personalizadas?
Puede configurar integraciones adicionales con unos pocos pasos adicionales y líneas de código de Apache Flink (Python, Scala o Java) para definir conexiones con todas las integraciones compatibles con Apache Flink, incluidos destinos como Amazon OpenSearch Service, Amazon ElastiCache for Redis, Amazon Aurora, Amazon Redshift, Amazon DynamoDB, Amazon Keyspaces, entre otros. Puede asociar los ejecutables de estos conectores personalizados cuando cree o configure su aplicación de Studio.

P: ¿Debo desarrollar con Kinesis Data Analytics Studio o con SQL de Kinesis Data Analytics?
Recomendamos comenzar con Kinesis Data Analytics Studio, ya que ofrece una experiencia de procesamiento de streaming más completa con un procesamiento de una sola vez. Kinesis Data Analytics Studio ofrece el desarrollo de aplicaciones de procesamiento de streaming en el lenguaje de su elección (SQL, Python y Scala), escala a GB/s de procesamiento, admite cálculos de larga duración durante horas o incluso días, actualiza código en cuestión de segundos, maneja múltiples streamings de entrada y trabaja con una variedad de streamings de entrada, como Amazon Kinesis Data Streams y Amazon MSK.

Creación de Kinesis Data Analytics para aplicaciones SQL

Para los nuevos proyectos, le recomendamos que utilice el nuevo Kinesis Data Analytics Studio en lugar de Kinesis Data Analytics para aplicaciones SQL. Kinesis Data Analytics Studio combina la facilidad de uso con las capacidades analíticas avanzadas, lo que le permite crear sofisticadas aplicaciones de procesamiento de streaming en cuestión de minutos.

Configuración de los elementos de entrada para aplicaciones SQL

P: ¿Qué elementos de entrada son compatibles con una aplicación SQL de Kinesis Data Analytics?
Las aplicaciones SQL en Kinesis Data Analytics admiten dos tipos de elementos de entrada: orígenes de datos de streaming y orígenes de datos de referencia. Un origen de datos de streaming consiste en datos que se generan de manera constante y que se envían a la aplicación para su procesamiento. Un origen de datos de referencia son datos estáticos que usa su aplicación para enriquecer los datos que provienen de fuentes de transmisión. Cada aplicación no puede tener más de un origen de datos de streaming ni más de un origen de datos de referencia. Una aplicación lee y procesa constantemente datos nuevos de orígenes de datos de streaming, incluidos Amazon Kinesis Data Streams o Amazon Kinesis Data Firehose. Una aplicación lee la totalidad de un origen de datos de referencia, incluida Amazon S3, para usarlo a fin de enriquecer el origen de datos de streaming mediante JOIN en SQL.
 
P: ¿Qué es un origen de datos de referencia?
Un origen de datos de referencia consiste en datos estáticos que su aplicación utiliza para enriquecer los datos procedentes de orígenes de streaming. Los datos de referencia se almacenan como objeto en el bucket de S3. Cuando se inicia la aplicación SQL, Kinesis Data Analytics lee el objeto de S3 y crea una tabla SQL en la aplicación para almacenar los datos de referencia. Entonces, el código de aplicación puede incorporarse con una secuencia en la aplicación. Puede actualizar los datos de la tabla SQL si llama a la API UpdateApplication.
 
P: ¿Cómo puedo configurar un origen de datos de streaming en mi aplicación SQL?
Un origen de datos de streaming puede ser una transmisión de datos de Amazon Kinesis o una transmisión de entrega de Amazon Kinesis Data Firehose. Su aplicación SQL de Kinesis Data Analytics lee constantemente nuevos datos provenientes de los orígenes de datos de streaming a medida que llegan en tiempo real. Se puede obtener acceso a los datos del código SQL mediante una secuencia en la aplicación. Una transmisión en la aplicación actúa a modo de tabla SQL, ya que puede crear, introducir y seleccionar datos. Sin embargo, la diferencia es que una transmisión en la aplicación se actualiza constantemente con datos nuevos del origen de datos de streaming.
 
Puede utilizar la consola de administración de AWS para agregar un origen de datos de streaming. Puede obtener más información sobre los orígenes en la sección Configuring Application Input (Configuración de la entrada de la aplicación) de la Guía para desarrolladores de SQL de Kinesis Data Analytics.
 
P: ¿Cómo puedo configurar un origen de datos de referencia en mi aplicación SQL?
Un origen de datos de referencia puede ser un objeto de Amazon S3. Su aplicación SQL de Kinesis Data Analytics lee el objeto de S3 por completo cuando comienza a ejecutarse. Se puede obtener acceso a los datos del código SQL mediante una tabla. El caso de uso más común de un origen de datos de referencia es enriquecer los datos provenientes de un origen de datos de streaming con JOIN en SQL. 
 
Con la CLI de AWS, puede añadir un origen de datos de referencia mediante la especificación del bucket de S3, el objeto, la función de IAM y el esquema asociado. Kinesis Data Analytics carga los datos cuando inicia la aplicación, y los vuelve a cargar cada vez que realiza una llamada a la API de actualización.
 
P: ¿Qué formatos de datos se admiten para las aplicaciones SQL?
Las aplicaciones SQL en Kinesis Data Analytics pueden detectar el esquema y analiza de manera automática los registros CSV y JSON cifrados con UTF-8 con la API DiscoverInputSchema. Este esquema se aplica a los datos leídos de la secuencia como parte de la inserción en una secuencia en la aplicación. 
 
Para otros datos cifrados con UTF-8 sin delimitador, utiliza un delimitador distinto de CSV o, en casos en los que la API de descubrimiento no ha determinado el esquema en su totalidad, puede definir un esquema con el editor de esquemas interactivo o utilizar funciones de manipulación de cadenas para estructurar los datos. Para obtener más información, consulte la sección Using the Schema Discovery Feature and Related Editing (Cómo usar la característica de detección de esquemas y las modificaciones asociadas) de la Guía para desarrolladores de SQL de Amazon Kinesis Data Analytics.
 
P: ¿Cómo se expone mi secuencia de entrada al código SQL?
Kinesis Data Analytics para SQL aplica el esquema que haya especificado e introduce los datos en una o más secuencias de la aplicación para orígenes de streaming, y en una sola tabla SQL para los orígenes de referencia. El número predeterminado de secuencias en aplicación es el que satisfaga las necesidades de la mayoría de sus casos de uso. Debe aumentar este número si descubre que su aplicación no cuenta con los datos más recientes de la transmisión de origen según lo definido por la métrica MillisBehindLatest de CloudWatch. La cantidad de transmisiones en aplicación necesarias depende del nivel de rendimiento de su transmisión de origen y la complejidad de su consulta. El parámetro para especificar la cantidad de transmisiones en una aplicación asignadas a su transmisión de origen se denomina paralelismo de entrada.
 

Creación de código de aplicación para aplicaciones SQL

P: ¿Qué aspecto tiene el código de mi aplicación SQL?
El código de la aplicación es una serie de enunciados SQL que procesan entradas y producen salidas. Estos enunciados SQL operan en transmisiones en aplicación y tablas de referencia. Una transmisión en aplicación es similar a una tabla que se actualiza de forma constante en la que realiza operaciones SQL SELECT e INSERT. Sus orígenes y destinos configurados están expuestos al código SQL mediante transmisiones en aplicación. También puede crear transmisiones en aplicación adicionales para almacenar resultados de consultas intermedios.
 
Puede utilizar el siguiente patrón para trabajar con transmisiones en aplicación:

  • Utilice siempre un enunciado SELECT en el contexto de un enunciado INSERT. Cuando selecciona filas, introduce resultados en otra transmisión en aplicación.
  • Utilice un enunciado INSERT en el contexto de una bomba.
  • Tiene que utilizar una bomba para hacer que un enunciado INSERT sea continuo y escribir a una transmisión en aplicación.

El siguiente código SQL proporciona una aplicación sencilla y funcional: 
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" (
    ticker_symbol VARCHAR(4),
    change DOUBLE,
    price DOUBLE);

CREATE OR REPLACE PUMP "STREAM_PUMP" AS 
  INSERT INTO "DESTINATION_SQL_STREAM"    
    SELECT STREAM ticker_symbol, change, price    
    FROM "SOURCE_SQL_STREAM_001";
Para obtener más información acerca del código de aplicación, consulte la sección Application Code (Código de la aplicación) de la Guía para desarrolladores de SQL de Amazon Kinesis Data Analytics.
 
P: ¿Cómo me ayuda Kinesis Data Analytics con la escritura de código SQL?
Kinesis Data Analytics incluye una biblioteca de plantillas de análisis para casos de uso comunes, incluidos filtros de streaming, períodos de tiempo excedidos y detección de anomalías. Puede obtener acceso a estas plantillas desde el editor de SQL en la consola de administración de AWS. Después de crear una aplicación y dirigirse al editor de SQL, las plantillas estarán disponibles en la esquina superior izquierda de la consola.
 
P: ¿Cómo puedo llevar a cabo la detección de anomalías en tiempo real en Kinesis Data Analytics?
Kinesis Data Analytics incluye funciones SQL integradas para varias tareas de análisis avanzado, incluida una para la detección de anomalías. Puede realizar una llamada a esta función desde el código SQL para que detecte anomalías en tiempo real. Kinesis Data Analytics utiliza el algoritmo Random Cut Forest para implementar la detección de anomalías. Para obtener más información sobre Random Cut Forests, consulte el documento técnico Streaming Data Anomaly Detection (Detección de anomalías en datos de streaming).

Configuración de destinos en aplicaciones SQL

P: ¿Cuáles son los destinos compatibles?
Kinesis Data Analytics para SQL admite hasta tres destinos por aplicación. Puede almacenar los resultados de SQL en Simple Storage Service (Amazon S3), Amazon Redshift y Amazon OpenSearch Service (a través de Amazon Kinesis Data Firehose) y Amazon Kinesis Data Streams. Puede escribir en un destino que no sea compatible directamente con Kinesis Data Analytics mediante el envío de los resultados SQL a Amazon Kinesis Data Streams y el uso de la integración con AWS Lambda para enviarlos al destino que elija.
 
P: ¿Cómo puedo configurar un destino?
El código de la aplicación, escribe la salida de los enunciados SQL en una o más transmisiones en aplicación. De forma opcional, puede agregar una configuración de salida a su aplicación para enviar todo lo escrito en transmisiones en aplicación específicas hasta a cuatro destinos externos. Estos destinos externos pueden ser un bucket de Simple Storage Service (Amazon S3), una tabla de Amazon Redshift, un dominio de Amazon OpenSearch Service (a través de Amazon Kinesis Data Firehose) y una secuencia de datos de Amazon Kinesis. Cada aplicación es compatible con hasta cuatro destinos, que pueden ser una combinación de los anteriores. Para obtener más información, consulte la sección Configuring Output Streams (Configuración de transmisiones de salida) de la Guía para desarrolladores de SQL de Amazon Kinesis Data Analytics.
 
P: Mi destino de preferencia no se admite directamente. ¿Cómo puedo enviar resultados SQL a este destino?
Puede utilizar AWS Lambda para escribir en un destino que no es compatible directamente mediante Kinesis Data Analytics para SQL. Le aconsejamos que escriba los resultados en una transmisión de datos de Amazon Kinesis y, a continuación, utilice AWS Lambda para leer los resultados procesados y enviarlos al destino que elija. Para obtener más información, consulte la sección Example: AWS Lambda Integration (Ejemplo: Integración con AWS Lambda) en la Guía para desarrolladores de SQL de Amazon Kinesis Data Analytics. Opcionalmente, puede utilizar una secuencia de entrega de Kinesis Data Firehose para cargar los datos en Amazon S3 y, a continuación, activar una función de AWS Lambda para leer los datos y enviarlos al destino que elija. Para obtener más información, consulte la sección Uso de AWS Lambda con Amazon S3 en la Guía para desarrolladores de AWS Lambda.
 
P: ¿Qué modelo de entrega proporciona Kinesis Data Analytics?
Las aplicaciones de SQL en Kinesis Data Analytics utilizan un modelo de entrega de "al menos una vez" para el elemento de salida de la aplicación en los destinos configurados. Las aplicaciones de Kinesis Data Analytics tienen puntos de control internos, que son momentos determinados en los que los registros de salida se entregaron al destino sin que se haya producido ninguna pérdida de datos. El servicio utiliza los puntos de control necesarios para garantizar que los elementos de salida de la aplicación se entreguen al menos una vez en los destinos configurados. Para obtener más información sobre el modelo de entrega, consulte la sección Configuring Application Output (Configuración de la salida de la aplicación) en la Guía para desarrolladores de Amazon Kinesis Data Analytics para SQL.

Comparación con otras soluciones de procesamiento de transmisiones

P: ¿Qué diferencias existen entre Amazon Kinesis Data Analytics y ejecutar mi propia aplicación con la biblioteca de clientes de Amazon Kinesis?
La biblioteca de clientes de Amazon Kinesis (KCL) es una biblioteca preintegrada que permite desarrollar aplicaciones de consumo para la lectura y el procesamiento de datos procedentes de un streaming de datos de Amazon Kinesis. La KCL se encarga de administrar las cuestiones complejas, como la adaptación a los cambios de volumen de la transmisión de datos, el equilibrio de carga de los datos de streaming, la coordinación de servicios distribuidos y el procesamiento de datos con tolerancia a errores. La KCL le permite concentrarse en la lógica de negocio al momento de desarrollar aplicaciones. 
 
Con Kinesis Data Analytics, puede procesar los datos de streaming y realizar consultas en tiempo real. Puede utilizar SQL estándar para procesar las transmisiones de datos, sin necesidad de aprender ningún lenguaje de programación nuevo. Basta con apuntar Kinesis Data Analytics a una transmisión de datos de entrada, escribir las consultas en SQL y especificar dónde desea que se carguen los resultados. Kinesis Data Analytics utiliza la KCL para leer datos de orígenes de datos de streaming como parte de la aplicación subyacente. El servicio lo libera de esta tarea, así como de muchos de los conceptos más complejos relacionados con el uso de la KCL, como los puntos de control. 
 
Si desea una solución completamente administrada y quiere utilizar SQL para procesar los datos de su transmisión de datos, debería utilizar Kinesis Data Analytics. Utilice la KCL si necesita crear una solución de procesamiento personalizada y Kinesis Data Analytics no satisface sus requisitos particulares. De ese modo, podrá administrar la aplicación de consumo resultante.

Acuerdo de nivel de servicios

P: ¿Qué se garantiza en el acuerdo de nivel de servicio de Amazon Kinesis Data Analytics?

Mediante el acuerdo de nivel de servicio de Amazon Kinesis Data Analytics se garantiza un porcentaje de tiempo de funcionamiento mensual de al menos 99,9 % para Amazon Kinesis Data Analytics.

P: ¿Cómo sé si reúno los requisitos para recibir un crédito de servicio del SLA?

Será elegible para recibir crédito según el acuerdo de servicio de Amazon Kinesis Data Analytics si más de una zona de disponibilidad en las que ejecuta una tarea, dentro de la misma región, tiene un porcentaje de tiempo de actividad mensual inferior al 99,9 % durante cualquier ciclo de facturación mensual. Para obtener información completa sobre los términos y las condiciones del acuerdo, así como detalles sobre cómo enviar una reclamación, consulte la página de información del acuerdo de servicio de Amazon Kinesis.

Comience a utilizar Amazon Kinesis Data Analytics

Visite la p&aacute;gina de precios de Kinesis Data Analytics
Calcule sus costos

Visite la página de precios de Amazon Kinesis Data Analytics.

Read the documentation
Consulte la guía de introducción

Aprenda a usar Amazon Kinesis Data Analytics con esta guía paso a paso para SQL o Apache Flink.

Comience a crear en la consola
Comience a crear aplicaciones de streaming

Cree su primera aplicación de streaming a partir de la consola de Amazon Kinesis Data Analytics.