Aspectos generales
Usar Apache Beam para crear su aplicación de Kinesis Data Analytics es muy similar a comenzar con Apache Flink. Siga las instrucciones de la pregunta anterior y asegúrese de instalar los componentes necesarios para que las aplicaciones se ejecuten en Apache Beam, según las instrucciones de la guía para desarrolladores. Tenga en cuenta que Kinesis Data Analytics solo es compatible con Java SDK cuando se ejecuta en Apache Beam.
Sí, mediante el uso de los conectores de Apache Flink DataStream, las aplicaciones de Amazon Kinesis Data Analytics for Apache Flink pueden utilizar AWS Glue Schema Registry, una característica sin servidor de AWS Glue. Puede integrar Apache Kafka/Amazon MSK y Amazon Kinesis Data Streams, como receptor u origen, con sus cargas de trabajo de Amazon Kinesis Data Analytics for Apache Flink. Consulte la documentación del usuario de Schema Registry a fin de comenzar y obtener más información.
Conceptos clave
Administración de aplicaciones
- Monitoreo de Kinesis Data Analytics en la Guía para desarrolladores de Amazon Kinesis Data Analytics para Apache Flink.
- Monitoreo de Kinesis Data Analytics en la Guía para desarrolladores SQL de Amazon Kinesis Data Analytics.
- Concesión de permisos en la Guía para desarrolladores de Amazon Kinesis Data Analytics para Apache Flink.
- Concesión de permisos en la Guía para desarrolladores SQL de Amazon Kinesis Data Analytics.
Precios y facturación
Para las aplicaciones de Apache Flink y Apache Beam, si la aplicación de Kinesis Data Analytics está en ejecución, se le cobrará un mínimo de dos KPU y 50 GB. Para las aplicaciones SQL, si la aplicación de Kinesis Data Analytics está en ejecución, se le cobrará un mínimo de una KPU.
Creación de aplicaciones de Apache Flink
Autorización de código de aplicación para aplicaciones mediante Apache Flink
DataStream <GameEvent> rawEvents = env.addSource(
New KinesisStreamSource(“input_events”));
DataStream <UserPerLevel> gameStream =
rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId,
event.gameMetadata.levelId,event.userId));
gameStream.keyBy(event -> event.gameId)
.keyBy(1)
.window(TumblingProcessingTimeWindows.of(Time.minutes(1)))
.apply(...) - > {...};
gameStream.addSink(new KinesisStreamSink("myGameStateStream"));
- Origen de datos de streaming: Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams
- Destinos o receptores: Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon DynamoDB, Amazon Elasticsearch Service y Amazon S3 (a través de integraciones de receptores de archivo)
Sí. Puede usar aplicaciones de Kinesis Data Analytics para Apache Flink para replicar datos entre Amazon Kinesis Data Streams, Amazon MSK y otros sistemas. Un ejemplo presentado en la documentación demuestra cómo leer de un tema Amazon MSK y escribir en otro.
Sí, admite aplicaciones de streaming creadas con Apache Beam SDK para Java versión 2.23. Puede crear aplicaciones de streaming de Apache Beam en Java y ejecutarlas con Apache Flink 1.8 en Amazon Kinesis Data Analytics, Apache Spark que se ejecuta en las instalaciones y otros motores de ejecución compatibles con Apache.
P: ¿Qué es Apache Beam?
Apache Beam es un modelo unificado de código abierto para definir aplicaciones de procesamiento de datos por lotes y de streaming por secuencias que se pueden ejecutar en varios motores de ejecución.
Creación de aplicaciones SQL
Configuración de los elementos de entrada para aplicaciones SQL
Creación de código de aplicación para aplicaciones SQL
- Utilice siempre un enunciado SELECT en el contexto de un enunciado INSERT. Cuando selecciona filas, introduce resultados en otra transmisión en aplicación.
- Utilice un enunciado INSERT en el contexto de una bomba. Utiliza una bomba para hacer que un enunciado INSERT sea continuo, y escribir a una transmisión en aplicación.
- Utiliza una bomba para emparejar transmisiones en aplicación, seleccionando datos de una transmisión en aplicación e introduciéndolos en otra transmisión en aplicación.
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" (
ticker_symbol VARCHAR(4),
change DOUBLE,
price DOUBLE);
CREATE OR REPLACE PUMP "STREAM_PUMP" AS
INSERT INTO "DESTINATION_SQL_STREAM"
SELECT STREAM ticker_symbol, change, price
FROM "SOURCE_SQL_STREAM_001";
Configuración de destinos en aplicaciones SQL
Comparación con otras soluciones de procesamiento de transmisiones
Acuerdo de nivel de servicios
P: ¿Qué se garantiza en el acuerdo de nivel de servicio de Amazon Kinesis Data Analytics?
Mediante el acuerdo de nivel de servicio de Amazon Kinesis Data Analytics se garantiza un porcentaje de tiempo de funcionamiento mensual de al menos 99,9 % Amazon Kinesis Data Analytics.
P: ¿Cómo sé si reúno los requisitos para recibir un crédito para el servicio del SLA?
Será elegible para recibir crédito del acuerdo para Amazon Kinesis Data Analytics bajo el acuerdo de Amazon Kinesis Data Analytics si más de una zona de disponibilidad en las que ejecuta una tarea, dentro de la misma región, tiene un porcentaje de tiempo de funcionamiento mensual inferior al 99,9 % durante cualquier ciclo de facturación mensual.
Para obtener información completa sobre los términos y las condiciones del acuerdo, así como detalles sobre cómo enviar una reclamación, consulte la página con detalles del acuerdo de Amazon Kinesis.
Comience a utilizar Amazon Kinesis Data Analytics

Aprenda a usar Amazon Kinesis Data Analytics con esta guía paso a paso para SQL o Apache Flink.

Cree su primera aplicación de streaming a partir de la consola de Amazon Kinesis Data Analytics.