Puede crear aplicaciones de streaming con Apache Flink y Apache Beam
Paso 1: descargue las bibliotecas de código abierto en su IDE preferido
Puede comenzar por descargar las bibliotecas de código abierto, incluidos el AWS SDK, Apache Flink y los conectores para los servicios de AWS.
Paso 2: cree una aplicación de muestra en Apache Flink o Apache Beam
Puede escribir su código de aplicación Apache Flink con secuencias de datos y operadores de secuencia. Las secuencias de datos de la aplicación son la estructura de datos con la que puede realizar el procesamiento en lugar de utilizar su código de aplicación. Los datos fluyen de manera continua desde las fuentes hacia las secuencias de datos de aplicaciones. Uno o más operadores de secuencia están acostumbrados a definir su proceso en las secuencias de datos de aplicaciones.
Paso 3: Cargue su código a Kinesis Data Analytics.
Una vez finalizado el proceso de creación, tiene que cargar su código a Amazon Kinesis Data Analytics y el servicio se ocupará de todo lo necesario para ejecutar sus aplicaciones de funcionamiento en tiempo real de forma continua, incluido el escalado automático para adaptarse al volumen y rendimiento de los datos de entrada.
Es muy fácil comenzar a usar Amazon Kinesis Data Analytics Studio
Paso 1: cree una aplicación de Amazon Kinesis Data Analytics Studio
Puede empezar en la consola de Amazon Kinesis Data Analytics, Amazon MSK o Amazon Kinesis Data Streams. También puede utilizar conectores personalizados para conectarse a cualquier otro origen de datos.
Paso 2: escribir código en el bloc de notas sin servidor en SQL, Python y Scala y desarrollar aplicaciones Apache Flink rápidamente
Puede ejecutar párrafos individuales en el bloc, ver los resultados en contexto y utilizar la visualización integrada de Apache Zeppelin para acelerar el desarrollo. También puede utilizar funciones definidas por el usuario en el código.
Paso 3: crear e implementar como una aplicación de streaming de Kinesis Data Analytics
Puede implementar el código como una aplicación de procesamiento de streaming que se ejecuta de forma continua con tan solo unos pocos clics. Su aplicación implementada será una aplicación Kinesis Data Analytics para Apache Flink con estado duradero y autoescalado. También tendrá la oportunidad de cambiar los orígenes, los destinos, los registros y los niveles de monitoreo antes de poner en producción su código.
Comience a utilizar SQL de Amazon Kinesis Data Analytics
Para empezar, cree una aplicación de Amazon Kinesis Data Analytics nueva. Seleccione la transmisión de demostración que proporcionamos como elemento de entrada, elija una plantilla y edite la consulta SQL. A continuación, puede ver los resultados en la consola o cargar los elementos la salida en Amazon Elasticsearch Service y visualizarlos con Kibana. Al cabo de unos minutos, podrá implementar una aplicación de datos de streaming completa.
Paso 1: Configure la secuencia de elementos de entrada.
Primero, vaya a la consola de Amazon Kinesis Data Analytics y seleccione una secuencia de datos de Kinesis o una secuencia de entrega de Kinesis Data Firehose como elemento de entrada. Amazon Kinesis Data Analytics incorpora los datos, reconoce automáticamente los formatos estándar y sugiere un esquema. Puede modificar el esquema o, si los datos de entrada no están estructurados, puede definir un esquema nuevo con el editor de esquemas intuitivo.
Paso 2: Escriba sus consultas en SQL.
A continuación, escriba sus consultas en SQL para procesar los datos de streaming con el editor de SQL y las plantillas integradas de Amazon Kinesis Data Analytics, y pruébelas con datos de streaming en vivo.
Paso 3: Configure la secuencia de elementos de salida.
Por último, seleccione los destinos donde quiera que se carguen los resultados. Amazon Kinesis Data Analytics se integra a la perfección con Amazon Kinesis Data Streams y Amazon Kinesis Data Firehose, por lo que resulta sencillo enviar resultados procesados a Amazon S3, Amazon Redshift, Amazon Elasticsearch Service o al destino que elija.
Aprendizaje electrónico
Formación autodidacta para crear aplicaciones Apache Flink en Amazon Kinesis Data Analytics
En este taller, creará una arquitectura de streaming integral para la ingesta, análisis y visualización de datos de streaming casi en tiempo real. Se propone mejorar las operaciones de una empresa de taxis en la ciudad de Nueva York. Analizará casi en tiempo real los datos de telemetría de una flota de taxis de la ciudad de Nueva York para optimizar las operaciones.
Solución de datos de streaming de AWS para Amazon Kinesis
Utilice una solución preintegrada para comenzar rápidamente. Utilice la solución de datos de streaming de AWS para Amazon Kinesis para poder resolver casos de uso de streaming en tiempo real como la captura de registros de aplicaciones de gran volumen, el análisis de datos de secuencias de clics, la entrega continua a un lago de datos y más.
Introducción a Amazon Kinesis Data Analytics para Apache Flink
El video de formación de 15 minutos explica cómo puede usar las aplicaciones Apache Flink en Amazon Kinesis Data Analytics para obtener más información puntual de sus datos.
Introducción a Amazon Kinesis Data Analytics
Aprenda a usar Amazon Kinesis Data Analytics con esta guía paso a paso para SQL o Apache Flink.
Cree su aplicación de streaming a partir de la consola de Amazon Kinesis Data Analytics.