La mejor forma de comenzar a usar Amazon Kinesis Data Analytics es obtener experiencia práctica mediante la creación de una aplicación de muestra. Simplemente vaya a la consola de Amazon Kinesis Data Analytics y cree una nueva aplicación de Amazon Kinesis Data Analytics. Utilice los siguientes pasos, en función de si elige (i) una aplicación de Apache Flink mediante un IDE (Java, Scala o Python) o una aplicación de Apache Beam (Java), (ii) una aplicación bloc de notas de Studio (Apache Flink SQL, Python o Scala mediante una experiencia de desarrollo interactiva) o (iii) una aplicación basada en Kinesis Data Analytics SQL mediante un editor de consola:
Puede crear aplicaciones de streaming con Apache Flink y Apache Beam
Para empezar, cree una aplicación de Kinesis Data Analytics que lea y procese constantemente datos de streaming. Descargue las bibliotecas de Apache Flink de código abierto usando su IDE preferido; luego, escriba su código de aplicación y pruébela con datos de streaming en vivo. Puede configurar los destinos a los que desea enviar los resultados de Kinesis Data Analytics.
Puede leer instrucciones sobre cómo descargar las bibliotecas y crear su primera aplicación en la Guía para desarrolladores de Apache Flink de Amazon Kinesis Data Analytics. Aquí también encontrará los componentes necesarios para ejecutar aplicaciones que utilizan Apache Beam. Puede encontrar un código equivalente en otros idiomas que Apache Flink admita en la documentación oficial de Apache Flink para la versión de Apache Flink que esté usando en Amazon Kinesis Data Analytics.
Paso 1: Descargue las bibliotecas de código abierto en su IDE preferido
Puede empezar por descargar las bibliotecas de código abierto que incluyen el SDK de AWS, Apache Flink y conectores para servicios de AWS.
Paso 2: Cree una aplicación de muestra en Apache Flink o Apache Beam
Puede escribir su código de aplicación Apache Flink con secuencias de datos y operadores de secuencia. Las secuencias de datos de la aplicación son la estructura de datos con la que puede realizar el procesamiento en lugar de utilizar su código de aplicación. Los datos fluyen de manera continua desde las fuentes hacia las secuencias de datos de aplicaciones. Uno o más operadores de secuencia están acostumbrados a definir su proceso en las secuencias de datos de aplicaciones.
Paso 3: Cargue su código a Kinesis Data Analytics.
Una vez finalizado el proceso de creación, debe cargar su código a Amazon Kinesis Data Analytics y el servicio se ocupará de todo lo necesario para ejecutar sus aplicaciones de funcionamiento en tiempo real de forma continua, incluido el ajuste de escala automático para adaptarse al volumen y nivel de procesamiento de los datos de entrada.
Introducción a la Guía del desarrollador de Apache Flink
La sección Introducción a Amazon Kinesis Data Analytics para aplicaciones en Apache Flink de la Guía de desarrollador ofrece un recorrido simple que explica cómo crear su primera aplicación.
Utilice una solución preconstruida para comenzar rápidamente
Utilice la solución de datos de transmisión de AWS para Amazon Kinesis para poder resolver casos de uso de transmisión en tiempo real como la captura de registros de aplicaciones de gran volumen, el análisis de datos de transmisión de clics, la entrega continua a un lago de datos y más.
Introducción a Amazon Kinesis Data Analytics para Apache Flink
El video de formación de 15 minutos explica cómo puede usar las aplicaciones Apache Flink en Amazon Kinesis Data Analytics para obtener más información puntual de sus datos.
Es muy fácil comenzar a usar Amazon Kinesis Data Analytics Studio
Para empezar, cree una aplicación de Kinesis Data Analytics Studio. Inicie la aplicación y abra el bloc de notas de Apache Zeppelin y escriba el código de su aplicación en SQL, Python y Scala, con un motor de procesamiento de streaming con tecnología Apache Flink. Pruebe su aplicación con datos de streaming en directo y vea qué aspecto tienen sus datos de streaming con las consultas SQL y la visualización incorporada. Puede configurar los destinos a los que desea enviar los resultados de Kinesis Data Analytics. De forma opcional, puede promover su código en la nota a una aplicación de streaming de Apache Flink de larga duración con estado duradero y autoescalado.
En la Guía para desarrolladores de Amazon Kinesis Data Analytics Studio puede obtener instrucciones sobre cómo empezar. También encontrará ejemplos para probar varias consultas de SQL y programas de muestra de Python y Scala sobre sus datos de streaming.
Paso 1: crear una aplicación de Amazon Kinesis Data Analytics Studio
Puede empezar en la consola de Amazon Kinesis Data Analytics, Amazon MSK o Amazon Kinesis Data Streams. También puede utilizar conectores personalizados para conectarse a cualquier otro origen de datos.
Paso 2: escribir código en el bloc de notas sin servidor en SQL, Python y Scala y desarrollar aplicaciones Apache Flink rápidamente
Puede ejecutar párrafos individuales en el bloc, ver los resultados en contexto y utilizar la visualización integrada de Apache Zeppelin para acelerar el desarrollo. También puede utilizar funciones definidas por el usuario en el código.
Paso 3: crear e implementar como una aplicación de streaming de Kinesis Data Analytics
Puede implementar el código como una aplicación de procesamiento de streaming que se ejecuta de forma continua con tan solo unos pocos clics. Su aplicación implementada será una aplicación Kinesis Data Analytics para Apache Flink con estado duradero y autoescalado. También tendrá la oportunidad de cambiar los orígenes, los destinos, los registros y los niveles de monitoreo antes de poner en producción su código.
Comience a utilizar SQL de Amazon Kinesis Data Analytics
Para empezar, cree una aplicación de Amazon Kinesis Data Analytics nueva. Seleccione la transmisión de demostración que proporcionamos como elemento de entrada, elija una plantilla y edite la consulta SQL. A continuación, puede ver los resultados en la consola o cargar los elementos la salida en Amazon Elasticsearch Service y visualizarlos con Kibana. Al cabo de unos minutos, podrá implementar una aplicación de datos de streaming completa.
Paso 1: Configure la secuencia de elementos de entrada.
Primero, vaya a la consola de Amazon Kinesis Data Analytics y seleccione una secuencia de datos de Kinesis o una secuencia de entrega de Kinesis Data Firehose como elemento de entrada. Amazon Kinesis Data Analytics incorpora los datos, reconoce automáticamente los formatos estándar y sugiere un esquema. Puede modificar el esquema o, si los datos de entrada no están estructurados, puede definir un esquema nuevo con el editor de esquemas intuitivo.
Paso 2: Escriba sus consultas en SQL.
A continuación, escriba sus consultas en SQL para procesar los datos de streaming con el editor de SQL y las plantillas integradas de Amazon Kinesis Data Analytics, y pruébelas con datos de streaming en vivo.
Paso 3: Configure la secuencia de elementos de salida.
Por último, seleccione los destinos donde quiera que se carguen los resultados. Amazon Kinesis Data Analytics se integra a la perfección con Amazon Kinesis Data Streams y Amazon Kinesis Data Firehose, por lo que resulta sencillo enviar resultados procesados a Amazon S3, Amazon Redshift, Amazon Elasticsearch Service o al destino que elija.
Ejemplos introductorios
Los siguientes recursos proporcionan aplicaciones de datos de streaming de ejemplo e instrucciones paso a paso que puede utilizar para adquirir experiencia práctica.
Funcionamiento
Esta guía para SQL Developer incluye información general acerca de la arquitectura de Amazon Kinesis Data Analytics, la creación de aplicaciones y la configuración de elementos de entrada y salida.
Introducción
En la guía de introducción, se incluyen pasos para configurar una cuenta de AWS y la interfaz de línea de comandos (AWS CLI), y para crear una aplicación de Amazon Kinesis Data Analytics de principiante.
Aplicaciones de ejemplo
En la guía con aplicaciones de ejemplo se incluyen ejemplos de código e instrucciones paso a paso que lo ayudan a crear aplicaciones de Amazon Kinesis Data Analytics y a probar los resultados.
Videos explicativos
Es muy fácil comenzar a usar Kinesis Data Analytics. Los videos explicativos le facilitan aún más el proceso, ya que incluyen información técnica detallada sobre los casos de uso comunes y los flujos de trabajo de procesamiento de transmisiones. También contienen una visión general detallada de las características principales para que pueda realizar su trabajo. Haga clic en los enlaces que aparecen a continuación para ver las grabaciones:
Comience a utilizar Amazon Kinesis Data Analytics
Aprenda a usar Amazon Kinesis Data Analytics con esta guía paso a paso para SQL o Apache Flink.
Cree su aplicación de streaming a partir de la consola de Amazon Kinesis Data Analytics.