Código abierto

Amazon Kinesis Data Analytics incluye bibliotecas de código abierto tales como Apache Flink, Apache BeamApache Zeppelin, AWS SDK e integraciones de servicios de AWS. Apache Flink es un marco y motor de código abierto que sirve para crear aplicaciones de streaming precisas y de alta disponibilidad. Apache Beam es un modelo unificado de código abierto para definir aplicaciones de procesamiento de datos por lotes y streaming que se ejecutan en varios motores de ejecución. Los kits de desarrollo de software (SDK) de AWS ayudan a eliminar la complejidad de la codificación para muchos servicios de AWS al proporcionar interfaces de programa de aplicaciones (API) en su idioma preferido e incluyen las bibliotecas, ejemplos de código y documentación de AWS.

API flexibles

Kinesis Data Analytics ofrece API flexibles en Java, Scala, Python y SQL especializadas para diferentes casos de uso, incluido el procesamiento de eventos con estado, streaming de ETL y análisis en tiempo real. Los operadores preintegrados y las capacidades de análisis le permiten crear una aplicación de streaming de Apache Flink en unas horas, en lugar de meses. Las bibliotecas de Kinesis Data Analytics son extensibles, por lo que puede realizar un procesamiento en tiempo real para una amplia variedad de casos de uso.

Integraciones de servicios de AWS

Puede configurar e integrar un destino u origen de datos con un código mínimo. Puede usar las bibliotecas de Amazon Kinesis Data Analytics para integrarse con Amazon Simple Storage Service (S3), Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon OpenSearch Service, Amazon DynamoDB, Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon CloudWatch y AWS Glue Schema Registry.

Capacidades avanzadas de integración

Además de las integraciones de AWS, las bibliotecas de Kinesis Data Analytics incluyen más de 10 conectores de Apache Flink y la capacidad de crear integraciones personalizadas. Con un par de líneas más de código, puede modificar el comportamiento de cada integración con la funcionalidad avanzada. También puede crear integraciones personalizadas mediante un conjunto de primitivas de Apache Flink que le permiten leer y escribir desde archivos, directorios, conectores u otras fuentes a las que puede acceder a través de Internet.

Compatible con AWS Glue Schema Registry

Kinesis Data Analytics para Apache Flink es compatible con AWS Glue Schema Registry. Esta característica de AWS Glue sin servidor le permite validar y controlar la evolución del streaming de datos mediante esquemas de Apache Avro registrados, sin cargo adicional. Schema Registry lo ayuda a administrar sus esquemas en cargas de trabajo de Kinesis Data Analytics para Apache Flink conectadas a Apache Kafka, Amazon Managed Streaming for Apache Kafka (MSK) o Amazon Kinesis Data Streams, ya sea como origen o receptor. Cuando las aplicaciones de streaming de datos se integran con el registro de esquemas, puede mejorar la calidad de los datos y protegerse contra cambios inesperados mediante verificaciones de compatibilidad que controlan la evolución del esquema.

Procesamiento único

Use Apache Flink en Kinesis Data Analytics para crear aplicaciones en las que los registros procesados afectan los resultados exactamente una vez, lo que se conoce como procesamiento único. Incluso en el caso de una interrupción de la aplicación, como el mantenimiento del servicio interno o la actualización de la aplicación iniciada por el usuario, el servicio garantizará que todos los datos se procesen y que no haya datos duplicados.

Procesamiento con estado

El servicio almacena el procesamiento, o estado, previo y en curso en el almacenamiento de la aplicación en ejecución. Compare resultados pasados y actuales durante cualquier periodo de tiempo y logre una recuperación rápida durante las interrupciones de la aplicación. El estado siempre está cifrado y se guarda de manera progresiva en el almacenamiento de la aplicación en ejecución.

Copias de seguridad de aplicaciones duraderas

Puede crear y eliminar copias de seguridad de aplicaciones duraderas a través de una simple llamada a la API. Restaure inmediatamente sus aplicaciones desde la última copia de seguridad después de una interrupción, o restaure su aplicación a una versión anterior. 

Amazon Kinesis Data Analytics Studio

Inspección y visualización de transmisiones

Kinesis Data Analytics Studio admite consultas en menos de un segundo con visualizaciones integradas. Puede llevar a cabo consultas ad-hoc para inspeccionar rápidamente su secuencia de datos y ver los resultados en segundos.

Entorno sencillo de compilación y ejecución

Los blocs de notas de Studio ofrecen una experiencia de desarrollo con una sola interfaz para desarrollar, depurar código y ejecutar aplicaciones de procesamiento de transmisión.

Proceso mediante SQL, Python o Scala

Kinesis Data Analytics Studio admite SQL, Python y Scala en el mismo entorno de desarrollo. El resaltado de la sintaxis, la validación y las sugerencias sensibles al contexto lo guían dentro del bloc de notas para interactuar con sus datos con soporte integrado para capacidades específicas de Apache Flink.

Desarrollo rápido de aplicaciones de procesamiento de flujo sin servidor

No hay servidores para aprovisionar, administrar o escalar. Simplemente escriba código y pague por los recursos que consumen sus aplicaciones. Implemente con facilidad su código en el bloc de notas a una aplicación de procesamiento de transmisión en ejecución continua con autoescalado y estado duradero.

Código abierto

Kinesis Data Analytics Studio se ejecuta y produce aplicaciones de Apache Flink utilizadas en producción y los blocs de notas de Apache Zeppelin proporcionan una experiencia familiar y fácil de usar para la creación de aplicaciones de streaming en el lenguaje preferido.

Se integra con AWS Glue Data Catalog

AWS Glue Data Catalog es un almacenamiento de metadatos persistente que sirve como repositorio central que contiene definiciones de tablas. Puede usar el catálogo de datos de AWS Glue para descubrir y buscar con rapidez en numerosos conjuntos de datos de AWS. Kinesis Data Analytics Studio es compatible con AWS Glue Data Catalog, en el que puede definir el esquema de sus tablas de origen y destino.

Aplicaciones SQL de Kinesis Data Analytics

Para los nuevos proyectos, recomendamos usar el nuevo Kinesis Data Analytics Studio en lugar de Kinesis Data Analytics para aplicaciones SQL. Kinesis Data Analytics Studio combina la facilidad de uso con las capacidades analíticas avanzadas, lo que le permite crear sofisticadas aplicaciones de procesamiento de streaming en cuestión de minutos.

Compatible con SQL estándar

Kinesis Data Analytics Studio es compatible con ANSI SQL estándar, por lo que solo necesita familiarizarse con SQL.

Entrada y salida integradas

Kinesis Data Analytics se integra con Amazon Kinesis Data Streams y Amazon Kinesis Data Firehose para que pueda capturar fácilmente datos de streaming. Solo dirija Kinesis Data Analytics a la transmisión de entrada y automáticamente leerá los datos, los analizará y los pondrá a disposición para su procesamiento. Puede enviar resultados procesados a otros servicios de AWS, incluidos Simple Storage Service (Amazon S3), Amazon Redshift y Amazon OpenSearch Service a través de Kinesis Data Firehose. Además, puede enviar datos de salida a Amazon Kinesis Data Streams para crear canalizaciones de procesamiento de transmisiones avanzadas.

Editor SQL basado en consola

Utilice un editor basado en consola para crear consultas SQL mediante operaciones de streaming de datos como promedios de ventana de tiempo deslizante. También puede ver resultados y errores de streaming con datos en directo para la depuración de errores o para perfeccionar su script de forma interactiva.

Editor de esquemas fácil de usar

Kinesis Data Analytics proporciona un editor de esquemas fácil de usar para descubrir y editar la estructura de datos de entrada. El asistente reconoce de manera automática los formatos de datos estándares como JSON y CSV. Infiere la estructura de los datos de entrada para crear un esquema de referencia, que puede perfeccionar aún más con el editor de esquemas.

Plantillas de SQL incorporadas

El editor de SQL interactivo incorpora un conjunto de plantillas de SQL que proporcionan un código SQL básico para los tipos de operaciones más comunes, como la acumulación, la transformación por evento y el filtrado. Basta con seleccionar la plantilla adecuada para la tarea de análisis y editar el código proporcionado con el editor SQL para personalizarlo para su caso de uso específico.

Funciones de procesamiento de transmisiones avanzadas

Kinesis Data Analytics ofrece funciones optimizadas para el procesamiento de streaming, de modo que pueda realizar fácilmente análisis avanzados, como la detección de anomalías y el análisis Top-K en sus datos de transmisión.

Introducción a Amazon Kinesis Data Analytics

Visite la página de precios de Kinesis Data Analytics
Calcule sus costos

Visite la página de precios de Amazon Kinesis Data Analytics.

Consulte la guía de introducción
Consulte la guía de introducción

Aprenda a usar Amazon Kinesis Data Analytics con esta guía paso a paso para SQL y Apache Flink.

Comience a crear en la consola
Comience a crear aplicaciones de streaming

Cree su aplicación de streaming a partir de la consola de Amazon Kinesis Data Analytics.