¿Qué se logra con esta implementación de soluciones de AWS?

Muchas organizaciones utilizan informes de streaming de datos en lotes en tiempo real para obtener información estratégica y accionable sobre las tendencias comerciales a largo plazo. Con un número cada vez mayor de clientes que usan procesamiento de datos de streaming con datos nuevos y dinámicos generados continuamente en casos de uso de big data. Los datos de streaming se utilizan para producir informes, realizar acciones basadas en umbrales o realizar formas más sofisticadas de análisis de datos, como aplicar algoritmos de aprendizaje automático.

La solución Real-Time Analytics with Spark Streaming configura en forma automática los servicios AWS necesarios para incorporar, almacenar, procesar y analizar fácilmente los datos en tiempo real y en lote utilizando funciones de arquitectura inteligente comercial y arquitectura de big data. Esta solución implementa una arquitectura de análisis de streaming altamente disponible, segura, flexible y rentable en la nube de AWS que utiliza Apache Spark Streaming y Amazon Kinesis. En la siguiente sección se asumen conocimientos básicos sobre el diseño de arquitecturas en la nube de AWS, el streaming de datos y el análisis de datos.

Información general sobre la implementación de soluciones de AWS

Esta solución configura de forma automática una arquitectura de procesamiento de datos en tiempo real y por lotes en AWS. La solución de Real-Time Analytics con Spark Streaming se diseñó para admitir las aplicaciones personalizadas de Apache Spark Streaming. Además, utiliza Amazon EMR para el procesamiento de grandes cantidades de datos en instancias escalables dinámicamente de Amazon Elastic Compute Cloud (Amazon EC2). En el siguiente esquema se muestra la arquitectura de análisis en tiempo real que puede implementar en minutos mediante el uso de la guía de implementación de la solución y la plantilla de AWS CloudFormation correspondiente.

Real-Time Analytics con Spark Streaming | Diagrama de arquitectura
 Haga clic para ampliar

Arquitectura de la solución Real-Time Analytics con Spark Streaming

La solución implementa una red de Amazon Virtual Private Cloud (Amazon VPC) con una subred pública y una subred privada. La subred pública contiene una gateway NAT y un alojamiento bastión. La subred privada aloja el clúster de Amazon EMR con Apache Zeppelin.

Utilice la aplicación personalizada de Spark Streaming o implemente la aplicación de demostración proporcionada por AWS para lanzar un entorno de procesamiento de datos de muestra. La aplicación se implementa en el clúster de Amazon EMR.

Amazon Kinesis Data Streams recopila datos provenientes de orígenes de datos y los envía a través de una gateway NAT al clúster de Amazon EMR. Después de que la aplicación de Spark Streaming procesa los datos, esta almacena los datos en un bucket de Amazon S3.

Real-Time Analytics con Spark Streaming

Versión 1.1.0
Última actualización: 04/2020
Autor: AWS

Tiempo estimado de implementación: 15 minutos

Utilice el siguiente botón para suscribirse a las actualizaciones de la solución.

Nota: Para suscribirse a las actualizaciones de RSS, debe disponer de un complemento de RSS habilitado para el navegador que utilice.  

¿Lo ayudó esta implementación de soluciones?
Proporcione su opinión 

Características

Implementación de referencia de Real-Time Analytics con Spark Streaming

La solución de Real-Time Analytics con Spark Streaming es una referencia de implementación proporcionada por AWS que configura y aprovisiona de forma automática los servicios de AWS necesarios para comenzar a procesar datos en tiempo real y por lotes en cuestión de minutos.

Aplicación de Spark Streaming

Esta solución se diseñó para utilizar su aplicación propia escrita en Java o Scala, pero además incluye una aplicación de demostración que se puede implementar para realizar pruebas.

Compatibilidad con Apache Zeppelin

Esta solución utiliza Apache Zeppelin, un bloc de notas basado en la web para el análisis de datos interactivo, a fin de permitir que los clientes visualicen tanto los datos en tiempo real como por lotes.
Ícono de creación
Implemente usted mismo una solución

Consulte nuestra biblioteca de Implementaciones de soluciones de AWS para obtener respuestas a problemas de arquitectura comunes.

Más información 
Buscar un socio de APN
Buscar un socio de APN

Encuentre socios consultores y tecnológicos certificados por AWS que lo ayudarán a comenzar.

Más información 
Ícono de exploración
Explore las ofertas de asesoramiento sobre soluciones

Explore nuestra cartera de ofertas de asesoramiento para obtener ayuda autorizada por AWS con la implementación de la solución.

Más información