Sesiones destacadas de re:Invent 2017
Analyzing streaming data in real time with Amazon Kinesis (ABD301)
Amazon Kinesis facilita la recopilación, el procesamiento y el análisis de datos de streaming generados en tiempo real para obtener información nueva de manera oportuna y tomar acciones rápidamente en función de ella. En esta sesión, presentamos una solución de datos de streaming completa mediante el uso de Kinesis Streams para la ingesta de datos, Kinesis Analytics para el procesamiento en tiempo real y Amazon Data Firehose para lograr persistencia. Analizamos detalladamente cómo escribir consultas SQL con datos de streaming y presentamos prácticas recomendadas para optimizar y controlar las aplicaciones de Kinesis Analytics. Por último, explicamos cómo calcular el costo de todo el sistema.
Workshop: Building your first big data application on AWS (ABD317)
¿Desea incrementar su nivel de conocimiento de los servicios web para big data de AWS y lanzar su primera aplicación para big data en la nube? Le explicamos cómo simplificar el procesamiento de big data mediante un bus de datos que se encarga de las tareas de incorporación, almacenamiento, procesamiento y visualización de datos. Creará una aplicación para big data con los servicios administrados de AWS, incluidos Amazon Athena, Amazon Kinesis, Amazon DynamoDB y Amazon S3. Durante la sesión, analizamos patrones de diseño de arquitecturas para aplicaciones de big data y le otorgamos acceso a un laboratorio personal para que pueda recrear y personalizar la aplicación usted mismo. Para aprovechar al máximo la sesión, debe traer su propia laptop y tener conocimientos de los servicios de AWS.
Taller: Don’t wait until tomorrow; How to use streaming data to gain real-time insights into your business (ABD321)
En los últimos años, hubo un crecimiento exponencial del número de dispositivos conectados y orígenes de datos generados en tiempo real. Por este motivo, los datos se producen de manera continua y el índice de generación está aumentando. Las empresas ya no pueden esperar horas ni días para poder utilizar los datos. Para poder obtener la información más valiosa, deben utilizar los datos inmediatamente, lo que les permite reaccionar rápidamente ante información nueva. En este taller, aprenderá cómo aprovechar los orígenes de datos de streaming para realizar análisis y tomar acciones casi en tiempo real. Se le presentan varios requisitos para un caso de datos de streaming real y se le solicita que cree una solución que cumpla correctamente dichos requerimientos mediante el uso de servicios como Amazon Kinesis, AWS Lambda y Amazon SNS.
How Amazon Flex uses real-time analytics to deliver packages on time (ABD217)
Reducir el tiempo necesario para la obtención de información procesable a partir de datos es importante para todas las empresas y clientes que emplean herramientas de análisis de datos en lotes y están evaluando los beneficios del análisis de streaming. Aprenda prácticas recomendadas para ampliar su arquitectura de data warehouses y bases de datos a soluciones de funcionamiento en tiempo real. Aprenda a usar Amazon Kinesis para obtener información de datos en tiempo real y a integrarla en Amazon Aurora, Amazon RDS, Amazon Redshift y Amazon S3. El equipo Amazon Flex describe de qué manera utilizaron el análisis de streaming en su aplicación móvil con Amazon Flex utilizada por controladores para entregar millones de paquetes al mes a tiempo. Presentan la arquitectura que permitió cambiar un sistema de procesamiento en lotes por un sistema de procesamiento en tiempo real, lo que les permitió superar los desafíos relacionados con la migración de datos en lotes existentes a datos de streaming. Además, explican cuáles fueron los beneficios que obtuvieron del análisis en tiempo real.
Real-time streaming applications on AWS: Use cases and patterns (ABD203)
Para poder destacarse en el mercado y ofrecer experiencias diferenciadas a los clientes, las empresas necesitan poder utilizar datos generados en directo y en tiempo real para permitir la toma de decisiones ágil. En esta sesión, conocerá arquitecturas y casos de uso de procesamiento de datos de streaming comunes. Primero, suministramos información general acerca de los datos de streaming y de las capacidades de AWS relacionadas con datos de streaming. A continuación, analizamos algunos ejemplos de clientes y sus aplicaciones de streaming en tiempo real. Finalmente, describimos arquitecturas y patrones de diseño comunes de los principales casos de uso de datos de streaming.
Cox Automotive Empowered to Scale with Splunk Cloud & AWS (ABD208)
En esta sesión, conoceremos la manera en la que Cox Automotive utiliza Splunk Cloud para visualizar sus entornos híbridos y en AWS en tiempo real y, de esta manera, lograr MTTI casi instantáneos, reducir los incidentes de subastas en un 90 % y predecir cortes de manera proactiva. También presentamos una capacidad muy esperada que permite incorporar, transformar y analizar datos en tiempo real con Splunk y Amazon Data Firehose para obtener información valiosa a partir de sus recursos en la nube. Con Splunk Enterprise y Splunk Cloud, ahora la obtención de acceso a la supervisión de infraestructuras basadas en análisis es más rápida y fácil que nunca.
Seminarios web grabados
Análisis de registros en tiempo real con Amazon Data Firehose (junio de 2017)
El análisis de registros es un caso de uso común de macrodatos que permite analizar datos de registros de sitios web, dispositivos móviles, servidores, sensores y más para una amplia variedad de usos, como tareas de marketing digital, supervisión de aplicaciones, detección de fraudes, tecnología publicitaria, videojuegos e IoT. Lograr que el análisis de registros se realice en tiempo real puede agilizar el plazo de obtención de información, lo que le permite obtener datos en segundos o minutos en vez de horas o días. En esta sesión, aprenderá de qué manera incorporar y entregar registros sin infraestructura mediante el uso de Amazon Data Firehose. Mostraremos de qué manera es posible usar Amazon Managed Service para Apache Flink para procesar datos de registros en tiempo real y crear análisis que brinden respuestas. Finalmente, mostraremos cómo usar Amazon Elasticsearch Service para realizar consultas de manera interactiva y visualizar los datos de registros.
Objetivos de aprendizaje:
- Comprender de qué manera crear fácilmente una solución de análisis de logs completa y de procesamiento en tiempo real.
- Obtener información general acerca de la recopilación y el procesamiento de datos en tiempo real con Amazon Kinesis.
- Aprender a realizar consultas de manera interactiva y a visualizar los datos de registros con Amazon Elasticsearch Service.
Procesos de streaming de ETL para lagos de datos con Amazon Data Firehose (mayo de 2017)
Los lagos de datos permiten a los empleados de una organización acceder y analizar grandes volúmenes de datos estructurados y no estructurados a partir de diferentes orígenes de datos, muchos de los cuales generan datos de manera continua y rápida. Lograr que estos datos estén disponibles oportunamente para análisis implica contar con una solución de streaming que pueda incorporarlos de manera duradera y rentable a su lago de datos. Amazon Data Firehose es un servicio completamente administrado que facilita la preparación y carga de datos de streaming en AWS. En esta presentación técnica, ofreceremos información general acerca de Firehose y describiremos detalladamente de qué manera puede usar el servicio para recopilar, transformar, procesar en lotes, comprimir y cargar datos de streaming en tiempo real en sus lagos de datos de Amazon S3.
Objetivos de aprendizaje:
- Conocer los requisitos clave para recopilar, preparar y cargar datos de streaming en lagos de datos.
- Obtener información general acerca de la transmisión de datos con Firehose.
- Aprender a realizar transformaciones de datos con Firehose.
How TrueCar Gains Actionable Insights with Splunk Cloud
Migrar un centro de datos completo a la nube no es una tarea sencilla. Al equipo de la plataforma de tecnología de TrueCar se le encargó justamente eso y buscaron una solución de monitorización y solución de problemas escalable que pudiera incrementar el nivel de rendimiento de la infraestructura y las aplicaciones, mejorar su estrategia de su seguridad e impulsar mejoras en los productos. La compañía optó por Splunk Cloud, que se ejecuta en AWS, y lo implementaron en un día. En este seminario web, conocerá de qué manera TrueCar usa las capacidades de AWS y Splunk para obtener información a partir de sus datos en tiempo real.
Mire el seminario web para saber de qué manera la experiencia de TrueCar en la ejecución de Splunk Cloud en AWS con Amazon Data Firehose puede serle de ayuda a usted:
- Obtenga información histórica con retención de datos adicional
- Suministre mejor visibilidad sobre la facturación de AWS
- Obtenga información sobre seguridad y detección de amenazas
Publicaciones del blog
Amazon Data Firehose ahora admite la partición dinámica para Amazon S3
escrito por Jeremy Ber y Michael Greenshtein, 02/09/2021
CloudWatch Metric Streams – Send AWS Metrics to Partners and to Your Apps in Real Time (Flujos de métricas de CloudWatch. Envío de métricas de AWS a los socios y a las aplicaciones en tiempo real)
escrito por Jeff Barr, 31/03/2021
Stream, transform, and analyze XML data in real time with Amazon Kinesis, AWS Lambda, and Amazon Redshift (Transmitir, transformar y analizar datos XML en tiempo real mediante Amazon Kinesis, AWS Lambda y Amazon Redshift)
escrito porSakti Mishra, 18/08/2020
Transformación de datos de Amazon Data Firehose con AWS Lambda
escrito por Bryan Liston, 13/02/2017
Watch Stream CDC into an Amazon S3 data lake in Parquet format with AWS DMS (Ver transmisión de CDC a lago de datos de Amazon S3 en formato Parquet mediante AWS DMS)
escrito por Viral Shah, 08/09/2020
Prefijos personalizados de Amazon Data Firehose para objetos de Amazon S3
escrito por Rajeev Chakrabarti, 22/04/2019
Transmitir datos a un punto de conexión HTTP mediante Amazon Data Firehose
escrito por Imtiaz Sayed y Masudur Rahaman Sayem, 29/06/2020
Capturing Data Changes in Amazon Aurora Using AWS Lambda (Capturar cambios en los datos de Amazon Aurora mediante AWS Lambda)
escrito por Re Alvarez-Parmar, 05/09/2017
Cómo transmitir datos desde Amazon DynamoDB a Amazon Aurora con AWS Lambda y Amazon Data Firehose
escrito por Aravind Kodandaramaiah, 04/05/2017
Analyzing VPC Flow Logs using Amazon Athena, and Amazon QuickSight (Análisis de los registros de flujo de VPC mediante Amazon Athena y Amazon QuickSight)
escrito por Ian Robinson, Chaitanya Shah y Ben Snively, 09/03/2017
Introducción a Amazon Data Firehose