La integración sin ETL de Amazon Aurora con Amazon Redshift habilita el machine learning (ML) y el análisis casi en tiempo real con Amazon Redshift en petabytes de datos transaccionales. En cuestión de segundos, la función sin ETL logra eficientemente que los datos transaccionales escritos en Amazon Aurora estén disponibles en Amazon Redshift, lo que elimina la necesidad de crear y mantener canalizaciones de datos complejas que realicen operaciones de extracción, transformación y carga (ETL).
Beneficios
Acceso a datos casi en tiempo real
Acceda a los datos transaccionales de Aurora en Amazon Redshift en cuestión de segundos para ejecutar análisis y machine learning casi en tiempo real en petabytes de datos.
Fácil de usar
Analice de manera rápida sus datos transaccionales casi en tiempo real sin tener que crear y administrar canalizaciones de ETL para mover los datos transaccionales a los sistemas de análisis.
Integración de datos íntegra
Consolide varias tablas de varios clústeres de bases de datos de Aurora y replique sus datos en un almacenamiento de datos de Amazon Redshift para ejecutar análisis unificados en varias aplicaciones y orígenes de datos.
No es necesario administrar infraestructuras
Ejecute análisis casi en tiempo real de los datos transaccionales sin tener que administrar ninguna infraestructura cuando utilice tanto Amazon Aurora sin servidor v2 como Amazon Redshift sin servidor.
Casos de uso
Análisis operativos casi en tiempo real
Utilice las capacidades de análisis y machine learning de Amazon Redshift para obtener información casi en tiempo real a partir de datos transaccionales y de otro tipo para responder eficazmente a eventos críticos y urgentes. Los análisis casi en tiempo real pueden ayudarlo a obtener información más precisa y oportuna para casos de uso como la segmentación de contenido, la experiencia de juego optimizada, la supervisión de la calidad de los datos, la detección de fraudes y el análisis del comportamiento de los clientes.
Análisis a escala
Con la integración sin ETL de Aurora con Amazon Redshift, puede utilizar las capacidades de Amazon Redshift para analizar petabytes de sus datos transaccionales consolidados a partir de varios clústeres de bases de datos de Aurora. Puede aprovechar las capacidades analíticas integrales de Amazon Redshift, como machine learning integrado, vistas materializadas, intercambio de datos y acceso federado a varios almacenes de datos y lagos de datos. Con Amazon Redshift ML, puede ejecutar miles de millones de predicciones con comandos SQL sencillos con integración nativa en Amazon SageMaker.
Reducción de la sobrecarga operativa
Mover datos de una base de datos transaccional a un almacenamiento de datos central a menudo requiere crear, mantener y operar una solución ETL compleja de canalización de datos. Gracias a la integración sin ETL, puede replicar sin problemas el esquema, los datos existentes y los cambios de datos de su base de datos Aurora a un clúster de Amazon Redshift nuevo o existente. La integración sin ETL elimina la necesidad de una administración de canalización de datos compleja.
¿Cómo comenzar?
Para crear su integración sin ETL entre Aurora y Amazon Redshift, especifique un clúster de base de datos Aurora como origen de datos y un almacenamiento de datos de Amazon Redshift como destino. La integración replica los datos de la base de datos de origen en el almacenamiento de datos de destino. Los datos están disponibles en Amazon Redshift en cuestión de segundos, lo que permite a los analistas de datos empezar a utilizar las funciones de análisis y machine learning de Amazon Redshift en los datos. Para obtener más información, consulte las guías de inicio de Aurora y Amazon Redshift.
Recursos
Precios
- E/S y almacenamiento adicionales utilizados al permitir la captura de datos de cambios
- Costos de exportación de instantáneas para la exportación inicial de datos para crear bases de datos de Amazon Redshift
- Almacenamiento adicional en Amazon Redshift para almacenar datos replicados
- Computación adicional de Amazon Redshift para procesar la replicación de datos
- Costos de transferencia de datos entre zonas de disponibilidad para mover datos del origen al destino.
El procesamiento continuo de los cambios de datos mediante la integración sin ETL se ofrece sin costo adicional. Para obtener más información, visite la página de precios de Aurora.
Clientes
La verificación de la carga es crucial para mantener la integridad de la cadena de suministro para los clientes de fabricación, venta minorista y logística de Infosys. Para lograrlo, es necesaria la ingesta en tiempo real de los datos de seguimiento de la carga para el seguimiento de los envíos y el análisis de la carga.
"Infosys ha aprovechado las posibilidades que ofrece la integración sin ETL para incorporar datos en tiempo real, lo que permite el seguimiento de los envíos de carga y ofrece información sobre su ubicación, estado y hora estimada de llegada. Esto permite la optimización de las operaciones de carga y una reducción significativa de los costos. Con los informes y análisis detallados de la integración sin ETL, así como con los esquemas industriales Cobalt y Topaz de Infosys, ahora es posible tomar decisiones basadas en datos reales".
Sunil Senan, vicepresidente sénior y director global de datos, análisis e inteligencia artificial en Infosys
Intuit es la plataforma global de tecnología financiera que impulsa la prosperidad de 100 millones de clientes consumidores y pequeñas empresas con TurboTax, Credit Karma, QuickBooks y Mailchimp. Con la complejidad que supone la próxima migración, Intuit se enfrentaba a un asombroso volumen de más de 10 millones de migraciones de perfiles al día. Intuit recurrió a la integración sin ETL de Amazon Aurora MySQL con Amazon Redshift para optimizar su proceso de ingesta de datos y eliminar la necesidad de realizar trabajos de ingeniería complejos.
"El enorme volumen de datos y la necesidad de una migración sin interrupciones supusieron un reto importante para nosotros. Además, necesitábamos una solución que nos permitiera analizar el proceso de migración rápidamente, para poder tomar decisiones rápidas basadas en datos. Para abordar estos desafíos, recurrimos a la integración sin ETL de Amazon Aurora con Amazon Redshift, esto nos permitió optimizar nuestro proceso de ingesta de datos y eliminar la necesidad de realizar trabajos de ingeniería complejos. Con la integración sin ETL, pudimos enviar volúmenes masivos de datos a Amazon Redshift sin necesidad de capturar datos o realizar tareas de ingesta independientes. Esto permitió obtener información rápida para impulsar decisiones técnicas y empresariales críticas, ahorrando meses de esfuerzo que de otro modo habrían sido necesarios. El uso de la integración sin ETL de Aurora con Amazon Redshift nos ayudó a explorar nuevos patrones en Intuit para migraciones de datos a gran escala y análisis prácticamente en tiempo real".
Aruna Ghiware, directora de desarrollo de productos de Intuit
KINTO Technologies Corporation es un actor líder en la industria de las plataformas de movilidad y es la compañía de tecnología responsable del desarrollo del servicio KINTO como compañía de servicios financieros de Toyota. Al aprovechar la integración sin ETL de Amazon Aurora MySQL con Amazon Redshift, KINTO Technologies pudo realizar una canalización de datos más resiliente y ahora puede aplicar las características de análisis avanzadas de Amazon Redshift a sus datos operativos prácticamente en tiempo real.
"Antes de que la integración sin ETL estuviera disponible, utilizábamos una solución personalizada que transmitía continuamente los cambios de nuestras bases de datos principales a las aplicaciones posteriores, pero nos enfrentábamos a desafíos de rendimiento persistentes y a impactos en nuestra carga de trabajo de producción. Para hacer frente al impacto en el rendimiento de la carga de trabajo de producción, tuvimos que ajustar manualmente las canalizaciones para enviar actualizaciones con menos frecuencia y conformarnos con datos antiguos en Amazon Redshift. Utilizar la integración sin ETL de Aurora MySQL con Amazon Redshift, nos permite tener datos disponibles prácticamente en tiempo real a través de Amazon Redshift, esto elimina todas las horas que los desarrolladores dedican a administrar manualmente las canalizaciones de datos para las operaciones de ETL o a hacer frente a los impactos en el rendimiento de nuestras cargas de trabajo, algo que sin dudas ayuda a reducir nuestra carga operativa“.
Hitoshi Kageyama, vicepresidente ejecutivo de KINTO Technologies Corporation
Money Forward i se esfuerza por aumentar la productividad y el potencial creativo de los equipos de TI de las organizaciones mediante la optimización de las tareas repetitivas, la reducción de los costos y el fortalecimiento de la seguridad a través de Admina, su intuitiva plataforma de administración de SaaS.
“Antes del lanzamiento de la integración sin ETL de Amazon Aurora con Amazon Redshift, la cuestión tediosa de tener que implementar y mantener nuestras operaciones de ETL para analizar los datos de productos de Amazon Aurora MySQL en Amazon Redshift era todo un desafío. La integración sin ETL de Aurora MySQL con Amazon Redshift permite la sincronización de datos prácticamente en tiempo real entre nuestras bases de datos Aurora MySQL y Amazon Redshift, algo que sin dudas reduce el tiempo necesario para crear un entorno de análisis de un mes a solo tres horas. Además de reducir la carga inicial en el momento del desarrollo, la integración sin ETL genera un menor impacto en los entornos de producción, lo que permite crear un entorno de análisis a un costo mínimo y a la máxima velocidad.”
Katsutoshi Murakami, director y CPO de Money Forward i
Woolworths es un minorista líder de África subsahariana que ofrece una amplia gama de ropa, productos generales y productos alimenticios de calidad con un enfoque en la innovación, el valor y la sostenibilidad.
”Para nosotros es fundamental obtener información oportuna de nuestros datos, ya que esto significa que podemos tomar decisiones rápidas basadas en los datos de nuestra empresa y responder de manera eficaz a los eventos críticos y urgentes. El uso de la captura de datos de cambios y la fusión de los registros llevó mucho tiempo y su procesamiento fue más costoso de lo esperado. Utilizar la integración sin ETL de Amazon Aurora MySQL con Amazon Redshift, nos permitió obtener, en un día, los mismos resultados que, de otro modo, habrían tardado 2 meses en desarrollarse debido al esfuerzo de ingeniería requerido para las operaciones de ETL. La latencia de nuestros datos se redujo significativamente con la integración, ya que los datos estaban listos para ser consultados. Esto nos permitió tomar decisiones más rápidas a medida que ocurrían los acontecimientos. Redujimos nuestro esfuerzo de ingeniería, redujimos los puntos de falla en la administración de las canalizaciones y ahorramos costos mediante la integración sin ETL de Aurora con Amazon Redshift".
Ramy Schroeder, director de inteligencia empresarial de Woolworths
Obtenga más información acerca de las características de Amazon Aurora