L’intégration zéro ETL d’Amazon Aurora à Amazon Redshift rend possible l’analytique et le machine learning (ML) en temps quasi réel à l’aide d’Amazon Redshift sur des pétaoctets de données transactionnelles. Quelques secondes après l’écriture des données transactionnelles dans Amazon Aurora, l’intégration zéro ETL rend les données disponibles de manière transparente dans Amazon Redshift, éliminant ainsi la nécessité de créer et de maintenir des pipelines de données complexes qui effectuent des opérations d’extraction, transformation et chargement (ETL).
Avantages
Accès aux données en temps quasi réel
Accédez aux données transactionnelles d'Aurora dans Amazon Redshift en quelques secondes pour exécuter des analytiques et du machine learning en temps quasi réel sur des pétaoctets de données.
Simple d'utilisation
Analysez rapidement vos données transactionnelles en temps quasi réel sans avoir à créer et à gérer des pipelines ETL pour transférer les données transactionnelles vers des systèmes d'analytique.
Intégration transparente des données
Consolidez plusieurs tables issues de divers clusters de bases de données Aurora et répliquez vos données dans un entrepôt de données Amazon Redshift pour exécuter des analytiques unifiées sur plusieurs applications et sources de données.
Pas de gestion de l’infrastructure
Exécutez des analytiques en temps quasi réel sur des données transactionnelles sans avoir à gérer la moindre infrastructure lorsque vous utilisez à la fois Amazon Aurora sans serveur v2 et Amazon Redshift sans serveur.
Cas d'utilisation
Analytique opérationnelle en temps quasi réel
Utilisez les fonctionnalités d'analytique et de ML d'Amazon Redshift pour obtenir des informations en temps quasi réel à partir de données transactionnelles et autres afin de répondre efficacement aux événements critiques et sensibles au facteur temps. Les analytiques en temps quasi réel peuvent vous aider à obtenir des informations plus précises et opportunes sur des cas d'utilisation tels que le ciblage du contenu, l'optimisation de l'expérience de jeu, la surveillance de la qualité des données, la détection des fraudes et l'analyse du comportement des clients.
Analytique à grande échelle
Grâce à l'intégration zéro ETL d'Aurora à Amazon Redshift, vous pouvez utiliser les fonctionnalités d'Amazon Redshift pour analyser des pétaoctets de vos données transactionnelles consolidées à partir de plusieurs clusters de bases de données Aurora. Vous pouvez tirer parti des fonctionnalités analytiques complètes d'Amazon Redshift, telles que le machine learning intégré, les vues matérialisées, le partage de données et l'accès fédéré à plusieurs magasins de données et lacs de données. Avec Amazon Redshift ML, vous pouvez exécuter des milliards de prédictions grâce à des commandes SQL simples et à l'intégration native à Amazon SageMaker.
Réduction des coûts d'exploitation
Le transfert de données d'une base de données transactionnelle vers un entrepôt de données central nécessite souvent la création, la maintenance et l'exploitation d'une solution ETL complexe de pipeline de données. Grâce à une intégration zéro ETL, vous pouvez répliquer en toute transparence le schéma, les données existantes et les modifications de données de votre base de données Aurora vers un cluster Amazon Redshift nouveau ou existant. L'intégration zéro ETL élimine le besoin d'une gestion complexe des pipelines de données.
Comment démarrer
Pour créer votre intégration zéro ETL entre Aurora et Amazon Redshift, vous devez spécifier un cluster de base de données Aurora comme source de données et un entrepôt de données Amazon Redshift comme cible. L'intégration réplique les données de la base de données source dans l'entrepôt de données cible. Les données sont disponibles dans Amazon Redshift en quelques secondes, ce qui permet aux analystes de données de commencer à utiliser les fonctionnalités d'analytique et de machine learning d'Amazon Redshift sur les données. Pour en savoir plus, consultez les guides de démarrage pour Aurora et Amazon Redshift.
Ressources
Tarification
- E/S et stockage supplémentaires utilisés pour permettre la capture des données de modification
- Coûts d'exportation d'instantanés pour l'exportation initiale des données afin d'alimenter vos bases de données Amazon Redshift
- Stockage Amazon Redshift supplémentaire pour le stockage des données répliquées
- Calcul Amazon Redshift supplémentaire pour le traitement de la réplication des données
- Coûts de transfert de données entre plusieurs AZ pour déplacer les données de la source vers la cible.
Le traitement continu des modifications de données par intégration zéro ETL est proposé sans frais supplémentaires. Pour plus d’informations, rendez-vous sur la page de tarification d’Aurora.
Clients
La vérification du fret est essentielle pour maintenir l’intégrité de la chaîne d’approvisionnement des clients d’Infosys dans les domaines de la fabrication, de la vente au détail et de la logistique. Dans cette optique, l’ingestion en temps réel des données de suivi du fret est nécessaire pour suivre l’analytique des expéditions et du fret.
« Infosys a utilisé les fonctionnalités de zéro ETL pour ingérer des données en temps réel, ce qui permet de suivre les expéditions de fret et d’offrir une visibilité sur l’emplacement, le statut et l’heure d’arrivée estimée. Cela permet d’optimiser les opérations de fret et de réduire considérablement les coûts. Grâce aux rapports et à l’analytique complets de zéro ETL ainsi qu’aux plans sectoriels d’Infosys Cobalt et Topaz, la prise de décision basée sur les données est désormais possible. »
Sunil Senan, SVP and Global Head of Data, Analytics and AI, Infosys
Intuit est la plateforme technologique financière mondiale qui contribue à la prospérité de 100 millions de clients particuliers et de petites entreprises grâce à TurboTax, Credit Karma, QuickBooks et Mailchimp. Compte tenu de la complexité d’une migration à venir, Intuit envisageait un rythme effarant de plus de 10 millions de migrations de profils par jour. Intuit s’est tournée vers l’intégration zéro ETL d’Amazon Aurora MySQL à Amazon Redshift pour simplifier son processus d’ingestion de données et éliminer les travaux d’ingénierie complexes.
« L’important volume de données et la nécessité d’une migration fluide ont représenté un défi de taille pour nous. De plus, nous avions besoin d’une solution qui nous permettrait d’analyser rapidement le processus de migration, afin de prendre des décisions rapides et fondées sur des données. Pour relever ces défis, nous nous sommes tournés vers l’intégration zéro ETL d’Amazon Aurora avec Amazon Redshift pour simplifier notre processus d’ingestion de données et éliminer les travaux d’ingénierie complexes. Grâce à la technologie zéro ETL, nous avons pu transférer d’énormes quantités de données vers Amazon Redshift sans devoir effectuer de capture de données ni de tâches d’ingestion distinctes. Cela a permis d’obtenir des informations rapides pour prendre des décisions techniques et commerciales essentielles, économisant ainsi des mois d’efforts qui auraient autrement été nécessaires. L’intégration zéro ETL d’Aurora avec Amazon Redshift nous a permis d’explorer de nouveaux modèles chez Intuit pour les migrations de données à grande échelle et l’analytique en temps quasi réel. »
Aruna Ghiware, Product Development Manager, Intuit
KINTO Technologies Corporation est l’un des principaux acteurs du secteur des plateformes de mobilité et la société technologique responsable du développement du service KINTO en tant que société de services financiers de Toyota. Forte de l’intégration zéro ETL MySQL d’Amazon Aurora avec Amazon Redshift, KINTO Technologies a pu mettre en place un pipeline de données plus résilient et peut désormais appliquer les fonctionnalités d’analytique avancée d’Amazon Redshift à ses données opérationnelles en temps quasi réel.
« Avant la disponibilité de l’intégration zéro ETL, nous utilisions une solution personnalisée qui diffusait en continu les modifications de nos bases de données principales vers les applications en aval, mais nous étions confrontés à des problèmes et à des baisses de performances persistants de notre charge de travail de production. Pour faire face à la baisse des performances de la charge de travail de production, nous avons dû ajuster manuellement les pipelines afin d’envoyer des mises à jour moins fréquemment et de nous contenter des anciennes données dans Amazon Redshift. Grâce à l’intégration zéro ETL d’Aurora MySQL à Amazon Redshift, nous disposons en permanence de données en temps quasi réel dans Amazon Redshift, ce qui élimine les nombreuses heures consacrées par les développeurs à la gestion manuelle des pipelines de données pour les opérations ETL ou à la résolution des problèmes d’impact sur les performances de nos charges de travail. Cela contribue à réduire notre charge opérationnelle. »
Hitoshi Kageyama, Executive Vice President, KINTO Technologies Corporation
Money Forward i s’efforce d’améliorer la productivité et le potentiel créatif des équipes informatiques des organisations grâce à la simplification des tâches répétitives, à la réduction des coûts et au renforcement de la sécurité au moyen d’Admina, sa plateforme de gestion SaaS intuitive.
« Avant le lancement de l’intégration zéro ETL d’Amazon Aurora à Amazon Redshift, il était difficile d’effectuer la mise en œuvre et la maintenance de nos opérations ETL pour analyser les données de produits d’Amazon Aurora MySQL dans Amazon Redshift. L’intégration zéro ETL d’Aurora MySQL à Amazon Redshift permet une synchronisation des données en temps quasi réel entre nos bases de données Aurora MySQL et Amazon Redshift, ce qui réduit d’un mois à seulement trois heures le temps nécessaire à la création d’un environnement d’analyse. Outre la réduction de la charge initiale au moment du développement, l’intégration zéro ETL a un impact moindre sur les environnements de production, ce qui permet de créer l’environnement d’analyse à un coût minimal et à une vitesse maximale. »
Katsutoshi Murakami, Director and CPO, Money Forward i
Woolworths est l’un des principaux détaillants d’Afrique subsaharienne proposant une large gamme de vêtements, de marchandises diverses et de produits alimentaires de qualité, avec un accent sur l’innovation, la valeur et la durabilité.
« Il est essentiel d’obtenir des informations en temps utile à partir de nos données, car cela nous permet de promouvoir rapidement des décisions fondées sur les données au sein de notre entreprise et de réagir efficacement aux événements critiques et urgents. Le traitement de la capture des données modifiées et de la coagulation des enregistrements prenait du temps et était plus coûteux que prévu. Forts de l’intégration zéro ETL d’Amazon Aurora MySQL à Amazon Redshift, nous avons pu obtenir les mêmes résultats en une journée. Or, cela aurait autrement pris deux mois en raison des efforts d’ingénierie requis pour les opérations ETL. La latence de nos données a été considérablement réduite grâce à l’intégration, car les données étaient prêtes à être interrogées. Cela nous a permis de prendre des décisions plus rapidement au fur et à mesure que les événements se produisaient. Nous avons réduit nos efforts d’ingénierie et les points de défaillance dans la gestion des pipelines ainsi que diminué les coûts grâce à l’intégration zéro ETL d’Aurora à Amazon Redshift. »
Raamy Schroeder, Business Intelligence Lead, Woolworths
En savoir plus sur les fonctionnalités d’Aurora