Intégrations Amazon DynamoDB

Avec Amazon DynamoDB, vous pouvez facilement intégrer vos charges de travail à Amazon DynamoDB Accelerator (DAX) pour améliorer les performances jusqu'à 10 fois, à Amazon OpenSearch Service pour activer les fonctionnalités de recherche et d'analyse en temps réel, et à divers autres services AWS. DynamoDB vous offre la flexibilité nécessaire pour intégrer une large gamme de services AWS qui répondent aux exigences de vos cas d'utilisation.

Amazon DynamoDB Accelerator (DAX) est un cache en mémoire entièrement géré et hautement disponible pour Amazon DynamoDB. Le DAX améliore les performances jusqu'à 10 fois, de la milliseconde à la microseconde, même à des millions de requêtes par seconde. DAX gère toutes les invalidations du cache et la population de données pour ajouter une accélération en mémoire à vos tables DynamoDB. DAX est un cache en ligne, donc si l'élément mis en cache n'existe pas ou est obsolète, DAX sera automatiquement transféré vers la table sous-jacente.

Vous pouvez désormais vous concentrer sur le développement d'applications de qualité pour vos clients, sans craindre de problèmes de performances à grande échelle. Le DAX étant compatible avec les appels d'API DynamoDB existants, aucune modification de l'application n'est requise, ce qui facilite le démarrage. 

L'intégration zéro ETL d'Amazon DynamoDB à Amazon OpenSearch Service fournit un pipeline ETL entièrement géré et sans code avec une réplication en temps quasi réel de DynamoDB vers OpenSearch Service. Cette intégration zéro ETL permet aux clients de synchroniser facilement leurs données de DynamoDB vers OpenSearch Service en quelques secondes, éliminant ainsi le besoin d'écrire du code personnalisé pour créer et gérer des pipelines de données complexes pour les opérations d'extraction, de transformation et de chargement (ETL). Cette intégration réduit la charge opérationnelle et les coûts liés à la synchronisation des données entre les bases de données transactionnelles et de recherche, permettant ainsi aux clients de se concentrer sur leurs principaux problèmes commerciaux. 

Vous pouvez créer rapidement votre premier pipeline depuis l'onglet Intégrations de la console DynamoDB. L'intégration s'appuie sur les pipelines d'ingestion Amazon OpenSearch pour définir et traiter les transformations, le routage et le mappage de vos données DynamoDB vers des index OpenSearch Service spécifiques.

Cette intégration zéro ETL facilite la création d'index pour effectuer une recherche en texte intégral, une recherche géo-spatiale, une recherche vectorielle, et. plus encore. Les recherches et les agrégations d'OpenSearch Service fonctionnent conjointement avec les requêtes DynamoDB pour permettre des applications interactives et performantes. Les clients de DynamoDB peuvent désormais tirer parti des nombreuses fonctionnalités de recherche et de machine learning d'OpenSearch Service pour proposer de nouvelles expériences qui stimulent l'engagement des utilisateurs et améliorent la satisfaction à l'égard de leurs applications. Pour en savoir plus, consultez ce didacticiel zéro ETL.

Les déclencheurs AWS Lambda  pour Amazon DynamoDB vous permettent de configurer facilement une logique personnalisée à exécuter en réponse à toute modification apportée à un élément dans DynamoDB. Vous pouvez créer rapidement votre premier déclencheur depuis l'onglet Exports and Streams de la console DynamoDB, après avoir activé DynamoDB Streams. Après avoir configuré votre déclencheur, votre code Lambda peut être déclenché quelques secondes après toute modification des données de votre table.

Avec les déclencheurs AWS Lambda pour DynamoDB, vous pouvez facilement créer des déclencheurs de base de données pour valider et enrichir les données, les intégrer à d'autres services en répliquant les données ou créer des architectures complètes pilotées par des événements, telles que l'exécution des commandes ou le traitement des médias, qui réagissent à la modification des données dans les tables DynamoDB. La fonction Lambda peut effectuer toute action que vous spécifiez, comme envoyer une notification ou initier un flux de travail.  

L'intégration zéro ETL de DynamoDB à OpenSearch Service élimine la complexité opérationnelle liée à l'orchestration de la réplication des données d'un entrepôt de données transactionnelle vers un entrepôt de données de recherche. Les pipelines de données utilisés pour synchroniser les entrepôts de données transactionnelles et de recherche peuvent être difficiles et coûteux à créer et à gérer, et présenter des erreurs intermittentes difficiles à suivre. 

Cette intégration permet aux clients Amazon DynamoDB d'obtenir des résultats de recherche en temps quasi réel à partir de leurs données transactionnelles en proposant une solution entièrement gérée permettant de rendre les données transactionnelles de DynamoDB disponibles dans OpenSearch Service quelques secondes après leur rédaction. Les clients choisissent simplement les tables DynamoDB contenant les données qu'ils souhaitent analyser avec OpenSearch Service, et cette intégration zéro ETL reproduit de manière fluide le schéma et les données dans OpenSearch Service à l'aide des pipelines d'ingestion OpenSearch. Les clients peuvent répliquer les données de plusieurs tables DynamoDB dans un seul domaine géré par OpenSearch Service ou dans une collection sans serveur afin d'obtenir des informations holistiques sur plusieurs applications, tout en consolidant leurs principaux actifs analytiques, ce qui leur permet de réaliser d'importantes économies et de gagner en efficacité opérationnelle. 

Les clients peuvent commencer par utiliser la console de gestion AWS pour DynamoDB, OpenSearch Service, l'interface de ligne de commande AWS, le kit SDK AWS ou AWS CloudFormation. Pour permettre une intégration, les clients choisissent d'abord la table DynamoDB dont les données doivent être répliquées. Les clients choisissent ensuite DynamoDB Streams pour une réplication en temps quasi réel ou DynamoDB Incremental Exports pour une réplication différée comme mécanisme CDC permettant de synchroniser les données entre les deux systèmes. 

Cette intégration zéro ETL met en place un pipeline d'ingestion OpenSearch dans le compte du client qui se charge de répliquer les données vers un cluster géré par OpenSearch Service ou une collection sans serveur. L'ingestion OpenSearch comprend la structure des tables DynamoDB, puis crée un domaine géré par OpenSearch Service équivalent ou une collection sans serveur et amorce la destination avec les données existantes des tables DynamoDB. Les clients peuvent éventuellement spécifier un schéma pour les index qui seront créés dans OpenSearch Service. 

Cette intégration zéro ETL vous fournit un tableau de bord sur lequel vous pouvez surveiller l'état de votre intégration de bout en bout à l'aide de métriques et de journaux en temps réel Amazon CloudWatch. Vous pouvez configurer des alertes en cas de dépassement des seuils définis par l'utilisateur. Cette intégration surveille également en permanence l'état des tables DynamoDB et des indices du service OpenSearch et avertit immédiatement les utilisateurs en cas de régressions avec l'une de ces entités.

Afin de garantir que l'ingestion OpenSearch dispose des autorisations nécessaires pour répliquer les données sur ces deux systèmes, l'intégration zéro ETL de DynamoDB à OpenSearch Service crée un rôle IAM doté des autorisations nécessaires pour lire les données des tables DynamoDB et les écrire dans un domaine ou une collection OpenSearch. Ce rôle est ensuite assumé par les pipelines d'ingestion OpenSearch afin de garantir que la bonne posture de sécurité est toujours maintenue lors du déplacement des données de la source vers la destination.

Cette intégration zéro ETL utilise les capacités natives de transformation des données des pipelines d'ingestion OpenSearch pour agréger et filtrer les données lorsqu'elles sont en mouvement. Lorsqu'ils déplacent les données d'une table DynamoDB, les clients peuvent souhaiter supprimer quelques champs ou en créer de nouveaux en fonction des agrégations entre les champs existants. 

En option, les clients peuvent également écrire une logique personnalisée pour l'ingestion OpenSearch afin d'obtenir une capacité de transformation sur mesure. Pour les autres utilisateurs, qui souhaitent simplement déplacer l'intégralité de leurs données de la source vers le récepteur, cette intégration zéro ETL fournira des plans d'ingestion OpenSearch prêts à l'emploi afin qu'ils puissent effectuer les intégrations en quelques clics.

Cette intégration zéro ETL fournit aux clients des options leur permettant de spécifier leur schéma de données personnalisé ainsi que les mappages d'index utilisés par l'ingestion OpenSearch lors de l'écriture de données depuis DynamoDB vers OpenSearch Service. Cette expérience est ajoutée à la console d'interface utilisateur de DynamoDB afin que les clients aient un contrôle total sur le format des index créés sur OpenSearch Service.

L'utilisation de l'intégration zéro ETL de DynamoDB à OpenSearch Service n'entraîne aucun coût supplémentaire en dehors du coût des composants sous-jacents existants. Cette intégration zéro ETL utilise l'ingestion Amazon OpenSearch pour lire les données des tables DynamoDB et les répliquer vers OpenSearch Service. Le coût lié à l'utilisation de l'intégration zéro ETL de DynamoDB à OpenSearch Service correspond au coût des unités de calcul OpenSearch (OCU) nécessaires à l'ingestion OpenSearch pour répliquer les données sur les systèmes. En outre, les clients ont la possibilité de choisir entre des flux DynamoDB ou des exportations incrémentielles auprès de CDC. Pour les exportations incrémentielles, des coûts sont associés à l'écriture de données dans des compartiments S3. Pour les flux DynamoDB, les clients se verraient facturer les frais standard liés à l'utilisation des flux DynamoDB.

L'intégration zéro ETL de DynamoDB à OpenSearch Service permet l'ingestion de données entre comptes. Les utilisateurs pourront lire les données des tables DynamoDB d'un compte et écrire dans des domaines OpenSearch Service ou dans des collections sans serveur d'un autre compte. L'ingestion OpenSearch permet déjà l'ingestion entre comptes avec d'autres sources à partir desquelles elle lit les données, telles que les compartiments Amazon S3 et les clusters Amazon MSK, et permettra l'accès entre comptes aux tables Amazon DynamoDB en utilisant les mêmes paradigmes IAM.

L'intégration zéro ETL de DynamoDB à Amazon OpenSearch Service est disponible dans toutes les régions dans lesquelles l'ingestion OpenSearch est disponible aujourd'hui.