À quoi sert cette implémentation de solutions AWS ?
De nombreux clients d’Amazon Web Services (AWS) ont besoin d’une solution de stockage et d'analyse de données qui offre plus d’agilité et de flexibilité que les systèmes de gestion de données traditionnels. Un lac de données est une nouvelle façon de stocker et d’analyser des données dont la popularité ne cesse de croître. Cette popularité croissante s’explique par le fait que le lac de données permet aux entreprises de gérer plusieurs types de données provenant d’une grande variété de sources et de stocker ces données dans un référentiel centralisé, qu’elles soient structurées ou non.
Le Cloud AWS fournit la plupart des blocs de construction nécessaires pour aider les clients à déployer un lac de données sécurisé, flexible et économique. Ces blocs incluent les services gérés d’AWS qui permettent d’intégrer, de stocker, de rechercher, de traiter et d’analyser les données structurées et non structurées. Pour aider nos clients dans la création de leurs lacs de données, AWS propose la solution Data Lake, une implémentation de référence automatisée qui déploie une architecture de type « lac de données » économique, haute disponibilité sur le Cloud AWS, ainsi qu’une console conviviale permettant d’exécuter des recherches et de demander des groupes de données.
La version 2.2 de la solution utilise la version plus à jour de l'environnement d'exécution Node.js. La version 2.1 utilise l'environnement d'exécution Node.js 8.10, lequel est arrivé en fin de vie le 31 décembre 2019. Pour mettre à niveau vers la version 2.2, vous devez déployer la solution sous forme d'une nouvelle pile. Pour en savoir plus, consultez le Guide d'implémentation.
Présentation de l'implémentation des solutions AWS
AWS offre une solution Data Lake, qui configure automatiquement les principaux services AWS nécessaires pour baliser, rechercher, partager, transformer, analyser et gérer aisément des sous-ensembles de données précis à l'échelle de l'entreprise ou avec des utilisateurs externes. Cette solution déploie une console permettant de rechercher et de parcourir les ensembles de données disponibles pour mieux remplir leurs missions. La solution inclut désormais un modèle fédéré qui vous permet de lancer une version de la solution prête à être intégrée à Microsoft Active Directory.
Le diagramme ci-dessous présente l’architecture de lac de données que vous pouvez déployer automatiquement à l’aide du guide d’implémentation de la solution et du modèle AWS CloudFormation fourni.
Architecture de solution de lac de données sur AWS
Le modèle AWS CloudFormation configure les principaux services AWS de la solution, dont une suite de microservices (fonctions) AWS Lambda, Amazon OpenSearch Service (successeur d'Amazon Elasticsearch Service) pour de robustes fonctionnalités de recherche, Amazon Cognito pour l'authentification de l'utilisateur, AWS Glue pour la transformation de données, et Amazon Athena pour l'analyse.
La solution exploite la sécurité, la durabilité et la capacité de mise à l'échelle d'Amazon S3 pour gérer un catalogue persistant de jeux de données organisationnels, ainsi qu'Amazon DynamoDB pour gérer les métadonnées correspondantes. Une fois qu’un ensemble de données est répertorié, il est possible de rechercher ses attributs et balises descriptives. Les utilisateurs peuvent rechercher et parcourir les ensembles de données disponibles dans la console de la solution, et créer une liste de données auxquelles ils souhaitent accéder.
La solution garde une trace des ensembles de données qu’un utilisateur sélectionne, et elle génère un fichier manifeste contenant des liens d’accès sécurisés vers le contenu souhaité au moment où l’utilisateur se déconnecte.
Data Lake on AWS
Version 2.2
Date de la dernière mise à jour : 09/2021
Auteur : AWS
Temps de déploiement estimé : 30 min
Ressources de déploiement
Remarque : pour vous abonner aux mises à jour RSS, vous devez activer un plug-in RSS pour le navigateur que vous utilisez.
Fonctions
Implémentation de référence Data Lake
Flexibilité de l’accès aux données
Connexion fédérée
Couche de stockage géré
Interface de ligne de commande
Interface utilisateur
Parcourez notre bibliothèque des implémentations des solutions AWS pour obtenir des réponses aux problèmes d'architecture courants.
Trouvez des partenaires consultants et technologiques certifiés AWS pour vous aider à commencer.
Parcourez notre portefeuille d'offres de conseil pour obtenir une aide approuvée AWS au déploiement de solutions.