À quoi sert cette implémentation des solutions AWS ?

De nombreux clients d’Amazon Web Services (AWS) ont besoin d’une solution de stockage et d'analyse de données qui offre plus d’agilité et de flexibilité que les systèmes de gestion de données traditionnels. Un lac de données est une nouvelle façon de stocker et d’analyser des données dont la popularité ne cesse de croître. Cette popularité croissante s’explique par le fait que le lac de données permet aux entreprises de gérer plusieurs types de données provenant d’une grande variété de sources et de stocker ces données dans un référentiel centralisé, qu’elles soient structurées ou non.

Le Cloud AWS fournit la plupart des blocs de construction nécessaires pour aider les clients à déployer un lac de données sécurisé, flexible et économique. Ces blocs incluent les services gérés d’AWS qui permettent d’intégrer, de stocker, de rechercher, de traiter et d’analyser les données structurées et non structurées. Pour aider nos clients dans la création de leurs lacs de données, AWS propose la solution Data Lake, une implémentation de référence automatisée qui déploie une architecture de type « lac de données » économique, haute disponibilité sur le Cloud AWS, ainsi qu’une console conviviale permettant d’exécuter des recherches et de demander des groupes de données.

La version 2.2 de la solution utilise la version plus à jour de l’environnement d’exécution Node.js. La version 2.1 utilise l’environnement d’exécution Node.js 8.10, qui arrive en fin de vie le 31 décembre 2019. Pour mettre à niveau vers la version 2.2, vous devez déployer la solution sous forme d’une nouvelle pile. Pour en savoir plus, consultez le guide de déploiement.

Présentation de l’implémentation de solutions AWS

AWS offre une solution Data Lake, qui configure automatiquement les principaux services AWS nécessaires pour baliser, rechercher, partager, transformer, analyser et gérer aisément des sous-ensembles de données précis à l'échelle de l'entreprise ou avec des utilisateurs externes. Cette solution déploie une console permettant de rechercher et de parcourir les ensembles de données disponibles pour mieux remplir leurs missions. La solution inclut désormais un modèle fédéré qui vous permet de lancer une version de la solution prête à être intégrée à Microsoft Active Directory.

Le diagramme ci-dessous présente l’architecture de lac de données que vous pouvez déployer automatiquement à l’aide du guide d’implémentation de la solution et du modèle AWS CloudFormation fourni.

Solution Data Lake | Diagramme d’architecture
 Cliquer pour agrandir

Architecture de solution Data Lake on AWS

Le modèle AWS CloudFormation configure les principaux services AWS de la solution, dont une suite de microservices (fonctions) AWS Lambda, Amazon Elasticsearch pour de puissantes fonctionnalités de recherche, Amazon Cognito pour l’authentification de l’utilisateur, AWS Glue pour la transformation de données, et Amazon Athena pour l’analyse.

La solution exploite la sécurité, la durabilité et l’évolutivité d’Amazon S3 pour gérer un catalogue persistant d’ensembles de données organisationnels, ainsi qu’Amazon DynamoDB pour gérer les métadonnées correspondantes. Une fois qu’un ensemble de données est répertorié, il est possible de rechercher ses attributs et balises descriptives. Les utilisateurs peuvent rechercher et parcourir les ensembles de données disponibles dans la console de la solution, et créer une liste de données auxquelles ils souhaitent accéder.

La solution garde une trace des ensembles de données qu’un utilisateur sélectionne, et elle génère un fichier manifeste contenant des liens d’accès sécurisés vers le contenu souhaité au moment où l’utilisateur se déconnecte.

Data Lake on AWS

Version 2.2
Dernière mise à jour : 12/2019
Auteur : AWS  

Temps de déploiement estimé : 30 min

Utilisez le bouton ci-dessous pour vous abonner aux mises à jour de la solution.

Remarque : pour vous abonner aux mises à jour RSS, vous devez activer un plug-in RSS pour le navigateur que vous utilisez. 

Cette implémentation des solutions vous a-t-elle aidé ?
Donner mon avis 

Fonctions

Implémentation de référence Data Lake

Exploitez cette solution de lac de données dès le démarrage, ou en tant qu’implémentation de référence que vous pouvez personnaliser pour afin de répondre à vos besoins uniques en matière de gestion, recherche et traitement des données.

Flexibilité de l’accès aux données

Exploitez les URL Amazon S3 pré-signées ou utilisez un rôle AWS Identity and Access Management (IAM) approprié pour un accès contrôlé mais direct aux ensembles de données dans Amazon S3.

Connexion fédérée

Si vous le souhaitez, vous pouvez permettre aux utilisateurs de se connecter via un fournisseur d’identité (IdP)SAML tel que Microsoft Active Directory Federation Services (ADFS).

Couche de stockage géré

Sécurisez et gérez le stockage et la récupération des données dans un compartiment géré Amazon S3, et utilisez une clé AWS Key Management Service (KMS) spécifique à la solution pour chiffrer les données au repos.

Interface de ligne de commande

Utilisez l’interface de ligne de commande ou l’API fournie pour automatiser facilement les activités du lac de données ou intégrer cette solution à une automatisation des données existantes des ensembles de données entrants et sortants ainsi que l’analyse des données.

Interface utilisateur

La solution crée automatiquement une console d’interface utilisateur Web intuitive hébergée sur Amazon S3 et diffusée par Amazon CloudFront. Accédez à la console pour gérer facilement les utilisateurs et les politiques des lacs de données, ajouter ou supprimer des packages de données, rechercher des packages de données, et créer des manifestes d’ensembles de données pour des analyses supplémentaires.
Icône Créer
Déployer vous-même votre solution

Parcourez notre bibliothèque des implémentations des solutions AWS pour obtenir des réponses aux problèmes d'architecture courants.

En savoir plus 
Rechercher un partenaire APN
Rechercher un partenaire APN

Trouvez des partenaires consultants et technologiques certifiés AWS pour vous aider à commencer.

En savoir plus 
Icône Explorer
Explorer les offres de conseil pour les solutions

Parcourez notre portefeuille d'offres de conseil pour obtenir une aide approuvée AWS au déploiement de solutions.

En savoir plus