AWS Lake Formation

Créer un lac de données sécurisé en quelques jours

AWS Lake Formation est un service qui facilite la configuration d'un lac de données sécurisé en quelques jours. Un lac de données est un référentiel centralisé, organisé et sécurisé qui stocke toutes vos données, à la fois dans leur forme originale et sous forme préparée pour l’analyse. Un lac de données permet de décomposer des silos de données et de combiner différents types d’analyse pour obtenir des informations et guider de meilleures décisions commerciales.

Cependant, aujourd’hui, la mise en place et la gestion de lacs de données implique la réalisation de nombreuses tâches manuelles, compliquées et fastidieuses. Ce travail comprend le chargement de données provenant de diverses sources, la surveillance de ces flux de données, la configuration de partitions, l'activation du chiffrement et la gestion des clés, la définition des tâches de transformation et la surveillance de leur fonctionnement, la réorganisation des données dans un format en colonnes, la configuration des paramètres de contrôle d'accès, la déduplication de données redondantes, l'appariement des enregistrements liés, l'octroi de l'accès aux ensembles de données et l'audit des accès dans le temps.

Pour créer un lac de données avec Lake Formation, il vous suffit de définir des sources de données et les stratégies d'accès et de sécurité des données que vous souhaitez appliquer. Ensuite, Lake Formation vous aide à collecter et cataloguer les données des bases de données et du stockage d'objets, à transférer les données dans votre nouveau lac de données Amazon S3, à nettoyer et classer vos données à l'aide d'algorithmes de machine learning et à sécuriser l'accès à vos données sensibles. *Vos utilisateurs peuvent accéder à un catalogue de donnéescentralisées décrivant les ensembles de données disponibles et leur utilisation appropriée. Vos utilisateurs peuvent ensuite exploiter ces ensembles de données avec leur choix d'analyses et de services de machine learning comme Amazon Redshift, Amazon Athena et (en version bêta) Amazon EMR pour Apache Spark. Lake Formation s'appuie sur les capacités disponibles dans AWS Glue.

AWS re:Invent 2018 : présentation d'AWS Lake Formation

Avantages

Création rapide de lacs de données

Avec Lake Formation, vous pouvez déplacer, stocker, cataloguer et nettoyer vos données plus rapidement. Il vous suffit de pointer Lake Formation vers vos sources de données. Lac Formation explorera ces sources et les transférera vers votre nouveau lac de données Amazon S3. Lake formation organise les données dans S3 autour des termes de requête fréquemment utilisés et en morceaux de taille correcte pour augmenter l'efficacité. Lake Formation modifie également les données dans des formats tels que Apache Parquet et ORC pour une analyse plus rapide. En outre, Lake Formation dispose d’un système de machine learning de la déduplication et de la recherche des enregistrements correspondants (deux entrées se rapportant à la même chose) pour améliorer la qualité des données.

Gestion de la sécurité simplifiée

Vous pouvez utiliser Lake Formation pour définir de manière centralisée les stratégies de sécurité, de gouvernance et d'audit en un seul lieu, plutôt que de faire ces tâches par service, puis appliquer ces stratégies à vos utilisateurs dans leurs applications d'analyse. Vos stratégies sont systématiquement mises en œuvre, ce qui vous évite de les configurer manuellement pour les services de sécurité comme AWS Identity and Access Management et AWS Key Management Service, les services de stockage comme S3 et les services d'analyse et de machine learning comme Redshift, Athena et EMR (en version bêta) pour Apache Spark. Cela réduit les efforts de configuration des stratégies entre les services et assure une mise en œuvre et une conformité cohérentes.

Garantit un accès en libre service aux données

Avec Lake Formation, vous créez un catalogue de données décrivant les différents jeux de données disponibles, ainsi que les groupes d'utilisateurs ayant accès à chacun d'eux. Cela rend vos utilisateurs plus productifs en les aidant à trouver le bon ensemble de données à analyser. En fournissant un catalogue de vos données avec des règles de sécurité cohérentes, Lake Formation permet à vos analystes et spécialistes des données d'utiliser plus facilement leur service d'analyse préféré.
Ils peuvent utiliser EMR pour Apache Spark (en version bêta), Redshift ou Athena sur divers ensembles de données hébergés dans un même lac de données. Les utilisateurs peuvent également combiner ces services sans avoir à déplacer des données entre des silos.

Fonctionnement

AWS Lake Formation - Fonctionnement

Lake Formation aide à construire, sécuriser et gérer votre lac de données. Commencez par identifier les magasins de données existants dans S3 ou dans les bases de données relationnelles et NoSQL, puis déplacez les données dans votre lac de données. Ensuite, analysez, cataloguez et préparez les données pour l'analyse. Puis, donnez à vos utilisateurs un accès sécurisé aux données en libre-service via leur choix de services d’analyse. D'autres services AWS et des applications tierces peuvent également accéder aux données via les services affichés. Lake Formation gère toutes les tâches de la boîte orange et est intégré aux magasins de données et aux services indiqués dans les boîtes bleues.

Cas d'utilisation

En apprendre plus sur « Qu'est-ce qu'un lac de données ? » et sur les cas d'utilisation.

Clients

panasonic_logo

Panasonic Avionics Corporation est le premier fournisseur mondial de systèmes de divertissement et de communication à bord.

« Notre objectif était de créer une plate-forme de données capable de gérer les paramètres de sécurité pour toutes les différentes applications de notre environnement. AWS Lake Formation nous donne désormais la capacité de définir des stratégies une seule fois et de les appliquer partout de la même manière pour de multiples services que nous utilisons, y compris AWS Glue et Amazon Athena » a déclaré Anand Desikan, directeur responsable des services cloud et de données chez Panasonic Avionics. « L'amélioration du niveau de contrôle nous garantit un accès sécurisé aux données et aux métadonnées pour les colonnes et les tableaux – et pas seulement pour les objets en groupe –, ce qui est un volet important de notre standard de sécurité et de gouvernance des données. »

Accenture_Logo_Black_Purple_RGB

Accenture est une entreprise leader mondial de services professionnels. Elle propose une vaste gamme de services et de solutions en stratégie, consulting, numérique, technologie et opérations.

« Je me concentre sur l'accompagnement des clients dans leur aventure 'Données sur cloud'. Nous avons notamment constaté que les entreprises sont confrontées à un problème de manque de données fiables lorsqu'elles doivent analyser des données provenant de sources multiples », explique Namrata Maheshwary, architecte principal au sein du Data Business Group chez Accenture. « Le nettoyage des données est une étape critique de l'analyse des données et son impact sur les résultats et la prise de décision en entreprise peut être considérable. Les nouvelles fonctionnalités d'AWS Lake Formation nous ont été d'une grande aide pour relever le défi de la véracité des données et pour sécuriser l'accès au lac de données. L'utilisation des techniques avancées de machine learning pour la préparation des données nous a été extrêmement utile pour l'identification des enregistrements correspondants, le nettoyage et la déduplication des données issues de différentes sources de données. Cela permettra de faire des économies de temps, d'efforts et de coûts et d'améliorer la qualité et l'exactitude des données dans les lacs de données d'un client. »

Zalando

Zalando est la première plateforme mode et lifestyle en Europe.

« Nous sommes l'entreprise technologique la plus à la mode d'Europe. À ce titre, nous recherchons sans cesse des solutions numériques pour tous les aspects du parcours mode chez Zalando », a expliqué Alberto Miorin, responsable de l'ingénierie chez Zalando SE. « AWS Lake Formation nous a fourni un point central de contrôle évolutif pour l'accès aux données via Amazon Redshift qui a simplifié et amélioré le processus grâce à un contrôle granulaire de la façon dont nos données sont utilisées. Nous pouvons désormais découvrir les données, y accéder et les analyser dans notre lac de données à l'aide de nos outils préférés, et en tirer parti pour la veille économique et la science des données. Ce flux de travail rationalisé aide nos cadres à prendre les bonnes décisions à temps. Il favorise aussi l'innovation par le machine learning. »

Logo_for_Life360_App

Life360 est la première application spécialement conçue pour assurer la tranquillité d'esprit des familles au monde. L'application Life360 rapproche les familles grâce à des fonctionnalités intelligentes conçues pour protéger et connecter les proches.

« Nous voulions utiliser AWS Lake Formation pour construire notre lac de données afin de soutenir les données de séries chronologiques géoréférencées et de faciliter grandement le chargement des données. En utilisant des plans préfabriqués, nous avons pu intégrer les données dans le lac de données sans que notre équipe d'ingénieurs n'ait à écrire du code à partir de zéro. Ainsi, elle a pu se concentrer sur l'opérationnalisation de l'ingestion et non sur la réinvention de la roue », explique Richard Chennault, responsable des services cloud et données chez Life360, Inc. « Avec AWS Lake Formation, nous avons pu débloquer rapidement les données disponibles dans Amazon S3 et les rendre disponibles pour analyser un large éventail de services de données AWS. Les données restent dans Amazon S3, nous pouvons les analyser de différentes manières, et nous gardons un contrôle total sur elles. »

change-healthcare-red-blue-logo

Change Healthcare est une société indépendante de premier plan dans le secteur des technologies de la santé qui fournit des solutions basées sur les données et l'analyse à environ 2 100 connexions gouvernementales et commerciales, 5 500 hôpitaux, 900 000 médecins et 33 000 pharmacies.

« Nous traitons quotidiennement des données provenant de millions de transactions tout en respectant les réglementations du secteur de la santé, y compris HIPAA », a déclaré Aaron Symanski, CTO de Change Healthcare. « Nous sommes très enthousiasmés par le lancement d’AWS Lake Formation, qui fournit un point de contrôle central pour charger, nettoyer, sécuriser et cataloguer facilement les données de milliers de clients dans notre lac de données basé sur AWS, réduisant ainsi considérablement notre charge opérationnelle. Les contrôles d'accès aux données de Lake Formation nous permettront de définir facilement nos politiques une seule fois et de les appliquer à tous les services d'analyse et de machine learning que nous utilisons, avec des journaux d'audit indiquant la conformité. »

Fender_digital

Appartenant à Fender, la marque de guitare emblématique, Fender Digital fabrique des applications, des sites Web, des plateformes et des outils pour agrémenter les guitares, les amplis et les équipements audio fabriqués par Fender.

« Nous générons des tonnes de données sur les utilisateurs et l'utilisation à partir de nos applications et périphériques numériques. Nous prévoyons de créer un lac de données sur AWS qui sera exploité parallèlement à notre entrepôt de données basé sur Amazon Redshift », a déclaré Joshua Couch, vice-président de l'ingénierie chez Fender Digital. « J’ai hâte que mon équipe mette la main sur AWS Lake Formation. Lake Formation nous facilitera le chargement, la transformation et le catalogage de nos données et les rendra disponibles de manière sécurisée au sein de notre organisation, à travers un vaste portfolio de services AWS. Avec une option prête pour une utilisation en entreprise telle que Lake Formation, nous pourrons nous affranchir d'énormes tâches nécessaires à la configuration et à la gestion manuelles de notre lac de données et passer plus de temps à tirer parti de nos données. »

cloudreach-logo

Optimisé par la plate-forme logicielle de migration et de gestion Cloudamize, Cloudreach apporte simplicité et confiance absolue à la prise de décision guidée par les données.

« AWS Lake Formation démocratise le lac de données et crée un point d'accélération pour la stratégie de données d'entreprise », a déclaré Kevin Davis, directeur de la technologie AWS Practice chez Cloudreach. « AWS Lake Formation centralise la sécurité et la gouvernance des services, rationalise la gestion et réduit les frais généraux d'exploitation. En accélérant le processus de suppression de silos des données en continu dans toute l'entreprise, d'autres initiatives, comme le machine learning commencent à générer une plus grande valeur commerciale. »

Amgen-logo

Amgen est la plus grande société de biotechnologie indépendante au monde.

« Chez Amgen, nous sommes de grands utilisateurs des clusters Amazon Redshift et Amazon EMR depuis plus de trois ans. La mise en place de contrôles de sécurité et d'accès pour chaque compte, service, utilisateur et ensemble de données d'AWS ayant le niveau de détail requis pourrait s'avérer fastidieuse », explique Kerby Johnson, responsable du produit lac de données d'entreprise chez Amgen. « AWS Lake Formation rationalise le processus avec un point central de contrôle tout en nous permettant de contrôler plus étroitement l'accès nos données et leur utilisation. AWS Lake Formation nous permet de gérer les permissions sur les objets Amazon S3 comme nous le ferions sur les données dans une base de données. Nos utilisateurs pourront trouver les données dont ils ont besoin, y accéder et les analyser avec les outils qu'ils préfèrent. Avec ce nouveau flux de travail, tout le monde peut être plus productif en utilisant les données d'Amgen. »

Alcon-logo

Alcon est leader mondial en matière d'innovation et de développement de produits de soins oculaires et de soins de la vue susceptibles de changer la vie des patients.

« Comme beaucoup d'entreprises, nous avons opté pour les lacs de données pour nous affranchir des silos de données inaccessibles », explique Srinivas Ravilisetty, responsable de l'analyse informatique chez Alcon. « Avec AWS Lake Formation, nous pouvons rapidement ajouter un accès aux compartiments Amazon S3 existants, définir ce qu'ils contiennent et comment ils peuvent être utilisés. Les données restent dans S3, mais nous en avons le contrôle total pour d'autres utilisations. »

quantiphi-logo

Quantiphi est un fournisseur de logiciels et services liés à l'intelligence artificielle et au Big Data qui s'est spécialisé dans la résolution de problèmes métier complexes. Quantiphi se spécialise dans la création de solutions de lacs de données et d'intelligence artificielle qui permettent aux clients d'ajouter de la valeur de manière quantifiable.

« AWS Lake Formation nous permet de fournir un lac de données sécurisé avec un accès aux données pertinentes en quelques jours », a déclaré Arnav Gupta, responsable AWS Practice chez Quantiphi. « Désormais, nous avons la capacité d'offrir le meilleur des deux mondes à nos clients : une sécurité totale et un accès simplifié aux données pertinentes pour que leurs utilisateurs puissent prendre des décisions facilement. Nos clients peuvent se concentrer sur la prise de décisions commerciales plus intelligentes et axées sur l'analyse, notamment en puisant dans une source de données puissante et centralisée. »

Product-Page_Standard-Icons_01_Product-Features_SqInk
En savoir plus sur les fonctionnalités d’AWS Lake Formation
En savoir plus 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
Créer un compte
S'inscrire 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Commencez à créer sur la console
Se connecter