UFV crée une architecture data lake house commune sur AWS, améliorant ainsi la gouvernance et la qualité

L'UFV peut contrôler la sécurité de l'accès aux données de plusieurs manières. D'une part, elle autorise l'accès à certains utilisateurs via les politiques Gestion des identités et des accès AWS (AWS IAM), qui permettent à l'UFV de spécifier qui ou quoi peut accéder aux services et aux ressources d'AWS, de gérer de manière centralisée les autorisations détaillées et d'analyser les accès pour affiner les autorisations sur AWS. D'autre part, elle dispose d'un accès sécurisé aux données sur AWS Lake Formation, un service utilisé pour créer des lacs de données sécurisés, en utilisant différentes techniques de catalogage de données pour accorder des autorisations par le biais de balises.

« À l'université, nous pensons que la combinaison des deux méthodes est essentielle pour garantir la fiabilité et la robustesse de la solution d'accès aux données », déclare José Antonio Marcos, chief information officer de l'UFV. L'université bénéficie désormais d'un accès unifié aux données de ses campus et peut générer des rapports quasiment en temps réel.

Basée à Madrid, en Espagne, l'UFV est un établissement d'enseignement supérieur catholique privé dont la mission est de former des professionnels qui cherchent à transformer la société. En tant qu'université en pleine croissance, elle continue d'attirer de plus en plus d'étudiants et d'introduire de nouvelles technologies dans ses sept installations, son centre de simulation clinique, son institut du sport automobile, son université UFV, ses écoles doctorales et de troisième cycle. Dans son engagement en faveur de l'excellence, l'UFV adopte de nouvelles méthodologies d'enseignement et d'apprentissage, qui se traduisent par de nouvelles expériences d'apprentissage. Dans ce contexte, l'université a ajouté cinq nouveaux diplômes d'études supérieures, dont un diplôme en génie des systèmes d'intelligence artificielle. En raison de cette croissance, les données de l'UFV augmentent chaque jour.

À mesure que son paysage technologique devenait de plus en plus complexe, l'UFV a rencontré des difficultés pour gérer les données et maintenir une gouvernance solide. Ses applications n'avaient pas d'architecture définie et ne s'intégraient pas à d'autres sources de données. À la recherche d'une solution, elle a contacté AWS Professional Services, une équipe mondiale d'experts aidant les organisations à obtenir les résultats professionnels escomptés en utilisant AWS.

À l'aide d'un environnement de développement AWS, les équipes de l'UFV et d'AWS Professional Services ont créé une architecture data lake house en 25 sessions d'une heure et demie. Il n'a fallu que 2 mois à UFV afin de développer les compétences suffisantes pour créer des solutions similaires dans différents environnements.

« En nous appuyant sur AWS Professional Services, nous avons développé une architecture cloud qui répond aux besoins de l'UFV en matière de données », explique José Antonio Marcos. « Nous avons suivi une méthodologie de travail flexible afin d'apporter une valeur ajoutée importante grâce au transfert de connaissances et de bonnes pratiques, ce qui facilite la croissance future de notre organisation. »

L'UFV a intégré quatre de ses principales sources de données au lac de données : UXXI, l'un des principaux systèmes de gestion universitaire en Espagne ; Canvas, le système de gestion de l'apprentissage de l'UFV ; le logiciel de gestion de la relation client et de cloud computing Salesforce ; et Gestión Academica, une source de données sur site. À l'aide d'AWS Glue, un service d'intégration de données sans serveur, UFV peut préparer, déplacer et intégrer les données provenant de ces sources dans le lac de données à l'aide d'un flux de travail commun. Ce processus est automatisé et nécessite peu d'intervention de la part de l'équipe UFV. Les données provenant de plusieurs référentiels sont stockées sur Amazon Simple Storage Service (Amazon S3), un service de stockage d'objets qui offre une capacité de mise à l'échelle, une disponibilité des données, une sécurité et des performances. La solution est hautement évolutive, ce qui facilite l'intégration rapide de nouvelles sources dans le lac de données selon les besoins.

En mettant les données à disposition dans un emplacement commun, UFV a économisé du temps et de l'argent. Par exemple, l'université a développé un flux de travail automatisé pour extraire les données de son système de gestion de l'apprentissage Canvas à l'aide de plusieurs services AWS, notamment Amazon S3, AWS Lambda, un service informatique sans serveur piloté par les événements, et Amazon EventBridge, un bus d'événements sans serveur. En automatisant ce processus, l'UFV estime qu'elle économisera 20 000 € par an. L'université peut également générer des rapports de gestion des données en temps quasi réel. « Avant la mise en œuvre des services AWS, les rapports de gestion des données prenaient généralement 2 à 3 jours », explique Sergio Martín Míguez, cloud systems developer chez UFV. « Désormais, grâce à notre lac de données sur AWS, les données sont mises à jour presque en temps réel. »

L'architecture data lake house d'UFV exécute plusieurs processus d'extraction, de transformation et de chargement conformes aux meilleures pratiques d'AWS en matière de sécurité et de gouvernance des données. L'architecture est régie par les autorisations AWS Lake Formation, qui mettent les données à la disposition des utilisateurs autorisés. Grâce à un catalogue de données unifié, l'université peut contrôler l'accès à ses données et leur publication tout en garantissant les plus hauts niveaux de confiance, de sécurité et de qualité. Étant donné que l'UFV conserve des instantanés de ses rapports de données quasiment en temps réel, l'université peut vérifier que ses données répondent aux normes de qualité, aux exigences réglementaires et respectent les meilleures pratiques d'AWS.

Dans la conception de l'architecture du lac de données, la cybersécurité est un aspect essentiel. L'UFV s'engage pleinement en faveur de la protection et de la confidentialité de ses données et applique les meilleures pratiques en matière de cybersécurité. Pour toutes ces raisons, l'UFV s'adapte au système de sécurité national espagnol en déployant un pack de conformité spécifique sur AWS Config, un service qui audite et évalue en permanence les configurations et les relations des ressources sur AWS, sur site et sur d'autres clouds.