UFV entwickelt eine gemeinsame Data-Lake-House-Architektur in AWS und verbessert so Governance und Qualität

UFV ist in der Lage, die Sicherheit des Datenzugriffs auf verschiedene Arten zu kontrollieren. Einerseits ermöglicht UFV bestimmten Benutzern den Zugriff über AWS-Richtlinien für Identity and Access Management (AWS IAM), sodass die Universität festlegen kann, wer oder was auf Services und Ressourcen in AWS zugreifen, detaillierte Berechtigungen zentral verwalten und den Zugriff analysieren kann, um die Berechtigungen in AWS zu verfeinern. Andererseits verfügt sie über einen gesicherten Zugriff auf Daten in AWS Lake Formation, einem Service, der zur Erstellung sicherer Data Lakes verwendet wird, indem verschiedene Datenkatalogisierungstechniken verwendet werden, um Berechtigungen über Tags zu gewähren.

„An der Universität glauben wir, dass die Kombination beider Methoden der Schlüssel ist, um sicherzustellen, dass die Datenzugriffslösung zuverlässig und robust ist“, sagt José Antonio Marcos, Chief Information Officer von UFV. Jetzt hat die Universität einen einheitlichen Zugriff auf Daten an allen Standorten und kann Berichte nahezu in Echtzeit erstellen.

Die UFV mit Sitz in Madrid, Spanien, ist eine private römisch-katholische Hochschule mit dem Ziel, Fachkräfte auszubilden, die die Gesellschaft verändern wollen. Als wachsende Universität zieht sie immer mehr Studierende an und führt neue Technologien in ihren sieben Einrichtungen, dem Clinical Simulating Center, dem Motor Sports Institute, dem UFV College, den Postgraduierten- und Doktorandenschulen, ein. Im Rahmen ihres Engagements für Exzellenz setzt UFV neue Lehr- und Lernmethoden ein, die zu neuen Lernerlebnissen führen. In diesem Zusammenhang fügte die Universität fünf neue Hochschulabschlüsse hinzu, darunter einen Abschluss in Systemtechnik für künstliche Intelligenz. Aufgrund dieses Wachstums nehmen die Daten von UFV täglich zu.

Als das Technologieumfeld immer komplexer wurde, stieß UFV auf Schwierigkeiten bei der Verwaltung von Daten und der Aufrechterhaltung einer soliden Governance. Ihre Anwendungen hatten weder eine definierte Architektur noch waren sie in andere Datenquellen integriert. Auf der Suche nach einer Lösung wandte sich UFV an AWS Professional Services, ein globales Expertenteam, das Unternehmen bei der Nutzung von AWS dabei unterstützt, ihre gewünschten Geschäftsergebnisse zu erzielen.

Mithilfe einer AWS-Entwicklungsumgebung erstellten die Teams von UFV und AWS Professional Services in 25 1,5-stündigen Sitzungen eine Data-Lake-House-Architektur. Es dauerte nur 2 Monate, bis UFV genügend Fähigkeiten entwickelt hatte, um ähnliche Lösungen in anderen Umgebungen zu entwickeln.

„Unter der Leitung von AWS Professional Services haben wir eine Cloud-Architektur bereitgestellt, die die Datenanforderungen von UFV erfüllt“, sagt Marcos. „Wir haben uns an eine flexible Arbeitsmethodik gehalten, um durch den Transfer von Wissen und bewährten Methoden einen großen Mehrwert zu schaffen, was die Stärkung unseres zukünftigen Unternehmenswachstums erleichtert.“

UFV hat vier ihrer wichtigsten Datenquellen in den Data Lake integriert: UXXI, ein führendes akademisches Managementsystem in Spanien; Canvas, das Lernmanagementsystem von UFV; Salesforce-Kundenbeziehungsmanagement- und Cloud-Computing-Software; und Gestión Academica, eine On-Premises-Datenquelle. Mit AWS Glue, einem Serverless-Datenintegrationsservice, kann UFV Daten aus diesen Quellen mithilfe eines gemeinsamen Workflows vorbereiten, verschieben und in den Data Lake integrieren. Dieser Prozess ist automatisiert und erfordert nur geringe Eingriffe des UFV-Teams. Daten aus mehreren Repositorys werden in Amazon Simple Storage Service (Amazon S3) gespeichert, einem Objektspeicherservice, der Skalierbarkeit, Datenverfügbarkeit, Sicherheit und Leistung bietet. Die Lösung ist hochgradig skalierbar, sodass neue Quellen bei Bedarf einfach und schnell in den Data Lake integriert werden können.

Durch die Bereitstellung von Daten an einem gemeinsamen Ort hat UFV sowohl Zeit als auch Geld gespart. In einem Beispiel entwickelte die Universität einen automatisierten Workflow zum Extrahieren von Daten aus ihrem Canvas-Lernmanagementsystem mithilfe mehrerer AWS-Services, darunter Amazon S3, AWS Lambda, ein ereignisgesteuerter Serverless-Datenverarbeitungsservice, und Amazon EventBridge, ein Serverless-Eventbus. UFV schätzt, dass durch die Automatisierung dieses Prozesses 20 000 € pro Jahr eingespart werden. Die Universität kann auch Datenverwaltungsberichte nahezu in Echtzeit erstellen. „Vor der Implementierung von AWS-Services dauerte die Datenverwaltungs-Berichterstattung in der Regel 2–3 Tage“, sagt Sergio Martín Míguez, Cloud-Systementwickler bei UFV. „Mit unserem Data Lake in AWS haben wir die Daten jetzt fast in Echtzeit aktualisiert.“

Die Data-Lake-House-Architektur von UFV führt mehrere Extraktions-, Transformations- und Ladeprozesse durch, die den bewährten AWS-Methoden für Datensicherheit und Governance entsprechen. Die Architektur wird durch AWS-Lake-Formation-Berechtigungen gesteuert, die Daten für autorisierte Benutzer verfügbar machen. Mit einem einheitlichen Datenkatalog kann die Universität den Zugriff auf ihre Daten und deren Veröffentlichung kontrollieren und gleichzeitig ein Höchstmaß an Vertrauen, Sicherheit und Qualität gewährleisten. Da UFV Snapshots ihrer Datenberichte nahezu in Echtzeit verwaltet, kann die Universität überwachen, ob ihre Daten den Qualitätsstandards, behördlichen Anforderungen und bewährten AWS-Methoden entsprechen.

Bei der Gestaltung der Data-Lake-Architektur ist Cybersicherheit ein wichtiger Aspekt. UFV setzt sich voll und ganz für den Schutz und die Vertraulichkeit ihrer Daten ein und verfolgt bewährte Methoden im Bereich Cybersicherheit. Aus all diesen Gründen passt sich UFV an das nationale Sicherheitssystem Spaniens an und stellt ein spezielles Konformitätspaket auf AWS Config bereit, einem Service, der die Konfigurationen und Beziehungen von Ressourcen in AWS, On-Premises und in anderen Clouds kontinuierlich bewertet und prüft.