UFV crea un'architettura data lake house comune su AWS, migliorando la governance e la qualità

La UFV è in grado di controllare la sicurezza dell'accesso ai dati in diversi modi. Da un lato, consente l'accesso a determinati utenti tramite i criteri di AWS Identity and Access Management (AWS IAM), che consentono a UFV di specificare chi o cosa può accedere a servizi e risorse in AWS, gestire centralmente autorizzazioni granulari e analizzare gli accessi per affinare le autorizzazioni in AWS. D'altra parte, ha un accesso sicuro ai dati su AWS Lake Formation, un servizio che viene utilizzato per creare data lake sicuri, utilizzando diverse tecniche di catalogazione dei dati per concedere autorizzazioni tramite tag.

"All'università, riteniamo che la combinazione di entrambi i metodi sia la chiave per garantire che la soluzione di accesso ai dati sia affidabile e robusta", afferma José Antonio Marcos, Chief Information Officer di UFV. Ora l'università gode di un accesso unificato ai dati da tutti i campus e può generare report quasi in tempo reale.

Con sede a Madrid, in Spagna, l'UFV è un istituto di istruzione superiore cattolico romano privato con la missione di formare professionisti che desiderano trasformare la società. Essendo un'università in crescita, attrae sempre più studenti e introduce tecnologie sempre nuove nelle sue sette strutture, Clinical Simulating Center, Motor Sports Institute, UFV College, scuole di specializzazione e dottorato. Nel suo impegno per l'eccellenza, UFV sta adottando nuove metodologie di insegnamento e apprendimento che si traducono in nuove esperienze di apprendimento. In questo contesto, l'università ha aggiunto cinque nuovi diplomi di laurea, tra cui una laurea in ingegneria dei sistemi di intelligenza artificiale. Come conseguenza a questa crescita, i dati di UFV aumentano ogni giorno.

Man mano che il suo panorama tecnologico diventava più complesso, UFV incontrava difficoltà nella gestione dei dati e nel mantenimento di una solida governance. Le sue applicazioni non avevano un'architettura definita, né si integravano con altre origini dati. Quindi, ha contattato AWS Professional Services, un team globale di esperti che aiuta le organizzazioni a raggiungere i risultati aziendali desiderati utilizzando il cloud AWS.

Utilizzando un ambiente di sviluppo AWS, i team di UFV e AWS Professional Services hanno creato un'architettura data lake house in 25 sessioni di 1,5 ore. UFV ha impiegato solo 2 mesi per sviluppare competenze sufficienti a creare soluzioni simili in ambienti diversi.

"Guidati da AWS Professional Services, abbiamo realizzato un'architettura cloud che soddisfa le esigenze di dati della UFV", afferma Marcos. "Abbiamo seguito una metodologia di lavoro flessibile per creare un valore profondo attraverso il trasferimento di conoscenze e buone pratiche, facilitando il potenziamento della futura crescita della nostra organizzazione".

UFV ha integrato quattro delle sue principali origini dati con il data lake: UXXI, uno dei principali sistemi di gestione accademica in Spagna; Canvas, il sistema di gestione della formazione di UFV; Salesforce, il software di gestione delle relazioni con i clienti e cloud computing e Gestión Academica, una origine dati on-premise. Utilizzando AWS Glue, un servizio di integrazione dati serverless, UFV può preparare, spostare e integrare i dati da queste origini nel data lake utilizzando un flusso di lavoro comune. Questo processo è automatizzato e richiede pochi interventi da parte del team di UFV. I dati di diversi repository sono archiviati su Amazon Simple Storage Service (Amazon S3), un servizio di archiviazione di oggetti che offre scalabilità, disponibilità dei dati, sicurezza e prestazioni all'avanguardia nel settore. La soluzione è altamente scalabile e semplifica l'integrazione rapida di nuove fonti nel data lake in base alle esigenze.

Rendendo disponibili i dati in un luogo comune, UFV ha risparmiato tempo e denaro. In un caso, l'università ha sviluppato un flusso di lavoro automatizzato per estrarre dati dal sistema di gestione dell'apprendimento Canvas utilizzando diversi servizi AWS, tra cui Amazon S3; AWS Lambda, un servizio di elaborazione serverless basato su eventi; e Amazon EventBridge, un router di eventi serverless. Automatizzando questo processo, UFV stima che risparmierà 20.000 euro all'anno. L'università può anche generare report sulla gestione dei dati quasi in tempo reale. "Prima dell'implementazione dei servizi AWS, la creazione di report sulla gestione dei dati richiedeva in genere 2-3 giorni", afferma Sergio Martín Míguez, sviluppatore di sistemi cloud presso UFV. "Ora, con il nostro data lake su AWS, i dati sono aggiornati quasi in tempo reale".

L'architettura data lake house di UFV esegue più processi di estrazione, trasformazione e caricamento che seguono le migliori pratiche AWS per la sicurezza e la governance dei dati. L'architettura è regolata dalle autorizzazioni di AWS Lake Formation, che rendono disponibili i dati agli utenti autorizzati. Con un catalogo dati unificato, l'università può controllare l'accesso e la pubblicazione dei propri dati supportando al contempo i massimi livelli di fiducia, sicurezza e qualità. Poiché UFV conserva istantanee dei suoi report di dati quasi in tempo reale, l'università può monitorare che i suoi dati soddisfino gli standard di qualità, siano conformi ai requisiti normativi e aderiscano alle migliori pratiche AWS.

Nella progettazione dell'architettura del data lake, la sicurezza informatica è un aspetto fondamentale. UFV è pienamente impegnata nella protezione e nella riservatezza dei propri dati e persegue le migliori pratiche in materia di sicurezza informatica. Per tutti questi motivi, UFV si sta adattando al National Security Scheme spagnolo distribuendo uno specifico pacchetto di conformità su AWS Config, un servizio che valuta, verifica ed esamina continuamente le configurazioni e le relazioni delle risorse su AWS, on-premise e su altri cloud.