Cos’è un framework per la migrazione dei dati?
Cos’è un framework per la migrazione dei dati?
La migrazione dei dati è lo spostamento dei dati da un sistema di archiviazione o ambiente calcolo a un altro. Tutte le migrazioni di dati mirano a spostare i dati in modo efficiente considerando fattori come le risorse di rete, la sicurezza dei dati, i tempi e i metodi di trasferimento. La migrazione dei dati nel cloud si concentra specificatamente sullo spostamento dei dati nel cloud.
Questo processo non riguarda semplicemente il trasferimento dei dati, ma implica una mappatura accurata tra diversi ambienti di archiviazione. Per questo, può assumere diverse forme. Ad esempio, può richiedere il caricamento periodico dei file di dati in batch, la trasmissione dei dati dai sensori o l’implementazione di una migrazione una tantum di un archivio esistente da sistemi di archiviazione di dati on-premises.
Obiettivi
Ogni progetto di migrazione dei dati nel cloud richiede un business case chiaro per determinare i risultati migliori. Tuttavia, ci sono alcuni obiettivi comuni alla maggior parte delle migrazioni:
- Maggiore efficienza, ad esempio, nella ricerca di una maggiore operatività, dell’infrastruttura remota o del consolidamento del sistema.
- Riduzione della spesa in termini di risorse per la manutenzione dell’hardware, il funzionamento della sala server e gli amministratori di sistema in loco 24 ore su 24, 7 giorni su 7.
- Piattaforma dati come base per condurre analisi, utilizzare l’intelligenza artificiale e creare applicazioni aziendali.
Altri obiettivi possono includere la garanzia che i sistemi rimangano disponibili alla fine del loro ciclo di vita naturale, la virtualizzazione di tutta l’infrastruttura e l’integrazione dei dati con i sistemi cloud esistenti.
Sfide
Una migrazione al cloud di successo implica molto più del semplice trasferimento di file. Richiede che:
- Le autorizzazioni, i controlli di accesso e altri metadati rimangano intatti.
- Gli utenti abbiano accesso ininterrotto ai dati critici durante i caricamenti.
- La coerenza dei dati venga mantenuta anche in caso di interruzioni della rete
Il trasferimento di grandi volumi di dati richiede molto tempo e, spesso, un intervento manuale significativo. Investire in strumenti specializzati per la migrazione può comportare costi irrecuperabili una volta completata la transizione.
Pertanto, la migrazione al cloud richiede pianificazione, organizzazione e gli strumenti giusti per limitare i costi generali operativi e ridurre la spesa. In caso contrario, il processo di migrazione dei dati potrebbe subire ritardi o addirittura richiedere di ripartire da zero.
Quali sono le principali considerazioni sulla pianificazione della migrazione dei dati?
La leadership e i team coinvolti nella migrazione dei dati devono prendere in considerazione i seguenti aspetti:
- Tempo impiegato per migrare i dati
- Eventuali incompatibilità legate a origine e destinazione esistenti
- Considerazioni sulla sicurezza durante la migrazione
- Costo degli strumenti o dei processi di migrazione
- Considerazioni sulla pianificazione
- Tipo di migrazione (batch, streaming, tutto in una volta)
- Impatto sulle risorse di rete.
Le fasi della pianificazione includono:
Valutazione delle origini dati
Prima di spostare i dati, è necessario valutare le attuali configurazioni dei dati. I tipi attuali di dati, archiviazione e metodi di accesso sono infatti cruciali per decidere tra le opzioni di migrazione.
Ad esempio, i database relazionali archiviati su un server MySQL in loco possono essere migrati ad Amazon Relational Database Service (RDS) con un processo relativamente semplice e un sistema di gestione del database uno a uno. Tuttavia, i sistemi legacy on-premises per ERP potrebbero rivelarsi più difficili, soprattutto se un imperativo di trasformazione digitale comporta una modifica del software.
Identifica e annota i dettagli di tutte le origini dati per la migrazione al cloud, come:
- Database
- Dati dell’applicazione
- Archiviazione
- Modelli di dati
- Cloud-to-cloud
Progetta la migrazione
La progettazione comporta l’organizzazione e la configurazione di strumenti di migrazione che soddisfino gli standard di sicurezza esistenti. Inoltre, è necessario determinare l’ordine delle operazioni di migrazione dei dati e pianificarle in anticipo. Ad esempio, è possibile scegliere tra:
- Replica in tempo reale per la copia automatica e asincrona degli oggetti fino alla sincronizzazione dei dati tra i due sistemi.
- Migrazione istantanea per fornire in una sola volta lo stato completo del sistema, che viene poi aggiornato con trasferimenti più piccoli per recuperare il ritardo e allinearlo allo stato attuale.
- Migrazione graduale per la migrazione di set di dati più piccoli uno alla volta.
Inoltre, pianificazione della valutazione dell’accuratezza e della qualità della migrazione alla fine.
Sintesi degli stakeholder chiave
La migrazione può essere rivoluzionaria per dipendenti, clienti e partner aziendali. Assicurati che le principali parti interessate siano consapevoli del processo di migrazione dei dati, dei piani, delle tempistiche e delle interruzioni dell’accessibilità durante il periodo di migrazione. Potrebbe essere necessaria una formazione mirata anche per garantire che gli amministratori sappiano come configurare e gli utenti sappiano come accedere ai dati e ai servizi cloud dopo la migrazione.
Pianifica gli aggiornamenti frequenti durante tutto il processo di migrazione per mantenere un clima positivo.
Sviluppo e test della soluzione
Ogni migrazione dei dati richiede una strategia diversa. Alcuni tipi di migrazione dei dati richiedono un trasferimento rapido e immediato di una piccola quantità di dati, mentre altri potrebbero provocare l’accumulo di una grande quantità di dati nel tempo. Il modo in cui creare e testare la migrazione dipenderà dalla strategia e dagli strumenti utilizzati. In genere, è possibile continuare a utilizzare i vecchi sistemi fino al completamento del test dei nuovi sistemi per garantire la correttezza e la finalizzazione del processo di migrazione.
Quali sono le strategie di migrazione dei dati?
Esistono diverse strategie e metodi per caricare i dati nel cloud AWS utilizzando i servizi di migrazione dei dati nel cloud AWS.
Connessioni di rete dirette
Una connessione di rete diretta è una connessione cablata privata tra il router e un router basato su cloud. Il router basato su cloud si trova a livello di edge della rete privata del provider cloud e apre direttamente alla sua gamma di servizi.
AWS Direct Connect consente di utilizzare un cavo in fibra ottica Ethernet per una connessione di rete di livello 3 tra l’organizzazione e AWS per spostare in modo sicuro i dati dalle reti ai servizi AWS. AWS Direct Connect ha sedi in tutto il mondo, permettendo quindi di configurare ovunque le apparecchiature per la migrazione dei dati.
Passaggi per iniziare:
Fase 1: Selezione delle posizioni Direct Connect
Scegli una posizione AWS Direct Connect, individua le connessioni necessarie e seleziona la dimensione della porta. È possibile utilizzare più porte per larghezza di banda e ridondanza maggiori.
Fase 2: Scelta del tipo di connessione
Decidi tra una connessione dedicata o con host. Una connessione dedicata offre un accesso esclusivo con più interfacce virtuali, mentre una connessione con host condivide la connessione incrociata e fornisce un’unica interfaccia virtuale.
Fase 3: Configurazione delle interfacce virtuali
Configura una o più interfacce logiche virtuali (VIF) sulla connessione. Le VIF di transito si connettono ad AWS Transit Gateway, quelle pubbliche accedono ai servizi pubblici AWS tramite IP pubblici e quelle private si connettono ad Amazon VPC utilizzando IP privati.
Trasferimento dati basato sul dispositivo
Le migrazioni di dati su larga scala possono essere più efficienti quando si spostano i dati su un dispositivo e si trasportano fisicamente in un data center. AWS Snowball è un servizio che fornisce dispositivi sicuri e robusti da utilizzare per caricare dati in modo sicuro nel cloud. I passaggi sono i seguenti:
1. AWS spedisce un dispositivo Snowball nella posizione su richiesta.
2. Connetti il dispositivo alla tua rete e utilizza il client AWS Snowball o AWS OpsHub per sbloccare e configurare il dispositivo.
3. Copia i dati sul dispositivo (la crittografia integrata garantisce la sicurezza durante il trasferimento).
4. Rispedisci il dispositivo ad AWS utilizzando l’etichetta di spedizione prepagata.
5. Dopo averlo ricevuto, AWS trasferirà automaticamente i dati nel bucket S3 designato e cancellerà in modo sicuro il dispositivo Snowball.
6. Riceverai una notifica al termine del processo.
Caricamento dei flussi di dati dei sensori
I dati in streaming raccolti da dispositivi IoT o industriali e reti di sensori possono essere trasferiti in tempo reale sul cloud anziché essere acquisiti ed elaborati in batch in loco. Amazon Data Firehose consente di configurare un flusso con un’origine dati, trasformare i dati se necessario e poi archiviarli in uno dei servizi di archiviazione di destinazione su AWS.
I passaggi sono i seguenti
Fase 1: Creazione di un flusso Firehose
Un flusso Firehose è l’entità principale di Amazon Data Firehose. Puoi crearlo dalla console AWS e configurarlo per ricevere dati direttamente o da un flusso di dati Amazon Kinesis esistente.
Fase 2: Invio dei dati al flusso Firehose
I record, di dimensioni fino a 1.000 KB, vengono inviati dai producer di flussi di dati al flusso Firehose. I data producer possono essere applicazioni, server o altri servizi AWS.
Fase 3: Configurazione del buffering ed elaborazione dei dati
Amazon Data Firehose memorizza nel buffer i dati in entrata prima di inoltrarli alle destinazioni. È possibile configurare la dimensione del buffer (in MB) e l’intervallo (in secondi).
Fase 4: Scelta della destinazione e comprensione del flusso di dati
Amazon Data Firehose fornisce dati in streaming verso varie destinazioni
- I dati di Amazon S3 sono archiviati in un bucket S3, con backup opzionale dei dati trasformati.
- Amazon Redshift viene prima distribuito in un bucket S3 e poi caricato in Redshift utilizzando il comando COPY.
- Servizio OpenSearch di Amazon con un backup opzionale su S3.
Migrazione di database
La migrazione del database si riferisce alla migrazione di database relazionali, data warehouse, database NoSQL e altri tipi di archivi di dati in forma di database. I servizi di migrazione rilevano i tipi e gli schemi di database e li copiano direttamente nella stessa infrastruttura o li convertono in un nuovo motore di destinazione.
AWS Database Migration Service rileva, valuta, converte e migra i carichi di lavoro di database e analisi in AWS utilizzando un processo di migrazione dei dati automatizzato. È altamente disponibile e presenta tempi di inattività minimi.
Se il tuo caso di migrazione dei dati non è elencato sopra, puoi provare uno dei seguenti:
- AWS Transfer Family è una suite di servizi sicuri per il trasferimento di file come SFTP
- Gateway di archiviazione AWS è una suite di soluzioni ibride di archiviazione in loco e nel cloud
- AWS Glue è una suite di servizi per scoprire, preparare, spostare e integrare dati da varie origini
Quali sono le best practice per la migrazione dei dati?
Di seguito sono riportate alcune best practice per la migrazione dei dati nel cloud.
Eseguire sempre il backup dei dati
Effettua sempre il backup dei dati, sia se hai intenzione di spostarli sia se devi semplicemente eseguire le operazioni quotidiane. Non eliminare i dati originali se non hai la certezza che la configurazione cloud sia stata accuratamente testata e funzioni come previsto, con i dovuti backup.
Assicurarsi che tutte le dipendenze siano mappate e migrate
I dati sono spesso collegati a varie altre dipendenze e non funzionano correttamente senza di esse. Per garantire una transizione senza intoppi, assicurati che tutte le dipendenze siano mappate e migrate insieme ai dati originali. Le autorizzazioni utente e i controlli di accesso dovrebbero essere impostati sugli stessi livelli di prima della migrazione e rivalutati per garantire maggiore sicurezza, quando possibile.
Controllare accuratamente gli obblighi e le configurazioni di sicurezza e conformità
Prima, durante e dopo la migrazione, è necessario esaminare le policy e le procedure di sicurezza e conformità per determinare i processi e i controlli corretti da utilizzare nelle attività di migrazione.
Includere la pianificazione per lo smantellamento degli strumenti obsoleti
L’hardware obsoleto può contenere ancora dati recuperabili, anche se i file e gli spazi sul disco sono stati eliminati. Per garantire la cancellazione completa di tutti i dati, assicurati che i vecchi dispositivi siano disattivati, ad esempio seguendo le linee guida NIST 800-88 per la pulizia dei supporti.
In che modo AWS supporta le esigenze di migrazione dei dati?
In AWS, abbiamo sviluppato una suite completa di strumenti e servizi di migrazione dei dati per rendere la loro importazione e la loro esportazione facili, sicure ed economiche. L’assistenza è disponibile in ogni fase del processo di migrazione dei dati. Consulta AWS Cloud Migration per migrare e modernizzare con AWS o richiedi subito una Ottimizzazione e valutazione delle licenze di AWS.