Questa guida aiuta le aziende di servizi pubblici ad acquisire dati dai Meter Data Management System (MDM) o direttamente dagli Head End System (HES) e a combinarli con altre origini dati, inclusi i dati meteorologici e del sistema informativi geografici (GIS). Le aziende di servizi pubblici saranno in grado di rilevare anomalie nei contatori e nei circuiti di distribuzione, eseguire il bilanciamento dei circuiti, contrastare il furto di energia, prevedere la domanda e migliorare il coinvolgimento dei clienti con analisi proattive e previsioni basate sull'intelligenza artificiale e sul machine learning (IA/ML).
Nota: questa guida è stata aggiornata. Il diagramma dell'architettura è una versione avanzata che implementa automaticamente le seguenti nuove funzionalità: data lake, importazione dei dati/pipeline ML, componenti di visualizzazione, simulatore MDMS/HES e test di carico avanzati. Anche il codice di esempio è stato aggiornato con le nuove funzionalità.
Diagramma dell'architettura
[testo]
Fase 1
Scegli tra diversi strumenti AWS per acquisire i dati dei clienti e delle misurazioni, come AWS Lambda per gli adattatori personalizzati, AWS SFTP e Gateway di archiviazione AWS per l'elaborazione in batch e Amazon Kinesis, Amazon Simple Notification Service (Amazon SNS) e Amazon Simple Queue Service (Amazon SQS) per lo streaming di dati.
Fase 2
Usa Amazon Timestream per archiviare dati di serie temporali, AWS Glue e Amazon EMR per elaborare i dati e Amazon Simple Storage Service (Amazon S3) per i dati non elaborati e l'archiviazione. I dati di serie temporali possono essere inviati direttamente a servizi di analisi come Amazon EMR e Amazon Athena per un'ulteriore elaborazione.
Fase 3
Ottieni dati non elaborati dal bucket S3 e inviali ad AWS Glue e Amazon EMR per automatizzare i processi di estrazione, trasformazione e caricamento (ETL) o per l'elaborazione a valore aggiunto. Usa Amazon S3 Glacier per le copie di archivio e la conformità alle norme sulla conservazione.
Fase 4
I set di dati finali puliti e curati vengono archiviati in un bucket S3 all'interno di un data lake. Crea un catalogo di metadati con il Catalogo dati AWS Glue per rendere tutti i dati visibili e ricercabili. Mantieni i dati al sicuro con i Servizi di sicurezza, identità e conformità di AWS.
Fase 5
Esegui analisi complesse con Amazon EMR. Esegui una sola operazione di rilevamento e query dei dati sul tuo data lake e sul tuo warehouse con Athena.
Fase 6
Esegui query su petabyte di dati strutturati, di serie temporali e semistrutturati utilizzando SQL standard con Amazon Redshift.
Fase 7
Crea e pubblica pannelli di controllo interattivi che includono analisi IA/ML con Amazon QuickSight o Grafana gestito da Amazon.
Fase 8
Usa Amazon SageMaker, Amazon Forecast e Amazon Personalize per rilevare anomalie della rete elettrica, prevedere il consumo di energia e anticipare i guasti delle apparecchiature.
Amazon Pinpoint consente di comunicare con i clienti e di misurarne il coinvolgimento. Combina le analisi e i risultati del ML con Amazon Pinpoint per creare campagne e segmenti target di clienti personalizzati.
Fase 1
Scegli tra diversi strumenti AWS per acquisire i dati dei clienti e delle misurazioni, come AWS Lambda per gli adattatori personalizzati, AWS SFTP e Gateway di archiviazione AWS per l'elaborazione in batch e Amazon Kinesis, Amazon Simple Notification Service (Amazon SNS) e Amazon Simple Queue Service (Amazon SQS) per lo streaming di dati.
Fase 2
Usa Amazon Timestream per archiviare dati di serie temporali, AWS Glue e Amazon EMR per elaborare i dati e Amazon Simple Storage Service (Amazon S3) per i dati non elaborati e l'archiviazione. I dati di serie temporali possono essere inviati direttamente a servizi di analisi come Amazon EMR e Amazon Athena per un'ulteriore elaborazione.
Fase 3
Ottieni dati non elaborati dal bucket S3 e inviali ad AWS Glue e Amazon EMR per automatizzare i processi di estrazione, trasformazione e caricamento (ETL) o per l'elaborazione a valore aggiunto. Usa Amazon S3 Glacier per le copie di archivio e la conformità alle norme sulla conservazione.
Fase 4
I set di dati finali puliti e curati vengono archiviati in un bucket S3 all'interno di un data lake. Crea un catalogo di metadati con il Catalogo dati AWS Glue per rendere tutti i dati visibili e ricercabili. Mantieni i dati al sicuro con i Servizi di sicurezza, identità e conformità di AWS.
Fase 5
Esegui analisi complesse con Amazon EMR. Esegui una sola operazione di rilevamento e query dei dati sul tuo data lake e sul tuo warehouse con Athena.
Fase 6
Esegui query su petabyte di dati strutturati, di serie temporali e semistrutturati utilizzando SQL standard con Amazon Redshift.
Fase 7
Crea e pubblica pannelli di controllo interattivi che includono analisi IA/ML con Amazon QuickSight o Grafana gestito da Amazon.
Fase 8
Usa Amazon SageMaker, Amazon Forecast e Amazon Personalize per rilevare anomalie della rete elettrica, prevedere il consumo di energia e anticipare i guasti delle apparecchiature.
Amazon Pinpoint consente di comunicare con i clienti e di misurarne il coinvolgimento. Combina le analisi e i risultati del ML con Amazon Pinpoint per creare campagne e segmenti target di clienti personalizzati.
Principi di Well-Architected
Il framework AWS Well-Architected consente di valutare i pro e i contro delle decisioni prese durante il processo di creazione di sistemi nel cloud. I sei principi del framework consentono di apprendere le best practice architetturali per la progettazione e il funzionamento di sistemi affidabili, sicuri, efficienti, convenienti e sostenibili. Grazie allo strumento AWS Well-Architected, disponibile gratuitamente nella Console di gestione AWS, puoi rivedere i tuoi carichi di lavoro rispetto a queste best practice rispondendo a una serie di domande per ciascun principio.
Il diagramma dell'architettura sopra riportato è un esempio di una soluzione creata tenendo conto delle best practice Well-Architected. Per essere completamente Well-Architected, dovresti seguire il maggior numero possibile di best practice.
-
Eccellenza operativaLeggi il whitepaper sull'eccellenza operativa
AWS Glue e Athena organizzano i dati e monitorano l'accesso ai dati. Puoi analizzare ulteriormente i dati con pannelli di controllo, report e notifiche su QuickSight e Grafana gestito da Amazon. Puoi accedere a questi pannelli di controllo da qualsiasi dispositivo e incorporarli nelle tue app e nei tuoi siti web. AWS CloudFormation gestisce l'infrastruttura e lo stack di applicazioni, consentendoti di apportare modifiche e testare le linee guida per diversi casi d'uso.
-
SicurezzaLeggi il whitepaper sulla sicurezza
Il catalogo dati AWS Glue ha la crittografia abilitata. Tutti i metadati che AWS Glue scrive su Amazon S3 sono crittografati. Ti consigliamo di progettare i ruoli di AWS Identity and Access Management (IAM) utilizzando il principio del privilegio minimo, che consiste nel concedere a ogni ruolo la quantità minima di accesso necessaria per completare una determinata azione in condizioni specifiche. Ciò consentirà l'accesso ai dati solo agli utenti e alle risorse necessari.
-
AffidabilitàLeggi il whitepaper sull'affidabilità
AWS Glue, Amazon S3 e Athena sono serverless e aumentano le prestazioni dell'accesso ai dati man mano che aumenta il loro volume. AWS Glue effettua il provisioning, la configurazione e il dimensionamento delle risorse necessarie per eseguire le attività di integrazione dei dati. Athena esegue query sui tuoi dati senza che tu debba configurare e gestire server o data warehouse. Amazon SNS e Amazon SQS consentono di aumentare l'importazione dei dati senza interruzioni.
-
Efficienza delle prestazioniLeggi il whitepaper sull'efficienza delle prestazioni
Puoi utilizzare questa guida con la lettura del tuo contatore e adattarla alle tue esigenze. Una volta trasformati i dati nel formato di dati interno (come spiegato dettagliatamente nella Guida per l'implementazione associata), le funzionalità demo e il pannello di controllo funzionano in modo trasparente.
-
Ottimizzazione dei costiLeggi il whitepaper sull'ottimizzazione dei costi
Questa guida utilizza, ove possibile, servizi serverless come Lambda, Athena e Kinesis per consentirti di evitare costi iniziali e pagare solo per le risorse utilizzate. Utilizziamo Amazon EMR in modo non serverless per controllare e ottimizzare i nodi, rendendolo più conveniente in base al tuo caso d'uso.
-
SostenibilitàLeggi il whitepaper sulla sostenibilità
S3 Glacier archivia i dati utilizzando l'archiviazione magnetica invece di una memoria a stato solido, contribuendo a ottimizzare l'ingombro dell'archiviazione. Amazon SNS e Amazon SQS disaccoppiano le applicazioni per evitare di avere risorse in esecuzione in attesa di caricamento.
Risorse per l'implementazione
Viene fornita una guida dettagliata da sperimentare e utilizzare all'interno del tuo account AWS. Ogni fase della creazione della guida, inclusa l'implementazione, l'utilizzo e la pulizia, viene esaminata per prepararla all'implementazione.
Il codice di esempio è un punto di partenza. È convalidato dal settore, prescrittivo ma non definitivo, ed è il punto di partenza per iniziare a lavorare.
Avvertenza
Il codice di esempio, le librerie software, gli strumenti della linea di comando, le proof of concept, i modelli e le altre tecnologie correlate (comprese tutte le tecnologie di cui sopra fornite dal nostro personale) vengono forniti all'utente sotto forma di contenuto AWS ai sensi dell'Accordo cliente AWS o del relativo accordo scritto stipulato tra l'utente e AWS (a seconda dei casi). Non bisogna utilizzare il contenuto AWS in questione negli account di produzione o sui dati di produzione o altri dati fondamentali. L'utente è responsabile dei test, della sicurezza e dell'ottimizzazione del contenuto AWS, come il codice di esempio, in modo appropriato per l'utilizzo in produzione sulla base delle pratiche e degli standard di qualità specifici. L'implementazione del contenuto AWS può comportare costi AWS per la creazione o l'utilizzo di risorse AWS addebitabili, quali le istanze Amazon EC2 in esecuzione o l'archiviazione Amazon S3.
Eventuali riferimenti a servizi o organizzazioni di terze parti contenuti in questa guida non implicano alcuna approvazione, sponsorizzazione o affiliazione tra Amazon o AWS e dette terze parti. La guida di AWS è un punto di partenza tecnico, e l'integrazione con servizi di terze parti può essere personalizzata al momento dell'implementazione dell'architettura.