Ce guide aide les entreprises de services publics à ingérer des données provenant de systèmes de gestion des données de compteurs (MDMS) ou directement de systèmes de tête de réseau (HES) et à les combiner avec d'autres sources de données, notamment les données météorologiques et les données des systèmes d'information géographique (SIG). Les entreprises de services publics seront en mesure de détecter les anomalies des compteurs et des circuits de distribution, de gérer l'équilibrage des circuits, de contrecarrer le vol d'énergie, de prévoir la demande et d'améliorer l'engagement des clients grâce à des analyses proactives et à des prévisions et prédictions basées sur l'intelligence artificielle et le machine learning (AI/ML).
Remarque : ce guide a été mis à jour. Le diagramme d'architecture est une version améliorée qui déploie automatiquement les nouvelles fonctionnalités suivantes : lac de données, pipelines d'ingestion de données/ML, composants de visualisation, simulateur MDMS/HES et tests de charge améliorés. L'exemple de code a également été mis à jour avec les nouvelles fonctionnalités.
Diagramme d'architecture
[texte]
Étape 1
Choisissez parmi plusieurs outils AWS pour ingérer les données des clients et des compteurs, tels qu'AWS Lambda pour les adaptateurs personnalisés, AWS SFTP et AWS Storage Gateway pour le traitement par lots, et Amazon Kinesis, Amazon Simple Notification Service (Amazon SNS) et Amazon Simple Queue Service (Amazon SQS) pour le streaming de données.
Étape 2
Utilisez Amazon Timestream pour stocker des données de séries temporelles, AWS Glue et Amazon EMR pour traiter les données, et Amazon Simple Storage Service (Amazon S3) pour les données brutes et le stockage des archives. Les données de séries temporelles peuvent être envoyées directement à des services d'analyse tels qu'Amazon EMR et Amazon Athena pour un traitement ultérieur.
Étape 3
Obtenez des données brutes depuis le compartiment S3 et envoyez-les à AWS Glue et à Amazon EMR pour automatiser les processus extraction, transformation et chargement (ETL) ou pour un traitement à valeur ajoutée. Utilisez Amazon S3 Glacier pour les copies d'archivage et la conformité en matière de conservation.
Étape 4
Vos derniers jeux de données propres et organisés sont stockés dans un compartiment S3 au sein d'un lac de données. Créez un catalogue de métadonnées avec le catalogue de données AWS Glue pour rendre toutes les données visibles et consultables. Protégez vos données grâce aux services desécurité, d'identité et de conformité d'AWS.
Étape 5
Réalisez des analyses complexes avec Amazon EMR. Effectuez une découverte de données et des requêtes ponctuelles dans votre lac de données et votre entrepôt avec Athena.
Étape 6
Interrogez des pétaoctets de données structurées, chronologiques et semi-structurées à l'aide du langage SQL standard avec Amazon Redshift.
Étape 7
Créez et publiez des tableaux de bord interactifs qui incluent des informations sur l'IA et le ML avec Amazon QuickSight ou Amazon Managed Grafana.
Étape 8
Utilisez Amazon SageMaker, Amazon Forecast et Amazon Personalize pour détecter les anomalies du réseau, prévoir la consommation d'énergie et prévoir les défaillances des équipements.
Amazon Pinpoint vous permet de communiquer avec vos clients et de mesurer leur engagement. Combinez les analyses et les résultats du machine learning avec Amazon Pinpoint pour créer des segments de clientèle et des campagnes personnalisés.
Étape 1
Choisissez parmi plusieurs outils AWS pour ingérer les données des clients et des compteurs, tels qu'AWS Lambda pour les adaptateurs personnalisés, AWS SFTP et AWS Storage Gateway pour le traitement par lots, et Amazon Kinesis, Amazon Simple Notification Service (Amazon SNS) et Amazon Simple Queue Service (Amazon SQS) pour le streaming de données.
Étape 2
Utilisez Amazon Timestream pour stocker des données de séries temporelles, AWS Glue et Amazon EMR pour traiter les données, et Amazon Simple Storage Service (Amazon S3) pour les données brutes et le stockage des archives. Les données de séries temporelles peuvent être envoyées directement à des services d'analyse tels qu'Amazon EMR et Amazon Athena pour un traitement ultérieur.
Étape 3
Obtenez des données brutes depuis le compartiment S3 et envoyez-les à AWS Glue et à Amazon EMR pour automatiser les processus extraction, transformation et chargement (ETL) ou pour un traitement à valeur ajoutée. Utilisez Amazon S3 Glacier pour les copies d'archivage et la conformité en matière de conservation.
Étape 4
Vos derniers jeux de données propres et organisés sont stockés dans un compartiment S3 au sein d'un lac de données. Créez un catalogue de métadonnées avec le catalogue de données AWS Glue pour rendre toutes les données visibles et consultables. Protégez vos données grâce aux services desécurité, d'identité et de conformité d'AWS.
Étape 5
Réalisez des analyses complexes avec Amazon EMR. Effectuez une découverte de données et des requêtes ponctuelles dans votre lac de données et votre entrepôt avec Athena.
Étape 6
Interrogez des pétaoctets de données structurées, chronologiques et semi-structurées à l'aide du langage SQL standard avec Amazon Redshift.
Étape 7
Créez et publiez des tableaux de bord interactifs qui incluent des informations sur l'IA et le ML avec Amazon QuickSight ou Amazon Managed Grafana.
Étape 8
Utilisez Amazon SageMaker, Amazon Forecast et Amazon Personalize pour détecter les anomalies du réseau, prévoir la consommation d'énergie et prévoir les défaillances des équipements.
Amazon Pinpoint vous permet de communiquer avec vos clients et de mesurer leur engagement. Combinez les analyses et les résultats du machine learning avec Amazon Pinpoint pour créer des segments de clientèle et des campagnes personnalisés.
Piliers AWS Well-Architected
Le cadre AWS Well-Architected vous permet de comprendre les avantages et les inconvénients des décisions que vous prenez lors de la création de systèmes dans le cloud. Les six piliers du cadre vous permettent d'apprendre les bonnes pratiques architecturales pour concevoir et exploiter des systèmes fiables, sécurisés, efficaces, rentables et durables. Grâce à l'outil AWS Well-Architected Tool, disponible gratuitement dans la console de gestion AWS, vous pouvez examiner vos charges de travail par rapport à ces bonnes pratiques en répondant à une série de questions pour chaque pilier.
Le diagramme d'architecture ci-dessus est un exemple de solution créée en tenant compte des bonnes pratiques Well-Architected. Pour être totalement conforme à Well-Architected, vous devez suivre autant de bonnes pratiques Well-Architected que possible.
-
Excellence opérationnelleLire le livre blanc d'excellence opérationnelle
AWS Glue et Athena organisent les données et surveillent l'accès aux données. Vous pouvez analyser davantage les données à l'aide de tableaux de bord, de rapports et de notifications dans QuickSight et Amazon Managed Grafana. Vous pouvez accéder à ces tableaux de bord depuis n'importe quel appareil et les intégrer à vos applications et sites Web. AWS CloudFormation gère l'infrastructure et la pile d'applications, ce qui vous permet d'apporter des modifications et de tester le Guide pour différents cas d'utilisation.
-
SécuritéLire le livre blanc sur la sécurité
Le chiffrement est activé dans le catalogue de données AWS Glue. Toutes les métadonnées qu'AWS Glue écrit sur Amazon S3 sont cryptées. Nous recommandons de concevoir les rôles de gestion des identités et des accès AWS (IAM) en utilisant le principe du moindre privilège, ce qui signifie qu'il faut accorder le minimum d'accès nécessaire au rôle pour effectuer une action spécifique dans des conditions spécifiques. Cela permettra d'accéder aux données uniquement aux utilisateurs et aux ressources nécessaires.
-
FiabilitéLire le livre blanc sur la fiabilité
AWS Glue, Amazon S3 et Amazon Athena sont tous sans serveur et mettront à l'échelle les performances d'accès aux données à mesure que le volume des données augmente. AWS Glue provisionne, configure et fait évoluer les ressources requises pour exécuter vos tâches d'intégration de données. Athena interroge vos données sans que vous ayez à configurer et à gérer des serveurs ou des entrepôts de données. Amazon SNS et Amazon SQS vous permettent d'augmenter l'ingestion de données sans interruption.
-
Efficacité des performancesLire le livre blanc sur l'efficacité des performances
Vous pouvez utiliser ce guide avec votre propre relevé de compteur et l'adapter à vos besoins. Une fois que vos données sont transformées au format de données interne (comme détaillé dans le guide de mise en œuvre associé), les fonctionnalités de démonstration et le tableau de bord fonctionnent de manière transparente.
-
Optimisation des coûtsLire le livre blanc sur l'optimisation des coûts
Ce guide utilise des services sans serveur dans la mesure du possible, tels que Lambda, Athena et Kinesis, pour vous aider à éviter les coûts initiaux et à ne payer que pour les ressources que vous utilisez. Nous utilisons Amazon EMR de manière non sans serveur pour contrôler et optimiser les nœuds, ce qui le rend plus rentable en fonction de votre cas d'utilisation.
-
Développement durableLire le livre blanc sur le développement durable
S3 Glacier archive les données à l'aide d'un stockage magnétique plutôt que d'une mémoire à semi-conducteurs, ce qui contribue à optimiser votre espace de stockage. Amazon SNS et Amazon SQS dissocient les applications afin d'éviter que des ressources en cours d'exécution n'attendent d'être chargées.
Ressources d'implémentation
Un guide détaillé d'expérimentation et d'utilisation est fourni dans votre compte AWS. Chaque étape de la construction du guide, y compris le déploiement, l'utilisation et le nettoyage, est examinée pour le préparer au déploiement.
L'exemple de code est un point de départ. Il s'agit d'un document validé par l'industrie, prescriptif mais non définitif, et d'un aperçu pour vous aider à commencer.
Clause de non-responsabilité
Les exemples de code, les bibliothèques de logiciels, les outils de ligne de commande, les preuves de concept, les modèles ou toute autre technologie connexe (y compris tout ce qui précède qui est fourni par notre personnel) vous sont fournis en tant que contenu AWS en vertu du contrat client AWS ou de l'accord écrit pertinent entre vous et AWS (selon le cas). Vous ne devez pas utiliser ce contenu AWS dans vos comptes de production, ni sur des données de production ou autres données critiques. Vous êtes responsable des tests, de la sécurisation et de l'optimisation du contenu AWS, tel que les exemples de code, comme il convient pour une utilisation en production, en fonction de vos pratiques et normes de contrôle de qualité spécifiques. Le déploiement de contenu AWS peut entraîner des frais AWS pour la création ou l'utilisation de ressources payantes AWS, telles que l'exécution d'instances Amazon EC2 ou l'utilisation du stockage Amazon S3.
Les références à des services ou organisations tiers dans ce guide n'impliquent pas une approbation, un parrainage ou une affiliation entre Amazon ou AWS et le tiers. Les conseils fournis par AWS constituent un point de départ technique, et vous pouvez personnaliser votre intégration avec des services tiers lorsque vous déployez l'architecture.