Esta orientación ayuda a las empresas de servicios públicos a recopilar datos de los sistemas de administración de datos de medidores (Meter Data Management Systems, MDMS) o directamente de los sistemas de cabecera (Head End Systems, HES) y a combinarlos con otros orígenes de datos, incluidos datos meteorológicos y de sistemas de información geográfica (geographic information system, SIG). Las empresas de servicios públicos podrán detectar anomalías en los medidores y en los circuitos de distribución, impedir el robo de energía, predecir la demanda y mejorar la fidelización de los clientes mediante análisis proactivos y pronósticos basados en inteligencia artificial y machine learning (IA/ML).
Nota: Esta guía se ha actualizado. El diagrama de arquitectura es una versión mejorada que despliega automáticamente las siguientes nuevas características: lago de datos, canalizaciones de ingesta de datos/ML, componentes de visualización, simulador MDMS/HES y pruebas de carga mejoradas. El código de ejemplo también se ha actualizado con las nuevas funcionalidades.
Diagrama de la arquitectura
[Texto]
Paso 1
Elija entre varias herramientas de AWS para recopilar datos de clientes y medidores, como AWS Lambda para adaptadores personalizados, AWS SFTP y AWS Storage Gateway para el procesamiento por lotes y Amazon Kinesis, Amazon Simple Notification Service (Amazon SNS) y Amazon Simple Queue Service (Amazon SQS) para el streaming de datos.
Paso 2
Utilice Amazon Timestream para almacenar datos de serie temporal, AWS Glue y Amazon EMR para procesar datos y Amazon Simple Storage Service (Amazon S3) para almacenar datos sin procesar y archivos. Los datos de serie temporal se pueden enviar directamente a los servicios de análisis como Amazon EMR y Amazon Athena para su posterior procesamiento.
Paso 3
Obtenga datos sin procesar del bucket de S3 y envíelos a AWS Glue y Amazon EMR para automatizar los procesos de extracción, transformación y carga (ETL) o para procesar con valor agregado. Utilice Amazon S3 Glacier para las copias de los archivos y el cumplimiento de las normas de retención.
Paso 4
Sus conjuntos de datos finales limpios y seleccionados se almacenan en un bucket de S3 dentro de un lago de datos. Cree un catálogo de metadatos con el Catálogo de datos de AWS Glue para que todos los datos sean visibles y se puedan buscar. Proteja los datos con los servicios de seguridad, identidad y conformidad de AWS.
Paso 5
Realice análisis complejos con Amazon EMR. Realice una única búsqueda y consulta de datos en su lago de datos y almacén con Athena.
Paso 6
Consulte petabytes de datos estructurados, semiestructurados y de series temporales con SQL estándar con Amazon Redshift.
Paso 7
Cree y publique paneles interactivos que incluyan información basada en AI/ML con Amazon QuickSight o Amazon Managed Grafana.
Paso 8
Utilice Amazon SageMaker, Amazon Forecast y Amazon Personalize para detectar anomalías en la red, pronosticar el uso de energía y predecir fallos en los equipos.
Amazon Pinpoint le permite comunicarse con los clientes y medir su interacción. Combine los resultados de análisis y ML con Amazon Pinpoint para crear segmentos de clientes y campañas personalizados.
Paso 1
Elija entre varias herramientas de AWS para recopilar datos de clientes y medidores, como AWS Lambda para adaptadores personalizados, AWS SFTP y AWS Storage Gateway para el procesamiento por lotes y Amazon Kinesis, Amazon Simple Notification Service (Amazon SNS) y Amazon Simple Queue Service (Amazon SQS) para el streaming de datos.
Paso 2
Utilice Amazon Timestream para almacenar datos de serie temporal, AWS Glue y Amazon EMR para procesar datos y Amazon Simple Storage Service (Amazon S3) para almacenar datos sin procesar y archivos. Los datos de serie temporal se pueden enviar directamente a los servicios de análisis como Amazon EMR y Amazon Athena para su posterior procesamiento.
Paso 3
Obtenga datos sin procesar del bucket de S3 y envíelos a AWS Glue y Amazon EMR para automatizar los procesos de extracción, transformación y carga (ETL) o para procesar con valor agregado. Utilice Amazon S3 Glacier para las copias de los archivos y el cumplimiento de las normas de retención.
Paso 4
Sus conjuntos de datos finales limpios y seleccionados se almacenan en un bucket de S3 dentro de un lago de datos. Cree un catálogo de metadatos con el Catálogo de datos de AWS Glue para que todos los datos sean visibles y se puedan buscar. Proteja los datos con los servicios de seguridad, identidad y conformidad de AWS.
Paso 5
Realice análisis complejos con Amazon EMR. Realice una única búsqueda y consulta de datos en su lago de datos y almacén con Athena.
Paso 6
Consulte petabytes de datos estructurados, semiestructurados y de series temporales con SQL estándar con Amazon Redshift.
Paso 7
Cree y publique paneles interactivos que incluyan información basada en AI/ML con Amazon QuickSight o Amazon Managed Grafana.
Paso 8
Utilice Amazon SageMaker, Amazon Forecast y Amazon Personalize para detectar anomalías en la red, pronosticar el uso de energía y predecir fallos en los equipos.
Amazon Pinpoint le permite comunicarse con los clientes y medir su interacción. Combine los resultados de análisis y ML con Amazon Pinpoint para crear segmentos de clientes y campañas personalizados.
Pilares de Well-Architected
AWS Well-Architected Framework le permite comprender las ventajas y desventajas de las decisiones que tome durante la creación de sistemas en la nube. Los seis pilares de este marco permiten aprender las prácticas recomendadas arquitectónicas para diseñar y explotar sistemas confiables, seguros, eficientes, rentables y sostenibles. Con la Herramienta de AWS Well-Architected, que se encuentra disponible gratuitamente en la Consola de administración de AWS, puede revisar sus cargas de trabajo con respecto a estas prácticas recomendadas al responder a un conjunto de preguntas para cada pilar.
El diagrama de arquitectura mencionado es un ejemplo de una solución que se creó teniendo en cuenta las prácticas recomendadas de una buena arquitectura. Para tener completamente una buena arquitectura, debe seguir todas las prácticas recomendadas de buena arquitectura posibles.
-
Excelencia operativaLea el documento técnico sobre excelencia operativa
AWS Glue y Athena organizan los datos y supervisan el acceso a ellos. Puede analizar más a fondo los datos con paneles, informes y notificaciones en QuickSight y Amazon Managed Grafana. Puede acceder a estos paneles desde cualquier dispositivo e integrarlos en sus aplicaciones y sitios web. AWS CloudFormation administra la infraestructura y el conjunto de aplicaciones, lo que le permite realizar cambios y probar la orientación en distintos casos de uso.
-
SeguridadLea el documento técnico sobre seguridad
El catálogo de datos de AWS Glue tiene habilitado el cifrado. Todos los metadatos que AWS Glue escribe en Amazon S3 están cifrados. Recomendamos diseñar los roles de AWS Identity and Access Management (IAM) según el principio de privilegio mínimo, lo que significa conceder la cantidad mínima de acceso necesaria para que el rol complete una acción específica en condiciones específicas. De este modo, solo tendrán acceso a los datos los usuarios y recursos necesarios.
-
FiabilidadLea el documento sobre fiabilidad
AWS Glue, Amazon S3 y Athena no tienen servidor y escalarán el rendimiento del acceso a los datos a medida que aumente su volumen de datos. AWS Glue aprovisiona, configura y escala los recursos necesarios para ejecutar sus trabajos de integración de datos. Athena realiza consultas en sus datos sin que usted tenga que configurar ni administrar servidores ni almacenamientos de datos. Amazon SNS y Amazon SQS le permiten aumentar la ingesta de datos sin interrupciones.
-
Eficiencia en el rendimientoLea el documento técnico sobre el pilar de la eficacia del rendimiento
Puede utilizar esta orientación con su propia lectura de medidores y adaptarla a sus necesidades. Una vez que los datos se transformen al formato de datos interno (tal y como se detalla en la guía de implementación correspondiente), las características de demostración y el panel de control funcionan de forma transparente.
-
Optimización de costosLea el documento técnico sobre el pilar de la optimización de costos
Esta orientación utiliza servicios sin servidor siempre que sea posible, como Lambda, Athena y Kinesis, para ayudarlo a evitar los costos iniciales y pagar solo por los recursos que utilice. Usamos Amazon EMR sin servidor para controlar y optimizar los nodos, lo que lo hace más rentable en función de su caso de uso.
-
SostenibilidadLea el documento técnico sobre sostenibilidad
S3 Glacier archiva los datos mediante almacenamiento magnético en lugar de memoria de estado sólido, lo que ayuda a optimizar el espacio de almacenamiento. Amazon SNS y Amazon SQS desacoplan las aplicaciones para evitar tener recursos en ejecución a la espera de una carga.
Recursos de implementación
Se proporciona una guía detallada para experimentar y utilizar dentro de su cuenta de AWS. Se examina cada etapa de la creación de la guía, incluida la implementación, el uso y la limpieza, con el fin de prepararla para su implementación.
El código de muestra es un punto de partida. Está validado por el sector, es prescriptivo pero no definitivo, y le permite profundizar en su funcionamiento para que le sea más fácil empezar.
Contenido relacionado
Descargo de responsabilidad
El código de muestra; las bibliotecas de software; las herramientas de línea de comandos; las pruebas de concepto; las plantillas; o cualquier otra tecnología relacionada (incluida cualquiera de las anteriores que proporcione nuestro personal) se brinda como contenido de AWS bajo el Contrato de cliente de AWS, o el contrato escrito pertinente entre usted y AWS (lo que sea aplicable). No debe utilizar este contenido de AWS en sus cuentas de producción, ni en producción ni en otros datos críticos. Es responsable de probar, proteger y optimizar el contenido de AWS, como el código de muestra, según corresponda para el uso de grado de producción en función de sus prácticas y estándares de control de calidad específicos. La implementación de contenido de AWS puede incurrir en cargos de AWS por crear o utilizar recursos con cargo de AWS, como ejecutar instancias de Amazon EC2 o utilizar el almacenamiento de Amazon S3.
Las referencias a servicios u organizaciones de terceros en esta Guía no implican un respaldo, patrocinio o afiliación entre Amazon o AWS y el tercero. La orientación de AWS es un punto de partida técnico, y puede personalizar su integración con servicios de terceros al implementar la arquitectura.