100_bmw-group-logo

BMW Group utiliza un lago de datos basado en AWS para liberar el poder de los datos

2020

BMW Group, con sede en Múnich (Alemania), es un fabricante mundial de automóviles y motocicletas de alta gama, con las marcas BMW, BMW Motorrad, MINI y Rolls-Royce. También ofrece servicios financieros y de movilidad de calidad superior.

En los últimos años, BMW Group ha trabajado para mantenerse a la vanguardia de la transformación digital del sector de la automoción mediante el uso de datos y análisis predictivos. Según Kai Demtröder, vicepresidente de transformación de datos, inteligencia artificial, datos y plataformas DevOps de BMW Group, "Para seguir siendo innovadores, nos centramos en crear nuevas experiencias digitales y conectadas, y en impulsar el cambio en nuestra cadena de valor hacia la mejora tanto de la eficiencia como de la eficacia, lo cual permite tomar decisiones basadas en los datos". Para generar estas innovaciones, en 2015 BMW Group creó un lago de datos centralizado y en las instalaciones que recopila y combina datos anónimos de los sensores en los vehículos, los sistemas operativos y los almacenamientos de datos para obtener información histórica, en tiempo real y predictiva.

Sin embargo, la empresa necesitaba escalar más fácilmente su lago de datos para respaldar el aumento de la demanda de las partes interesadas internas y externas. Debido a que no se podía acceder fácilmente a los datos (dispersos en una gran cantidad de entornos aislados), la innovación de BMW Group se vio ralentizada por su propia infraestructura de TI y por los largos plazos necesarios para respaldar las nuevas iniciativas. BMW Group necesitaba desarrollar una solución lo suficientemente ágil como para respaldar las necesidades de datos de todas las unidades de negocio internas y permitir que la empresa actuara con rapidez para abordar la gran variedad de casos de uso emergentes que demandan sus clientes.

BMW Group también quería dar a los consumidores de datos acceso en tiempo real, por ejemplo, a la telemetría del vehículo, como información sobre la velocidad, la ubicación, la temperatura, los niveles de la batería y los frenos, y el estado del motor. Además, quería integrar la analítica y el machine learning en el lago de datos para acelerar el desarrollo de servicios nuevos e innovadores. Y, como requisito básico, la solución tendría que ofrecer la gobernanza necesaria para garantizar el cumplimiento de la normativa sobre privacidad y seguridad.

BMW iX
kr_quotemark

Acabamos de empezar nuestro viaje con AWS, y esperamos ayudar a nuestra empresa a cumplir su estrategia de impulsar la innovación en el futuro."

Kai Demtröder
Vicepresidente de transformación de datos, inteligencia artificial, datos y plataformas DevOps
BMW Group

Impulso de un enfoque basado en los datos

En respuesta a estos desafíos, BMW Group decidió rediseñar y trasladar su lago de datos en las instalaciones a la nube de Amazon Web Services (AWS). El Cloud Data Hub (CDH) de la empresa procesa y combina datos anónimos procedentes de los sensores de los vehículos y de otras fuentes de la empresa para que los equipos internos que crean aplicaciones internas y dirigidas al cliente puedan acceder a ellos fácilmente. Finalmente, la empresa descubrió que AWS ofrecía la agilidad y la flexibilidad que necesitaba, junto con la presencia necesaria para prestar asistencia a los usuarios de todo el mundo.

Antes de la migración, el rígido lago de datos en las instalaciones de BMW Group no pudo satisfacer las necesidades cada vez mayores de los ingenieros y analistas de datos. Al ejecutar flujos de trabajo interdependientes, el antiguo lago de datos no podía gestionar bien a varios usuarios y, como consecuencia, los equipos de plataforma, captura y casos de uso de BMW Group necesitaban una coordinación compleja para trabajar en los proyectos y se encontraban con cuellos de botella organizativos, lo que ralentizaba su ritmo.

BMW Group recurrió a una combinación de servicios administrados de AWS (como Amazon Athena, Amazon Simple Storage Service (Amazon S3), Amazon Kinesis Data Firehose y AWS Glue) para simplificar la configuración mediante la diferenciación de componentes y crear un entorno capaz de escalarse para satisfacer las necesidades de los ingenieros de datos. Además, los equipos ahora podían tener su propio proceso de DevOps de principio a fin, lo que les daba la autonomía y la agilidad necesarias para seguir innovando. Además, BMW Group implementó un portal web moderno que ayuda a los usuarios del CDH a descubrir conjuntos de datos de confianza mediante un algoritmo de búsqueda avanzado y a consultar fácilmente los datos para generar nuevas informaciones.

Democratización del uso de datos a escala

Con los servicios de AWS, BMW Group captura una cantidad masiva de datos todos los días. En la actualidad, millones de vehículos BMW y MINI están conectados al CDH a través del backend de alta seguridad de BMW Group y se procesan diariamente terabytes de datos telemétricos anónimos. La empresa utiliza estos datos para monitorear los indicadores de estado de los vehículos, como los errores de control de revisión, e identificar posibles problemas en todas las líneas de vehículos. De este modo, BMW Group puede aprovechar los datos de flota capturados, recopilados y ajustados desde el CDH para resolver mejor los problemas, incluso antes de que afecten a los clientes.

Para administrar mejor estos datos, BMW Group incorporó la noción de "proveedores de datos" y "consumidores de datos" para aumentar tanto la autonomía como la agilidad de sus equipos de ingeniería de software. Los proveedores de datos capturan y transforman los datos con servicios de AWS como Amazon Kinesis Data Firehose, AWS Lambda, AWS Glue y Amazon EMR. Los consumidores de datos pueden utilizar servicios como Amazon Athena, Amazon SageMaker, AWS Glue y Amazon EMR para aprovechar los datos para sus casos de uso. Tanto los proveedores como los consumidores utilizan estos servicios en sus propias cuentas y solo comparten interfaces bien definidas que se pueden controlar mediante una API central, lo que contribuye a evitar los cuellos de botella. Las capas de datos individuales se almacenan en buckets de Amazon S3 y sus esquemas se registran en el catálogo de datos de AWS Glue.

Además de recopilar metadatos técnicos en el catálogo de datos de AWS Glue, BMW Group descubrió que la creación de un catálogo de datos de fácil lectura era esencial para democratizar los datos en toda la organización. Esta iniciativa garantizaría un alto nivel de transparencia acerca de qué activos de datos se recopilan en el CDH y cómo se recopilan. La aplicación frontend Data Portal sirve de explorador de datos para impulsar la productividad de los analistas de datos, los científicos de datos y los ingenieros al mostrar claramente los recursos de datos y ofrecer un "índice de popularidad" basado en los patrones de uso de los datos para más de 500 usuarios de toda la organización.

Además, el CDH aprovecha GraphQL a través de AWS AppSync para crear API escalables y universales tanto para los proveedores como para los consumidores de datos, lo que aumenta la flexibilidad del desarrollo. A diferencia de las API REST tradicionales, las interfaces basadas en GraphQL resultan muy adecuadas para respaldar requisitos evolutivos tales como la representación de metadatos para el catálogo de datos o el suministro de datos heterogéneos obtenidos de vehículos conectados. Los desarrolladores tienen la flexibilidad de definir la estructura de la carga útil y los parámetros de consulta a fin de obtener los datos que necesitan para un determinado caso de uso. Esto les ayuda a crear aplicaciones mucho más rápido que antes porque ya no tienen que crear un nuevo conjunto de API para cada proyecto con un conjunto diferente de requisitos de datos.

Aceleración de la innovación

El lago de datos centralizado y basado en AWS constituye el fundamento de BMW Group para desarrollar soluciones de TI basadas en los datos y permite a la empresa escalar de forma automática e independiente en una arquitectura sin servidores. Por lo tanto, puede innovar más rápido de lo que podía hacerlo con la anterior solución en las instalaciones, que requería la administración de la infraestructura y la planificación de la capacidad para cada nueva iniciativa.

BMW Group abrirá los componentes clave en torno al CDH, como sus API, su arquitectura y Data Portal. Además, BMW Group es uno de los primeros miembros de Gaia-X, la iniciativa europea para el establecimiento de espacios de datos soberanos. 

De cara al futuro, BMW Group continuará ampliando las capacidades de la plataforma CDH para acelerar aún más su transformación digital e impulsar valor adicional en toda la empresa, potenciando las experiencias innovadoras de los clientes, los nuevos servicios de movilidad y la información empresarial interna. Demtröder concluye: "Apenas estamos comenzando el proceso con AWS, y esperamos ayudar a nuestra empresa a cumplir su estrategia de impulsar la innovación hacia el futuro".

Para obtener más información, visite aws.amazon.com/automotive.

Figura 1: Información general de la arquitectura del CDH

Figura 1: Información general de la arquitectura del CDH

Figura 2: Vista del portal de CDH

Figura 2: Vista del portal de CDH

Acerca de BMW Group

Con sus cuatro marcas (BMW, MINI, Rolls-Royce y BMW Motorrad), BMW Group es un fabricante líder de automóviles y motocicletas de alta gama. La empresa también ofrece servicios financieros y de movilidad de calidad superior.

Beneficios de AWS

  • Democratiza el uso de datos a escala
  • Procesa terabytes de datos de telemetría de millones de vehículos diariamente
  • Resuelve los problemas antes de que afecten a los clientes
  • Acelera la innovación

Servicios de AWS utilizados

Amazon Kinesis Data Firehose

Amazon Kinesis Data Firehose ofrece la manera más sencilla para cargar datos de streaming de manera fiable en lagos de datos, almacenes de datos y servicios de análisis. Puede registrar, transformar y entregar datos de streaming en Amazon S3, Amazon Redshift, Amazon Elasticsearch Service, puntos de enlace HTTP genéricos y proveedores de servicios como Datadog, New Relic, MongoDB y Splunk.

Más información »

Amazon SageMaker

Amazon SageMaker es un servicio completamente administrado que ofrece a todos los científicos de datos y desarrolladores la capacidad de crear, entrenar e implementar de forma rápida modelos de machine learning (ML). SageMaker elimina las tareas arduas de cada paso del proceso de machine learning para que sea más fácil crear modelos de alta calidad.

Más información »

AWS AppSync

AWS AppSync es un servicio completamente administrado que facilita el desarrollo de las API de GraphQL ya que se encarga de la pesada tarea de conectar de manera segura los orígenes de datos como AWS DynamoDB, Lambda, entre otros. Una vez que se implementa, AWS AppSync automáticamente amplía y reduce su motor de ejecución de API GraphQL para cumplir con los volúmenes solicitados de API.

Más información »

AWS Glue

AWS Glue es un servicio de extracción, transformación y carga (ETL) completamente administrado que ayuda a los clientes a preparar y cargar los datos para su análisis.

Más información »


Introducción

Cada día crece el número de empresas de todos los tamaños y sectores que consiguen transformar sus negocios gracias a AWS. Contacte con nuestros expertos y empiece hoy mismo su traspaso a la nube de AWS.