Fujitsu-IDOM crea un lago de datos en la nube en AWS para el Consorcio Regional de Transportes de Madrid, para mejorar la agilidad y la analítica

El Consorcio Regional de Transportes de Madrid (CRTM), que gestiona el transporte público de la ciudad, creó un lago de datos escalable y una solución de procesamiento de big data en AWS para generar información y mejorar su toma de decisiones. El consorcio recopila datos sobre cada línea de transporte para conocer las necesidades de los clientes y mejorar sus servicios. Sin embargo, no podía escalar de forma eficaz y admitir el aumento de las cargas de trabajo de big data con un centro de datos en sus instalaciones físicas. Con el apoyo del socio de AWS Fujitsu y su socio, IDOM, el CRTM migró a un lago de datos en la nube y mejoró el procesamiento de datos utilizando varios servicios de AWS. En AWS, el consorcio aumentó la escalabilidad de su infraestructura y mejoró sus análisis.

El CRTM se encarga de regular y mejorar el transporte de millones de ciudadanos en todo Madrid cada día. Como organización del sector público, su objetivo es proporcionar un servicio fiable para más de 1600 millones de viajes al año en Madrid, pero su infraestructura existente en las instalaciones no podía escalar de forma eficiente para admitir la enorme cantidad de datos que el consorcio necesitaba para tomar decisiones inteligentes. Y aunque el CRTM sabía que necesitaba un almacenamiento de datos más ágil y mejores capacidades de análisis de big data, no contaba con suficientes sistemas de información para crear y administrar esta solución en sus instalaciones físicas de forma productiva.

En su lugar, el CRTM solicitó propuestas a varios proveedores de tecnología para una solución que migrara su almacenamiento de datos a la nube, lo hiciera escalable y utilizara modelos de machine learning (ML) para lograr una mejor comprensión del comportamiento de los usuarios que lo ayudara a mejorar la comunicación y los servicios. En 2020, el consorcio adjudicó un contrato de 2 años y otro de 3 años al socio de Amazon Web Services (AWS) Fujitsu, una empresa global de tecnologías de la información y la comunicación que propuso crear una solución nativa de big data en AWS que habilitaría nuevas capacidades de análisis y ML para el CRTM.

Durante años, el CRTM había utilizado pasajes magnéticos individuales para los viajeros de autobuses y trenes, pero ellos recopilaban poca información sobre cada viaje. El consorcio necesitaba datos detallados sobre el comportamiento de los usuarios y la relación entre la adquisición de pasajes y los sistemas de puntos de venta para poder comprender y satisfacer las necesidades de los usuarios y así aumentar la fidelidad de los clientes. Cuando comenzaron a usar las tarjetas que facilitaban la recopilación de datos en diciembre de 2017, el CRTM comenzó a recopilar una enorme cantidad de información útil. Sin embargo, su infraestructura no estaba preparada para manejar la creciente cantidad de datos. “Necesitábamos administrar toda la información que acumulábamos en nuestro sistema de almacenamiento en las instalaciones”, afirma Luis Criado, coordinador del área de sistemas del CRTM.

El CRTM contrató a la asociación Fujitsu-IDOM para que lo ayudara con este desafío. Fujitsu-IDOM ofrece servicios y soluciones tecnológicas para ayudar a las empresas a crear valor mediante la innovación digital. Mediante el uso de AWS, Fujitsu empleó una solución nativa en la nube para superar los desafíos del CRTM. “Queríamos crear una solución de big data en AWS para proporcionar al CRTM todos los datos y las visualizaciones de esos datos que necesitaba para tomar decisiones de negocio inteligentes”, afirma David Sanz, director de desarrollo empresarial de Fujitsu. La empresa eligió crear su solución en la nube porque podía escalar con facilidad y mantener la privacidad de sus usuarios.

Gracias a su migración a AWS, el CRTM se convirtió en una de las primeras administraciones públicas de toda España en utilizar un lago de datos en la nube. Además, obtuvo una mejor imagen de cómo los usuarios utilizan la red de transporte de la ciudad y qué cambios mejorarían sus experiencias. Conocer mejor los hábitos de los usuarios permite al consorcio mejorar continuamente sus servicios y adaptarse a los cambios de la demanda casi en tiempo real. A medida que esa demanda aumentaba en los últimos años, también se hizo extremadamente variable debido a la evolución de las normas relacionadas con la pandemia de COVID-19.

Junto con la asociación Fujitsu-IDOM, el CRTM creó su lago de datos en Amazon Simple Storage Service (Amazon S3), un servicio de almacenamiento de objetos que proporciona al CRTM la escalabilidad que necesita y hace que sus datos estén disponibles en línea y sean accesibles desde casi cualquier lugar con facilidad. El CRTM utilizó Amazon S3 para integrar todos los orígenes de datos internos y externos en un único modelo de datos nuevo. “Gracias a que usamos Amazon S3, podemos mover cantidades masivas de datos e información flexible en el lago de datos y acceder a ellas”, dice Criado. El consorcio también utiliza Amazon Redshift para analizar su información en todos los almacenamientos de datos de forma sencilla y rentable. Con un almacenamiento de datos más sencillo y una mayor disponibilidad, el CRTM redujo su tiempo de comercialización, mejoró su servicio y se adaptó a las condiciones cambiantes casi en tiempo real. “Antes de crear nuestra solución de big data en AWS, toda la información que necesitábamos para tomar una decisión tenía que ser recopilada y analizada a mano”, sostiene Criado. “Ahora, tenemos toda la información accesible con facilidad en línea”.

La solución creada por la asociación Fujitsu-IDOM también utiliza Amazon EMR para ejecutar las cargas de trabajo de procesamiento de big data del CRTM de forma flexible, segura y fiable. Mediante el uso de Amazon EMR, el CRTM ha aumentado su capacidad para comprender el uso de la red de transporte regional y analizar sus diversos canales de venta. Anteriormente, solo podía responder a determinados incidentes después de que se produjeran y se registraran, pero ahora el CRTM puede utilizar el procesamiento de big data para anticiparse y prevenir incidentes. “Tenemos la visión en tiempo casi real para tomar decisiones mucho mejores”, dice Criado. Con mayor agilidad y accesibilidad a los datos, el CRTM puede tomar decisiones más oportunas y analizar los canales de venta para mejorar la fidelidad de los clientes.

Como parte de sus esfuerzos por mejorar los análisis y extraer información de manera eficiente, el CRTM utiliza Amazon SageMaker para crear, entrenar e implementar modelos de ML con rapidez a partir de datos accesibles en Amazon S3. “Utilizamos modelos de ML en AWS para aportar valor a toda la información del centro de datos en las instalaciones”, afirma Criado. Una vez que los datos están en la nube, el CRTM puede utilizar el ML para analizarlos y generar ideas que impulsen la toma de decisiones.

Otra parte fundamental de la misión de la asociación Fujitsu-IDOM es hacer que el mundo sea más sostenible a través de la innovación tecnológica. Uno de los beneficios más importantes que se espera de esta migración a AWS es que el CRTM pueda aprovechar mucho mejor cada una de sus líneas de transporte para reducir su huella de carbono. Además, el CRTM siempre ha tenido cuidado de proteger la privacidad de los datos de sus usuarios, ya que recopila información para mejorar sus servicios. “Trabajar en la nube es una buena opción para poder seguir protegiendo la privacidad de los datos”, sostiene Criado. “Podemos conseguir escalabilidad y obtener información sobre AWS sin afectar la privacidad de los usuarios”.

El CRTM está todavía en las primeras fases de su compromiso con Fujitsu-IDOM. El consorcio ha creado alrededor del 25 % de sus casos de uso previstos y planea seguir optimizando sus cargas de trabajo de análisis de datos y ML en AWS.

“Aumentamos nuestra capacidad de almacenamiento y análisis de información de forma exponencial en AWS”, afirma Criado. “Conocemos mejor la experiencia de nuestros clientes en cada viaje y podemos tomar decisiones rápidamente para mejorarla”.