A empresa ferroviária nacional da França reduz custos e aumenta a produtividade na AWS

O serviço ferroviário estatal da França, a Société Nationale des Chemins de Fer Français (SNCF), requer tecnologias sofisticadas para gerenciar e preservar a segurança por toda a sua rede ferroviária de 32 mil km. Em 2017, a SNCF Réseau, a subsidiária que mantém e gerencia a infraestrutura ferroviária da SNCF, resolveu criar uma solução de visão computacional que pudesse utilizar as imagens capturadas de câmeras de trens para ajudar a empresa a identificar possíveis avarias nos trilhos e antecipar a manutenção. Contudo, os datacenters herdados da SNCF Réseau não tinham a agilidade e a taxa de transferência que a empresa buscava e estavam se tornando obsoletos e caros para manter. Embora a SNCF Réseau tivesse acesso a uma enorme quantidade de dados, era majoritariamente segregada e inadequada para a análise necessária para facilitar a solução de machine learning (ML) que a empresa vislumbrava. 

Buscando modernizar a sua infraestrutura tecnológica, a SNCF Réseau recorreu à Olexya, um parceiro de consultoria Select da Amazon Web Services (AWS), para migrar workloads para a AWS. A ampla migração envolveu mudar o framework de ML da SNCF Réseau para o Amazon SageMaker, um serviço totalmente gerenciado que ajuda cientistas de dados e desenvolvedores a preparar, construir, treinar e implantar modelos de ML de alta qualidade rapidamente, reunindo um amplo conjunto de funcionalidades desenvolvidas especificamente para ML. Na AWS, a equipe acabou reduzindo o tempo de treinamento do modelo de três dias para dez horas. Na nuvem, agora a SNCF Réseau está preparada para realizar tarefas de manutenção preditiva orientadas por ML e dados inteligentes e liberar o potencial de ML para muitas outras iniciativas em toda a empresa.

A SNCF Réseau é resultado da reunificação de 2015 da rede ferroviária francesa (conhecida na França como Réseau Ferré de France, ou RFF) e a SNCF, que tinham sistemas de informação separados até 2015. Após a reunificação, a falta de padronização dificultou o intercâmbio com gerentes de países vizinhos. Dedicada à manutenção, à modernização e à segurança, a SNCF Réseau há muito procurava padronizar dados e maximizar a sua utilidade dentro da empresa e para seus parceiros europeus. Assim, em 2019, a empresa decidiu reprojetar grande parte da sua infraestrutura herdada com a AWS. A SNCF Réseau determinou que a amplitude dos AWS Managed Services atendia às expectativas da empresa para acelerar a implementação da sua estratégia de dados inteligentes. Trata-se de uma nova abordagem radical para coletar e analisar rapidamente dados relevantes para a manutenção dos trilhos da SNCF usando sensores inteligentes quase em tempo real.

Uma das primeiras etapas envolvia migrar dados para um data lake no Amazon Simple Storage Service (Amazon S3), um serviço de armazenamento de objetos que oferece escalabilidade, disponibilidade de dados, segurança e performance líderes do setor. Buscando evitar os desafios associados a dados segregados e definições não padronizadas, a empresa desenvolveu o modelo Ariane, uma linguagem de modelagem unificada para alinhar definições de trilhos, tráfego, manutenção e outros elementos-chave, passando a normalizar os dados após a coleta. Com base no RailTopoModel, um modelo sistêmico usado por várias organizações europeias, o Ariane representou uma etapa importante rumo à padronização regional e a relatórios regulamentares e de compatibilidade. 

Definições padrão claras ajudaram a SNCF Réseau a criar um data lake “limpo” no Amazon S3. Em vez de despejar dados brutos em um data lake e aplicar uma camada de inteligência para dar sentido a eles, a empresa desenvolveu meios para definir objetos relevantes para casos de uso específicos, incluindo ML, antes de alimentá-los no data lake. “Ao contrário de um pântano de dados, um data lake limpo fornece o nível de confiança nos dados que os gerentes precisam ter para formular uma estratégia e tomar as decisões certas”, diz Samuel Descroix, o líder da gerência do departamento de dados geográficos e analíticos da SNCF Réseau. A partir daí, os cientistas de dados puderam fazer consultas usando o Amazon Athena, um serviço de consultas interativas que simplifica a análise de dados no Amazon S3 usando a linguagem de consulta estruturada padrão.

Um elemento chave da modernização da SNCF Réseau é o seu modelo de visão computacional, projetado para identificar avarias ou problemas nas linhas ferroviárias e antecipar melhor necessidades de manutenção. Em 2017, a empresa começou a desenvolver algoritmos para inteligência artificial (IA) e ML em Python 2.7 com o framework de aprendizado profundo Caffe2, mas seus data centers on-premises não tinham a agilidade e a taxa de transferência necessárias para possibilitar um ML efetivo e os modelos demoravam até três dias para serem treinados. Como a empresa tinha migrado para a AWS e estabelecido um data lake limpo no Amazon S3, viu uma oportunidade para aproveitar o conjunto de serviços na AWS, adaptando o seu framework Caffe2 para ser treinado e implantado em ambientes gerenciados pela AWS, incluindo o Amazon SageMaker. 

Em março de 2020, a empresa implantou o código no seu novo sistema na AWS após apenas duas semanas de ajustes. Agora, com o seu framework na AWS, os cientistas de dados da SNCF Réseau puderam desfrutar de um alto nível de autonomia para casos de uso de ML, com acesso às ferramentas certas, conforme necessário. “Muitas tarefas que costumavam ser complexas para os cientistas de dados tornaram-se consideravelmente simplificadas no Amazon SageMaker”, diz Descroix. Amparados por essa simplicidade relativa, os trabalhos de treinamento abandonaram um sistema de três dias para um novo de dez horas, ou seja, uma redução de quase 90%. 

Além disso, a empresa também conseguiu otimizar custos usando as instâncias spot do Amazon Elastic Compute Cloud (Amazon EC2), o que ajudou a SNCF Réseau a aproveitar na AWS capacidades do Amazon EC2 que estavam sem uso com um desconto considerável. Considerando que as workloads de ML da empresa exigem alto consumo de computação, mas não são sensíveis ao tempo, o uso de instâncias spot por meio de treinamentos spot gerenciados no Amazon SageMaker acabou sendo valioso, ajudando a equipe a economizar 71% de custos de ciência de dados, em comparação com as instâncias sob demanda do Amazon EC2. “O Amazon SageMaker e as instâncias spot foram fundamentais para simplificar e acelerar a implantação de algoritmos de IA/ML”, diz Descroix. 

A Olexya foi capaz de oferecer suporte à SNCF Réseau para estabelecer uma equipe de DevOps para implantar a AWS, ajudando a reduzir os tempos de entrega do projeto, de 3 meses no sistema herdado para menos de 48 horas no novo sistema. Há trabalho em andamento para reduzir ainda mais esses prazos e automatizar completamente a implantação sem interações humanas. Uma parte fundamental disso envolve o Amazon Elastic Kubernetes Service (Amazon EKS), que ajuda os usuários a fornecer clusters altamente disponíveis e seguros e automatiza tarefas importantes, como aplicação de patches, provisionamento de nós e atualizações. Outro benefício importante do desenvolvimento na AWS envolveu o período de tempo para a configuração da infraestrutura (incluindo a ativação de modelos treinados por dados com os recursos necessários provisionados), que caiu de três a seis meses para apenas uma semana.

Desde janeiro de 2021, a SNCF Réseau está otimizando o seu algoritmo de manutenção preditiva para produção e determinando o hardware adequado para os seus vagões. Além da manutenção preditiva, a empresa pretende buscar muitas outras iniciativas orientadas por ML. O sucesso inicial da empresa a ajudou a desenvolver a chamada estratégia “BYOA” (traga o seu próprio algoritmo), envolvendo instâncias spot, o Amazon SageMaker e o Amazon EKS. 

E agora, operando amplamente na AWS, a empresa pode interagir ainda mais rápido do que antes: é o equivalente em ML para a mudança de um trem tradicional para um de alta velocidade. A equipe decidiu até mesmo expandir o escopo da solução para incluir recursos de geomapas que ajudarão com as principais decisões e facilitarão ainda mais a manutenção de ativos.