SNCF_Logo

Empresa ferroviária nacional da França reduz custos e aumenta a produtividade na AWS

2021

O serviço ferroviário estatal da França, a Société Nationale des Chemins de Fer Français (SNCF), requer tecnologias sofisticadas para gerenciar e manter a segurança ao longo de sua rede ferroviária de 32 mil quilômetros. Em 2017, a SNCF Réseau, a subsidiária que mantém e gerencia a infraestrutura ferroviária da SNCF, resolveu criar uma solução de visão computacional que pudesse utilizar as imagens capturadas de câmeras de trens para ajudar a empresa a identificar possíveis avarias nos trilhos e antecipar a manutenção. No entanto, os datacenters herdados da SNCF Réseau não tinham a agilidade e a taxa de transferência que a empresa buscava e estavam se tornando obsoletos e caros de manter. Embora a SNCF Réseau tivesse acesso a uma grande quantidade de dados, eles estavam amplamente segregados e eram inadequados para as análises necessárias para facilitar a solução de machine learning (ML) que a empresa idealizou. 

Buscando modernizar sua infraestrutura tecnológica, a SNCF Réseau contratou a Olexya, um Parceiro de consultoria Select da Amazon Web Services (AWS), para migrar workloads para a AWS. A ampla migração envolveu mudar a estrutura de ML da SNCF Réseau para o Amazon SageMaker, um serviço totalmente gerenciado que ajuda cientistas de dados e desenvolvedores a preparar, criar, treinar e implantar modelos de ML de alta qualidade rapidamente, reunindo um amplo conjunto de recursos desenvolvidos especificamente para ML. Na AWS, a equipe acabou reduzindo o tempo de treinamento do modelo de três dias para dez horas. Agora na nuvem, a SNCF Réseau está preparada para realizar tarefas de manutenção preditiva orientadas por ML e Smart Data e liberar o potencial do ML para muitas outras iniciativas em toda a empresa.

Trem em alta velocidade
kr_quotemark

O Amazon SageMaker e instâncias Spot foram fundamentais para simplificar e acelerar a implantação de algoritmos de IA/ML.”

Samuel Descroix
Gerente-chefe de dados geográficos e analíticos
SNCF Réseau

Modernizar e padronizar na nuvem

A SNCF Réseau é o resultado da reunificação da rede ferroviária francesa em 2015 (conhecida na França como Réseau Ferré de France, ou RFF) e a SNCF, que tinham sistemas de informação separados até 2015. Após a reunificação, a falta de padronização dificultou o intercâmbio com gerentes em países vizinhos. Dedicada à manutenção, à modernização e à segurança, a SNCF Réseau há muito procurava padronizar dados e maximizar sua utilidade dentro da empresa e para seus parceiros europeus. Sendo assim, a empresa decidiu reprojetar grande parte da sua infraestrutura herdada na AWS em 2019. A SNCF Réseau determinou que a amplitude dos serviços gerenciados da AWS atendia às expectativas da empresa para acelerar a implementação de sua estratégia de Smart Data: uma nova abordagem radical para coletar e analisar rapidamente dados relevantes para a manutenção dos trilhos da SNCF usando sensores inteligentes quase em tempo real.

Um dos primeiros passos envolveu a migração de dados para um data lake no Amazon Simple Storage Service (Amazon S3), um serviço de armazenamento de objetos que oferece escalabilidade, disponibilidade de dados, segurança e performance líderes do setor. Buscando evitar os desafios associados a dados segregados e definições não padronizadas, a empresa desenvolveu o modelo Ariane, uma linguagem de modelagem unificada, para alinhar definições de trilhos, tráfego, manutenção e outros elementos-chave, assim normalizando os dados após a coleta. Com base no RailTopoModel, um modelo sistêmico usado por várias organizações europeias, o Ariane representou um passo importante rumo à padronização regional e a relatórios regulamentares e de conformidade. 

Definições padrão claras ajudaram a SNCF Réseau a criar um data lake “limpo” no Amazon S3. Em vez de despejar dados brutos em um data lake e aplicar uma camada de inteligência para dar sentido a eles, a empresa desenvolveu meios para definir objetos relevantes a casos de uso específicos, incluindo ML, antes de alimentá-los no data lake. “Ao contrário de um pântano de dados, um data lake limpo fornece o nível de confiança nos dados que os gerentes precisam ter para formular uma estratégia e tomar as decisões certas”, diz Samuel Descroix, gerente-chefe do departamento de dados geográficos e analíticos da SNCF Réseau. A partir daí, os cientistas de dados puderam consultá-los usando o Amazon Athena, um serviço de consultas interativas que simplifica a análise de dados no Amazon S3 usando a linguagem de consulta estruturada padrão.

Simplificar o ML na AWS para economizar em custos

Um elemento fundamental da modernização da SNCF Réseau é seu modelo de visão computacional, projetado para identificar avarias ou problemas nas linhas ferroviárias e antecipar melhor a manutenção. Em 2017, a empresa começou a desenvolver algoritmos para inteligência artificial (IA)/ML em Python 2.7 com a estrutura de deep learning Caffe2, mas seus data centers on-premises não tinham a agilidade e a taxa de transferência necessárias para possibilitar um ML efetivo, e os modelos demoravam até três dias para serem treinados. Tendo migrado para a AWS e estabelecido um data lake limpo no Amazon S3, a empresa viu uma oportunidade de aproveitar o conjunto de serviços na AWS, adaptando sua estrutura Caffe2 para ser treinada e implantada a partir de ambientes gerenciados da AWS, incluindo o Amazon SageMaker. 

Em março de 2020, a empresa implantou o código em seu novo sistema na AWS após apenas duas semanas de ajustes. Com sua estrutura agora na AWS, os cientistas de dados da SNCF Réseau puderam desfrutar de um alto grau de autonomia para casos de uso de ML, com acesso às ferramentas certas quando forem necessárias. “Muitas tarefas que costumavam ser complexas para os cientistas de dados agora estão bastante simplificadas no Amazon SageMaker”, diz Descroix. Impulsionada por essa simplicidade, os trabalhos de treinamento caíram de três dias no sistema antigo para apenas dez horas no novo sistema, representando uma redução de quase 90%. 

A empresa também foi capaz de otimizar custos usando instâncias Spot do Amazon Elastic Compute Cloud (Amazon EC2), o que ajudou a SNCF Réseau a aproveitar a capacidade não utilizada do Amazon EC2 na AWS com um grande desconto. Considerando que as workloads de ML da empresa exigem alto consumo de computação, mas não são sensíveis ao tempo, o uso de instâncias Spot por meio de Treinamentos Spot gerenciados no Amazon SageMaker acabou sendo valioso, ajudando a equipe a economizar 71% em custos de ciência de dados em comparação com as instâncias Sob demanda do Amazon EC2. “O Amazon SageMaker e as instâncias Spot foram fundamentais para simplificar e acelerar a implantação de algoritmos de IA/ML”, diz Descroix. 

A Olexya foi capaz de oferecer suporte à SNCF Réseau na formação de uma equipe de DevOps para a implantação da AWS, ajudando a reduzir o tempo de entrega do projeto de três meses com o sistema herdado para menos de 48 horas no novo sistema. Há trabalho em andamento para reduzir ainda mais esses prazos e automatizar completamente a implantação sem interações humanas. Uma parte fundamental disso envolve o Amazon Elastic Kubernetes Service (Amazon EKS), que ajuda os usuários a fornecer clusters altamente disponíveis e seguros e automatiza tarefas importantes, como aplicação de patches, provisionamento de nós e atualizações. Outro benefício importante do desenvolvimento na AWS envolveu o período de tempo para a configuração da infraestrutura (incluindo a ativação de modelos treinados em dados com os recursos necessários provisionados), que caiu de três a seis meses para apenas uma semana.

Expandir o potencial de ML por toda a empresa

Desde janeiro de 2021, a SNCF Réseau está otimizando seu algoritmo de manutenção preditiva para produção e determinar o hardware adequado para seus vagões. Além da manutenção preditiva, a empresa pretende procurar muitas outras iniciativas orientadas por ML. O sucesso inicial da empresa a ajudou a desenvolver o que ela chama de estratégia de “BYOA” (traga seu próprio algoritmo), envolvendo instâncias Spot, o Amazon SageMaker e o Amazon EKS. 

Agora operando amplamente na AWS, a empresa pode iterar com mais rapidez do que antes, o equivalente em ML a mudar de trilhos tradicionais para trilhos de alta velocidade. A equipe decidiu até mesmo expandir o escopo da solução para incluir recursos de geomapas que ajudarão com as principais decisões e facilitarão ainda mais a manutenção de ativos.


Sobre a SNCF Réseau

A SNCF Réseau é uma subsidiária da Société Nationale des Chemins de Fer Français (SNCF), a companhia ferroviária nacional da França. A SNCF Réseau opera e gerencia a infraestrutura da rede ferroviária da SNCF, que consiste em cerca de 32 mil quilômetros de linhas ferroviárias.

Benefícios da AWS

  • Reduziu o tempo de implantação de IA/ML de três a seis meses para 1 semana
  • Implantou o código no novo sistema de ML em duas semanas
  • Reduziu o tempo de treinamento do modelo de três dias para dez horas
  • Reduziu o tempo de entrega de projetos de três meses para menos de 48 horas
  • Reduziu os custos de ciência de dados em 71%

Serviços da AWS usados

Amazon EC2

O Amazon Elastic Compute Cloud (Amazon EC2) é um web service que disponibiliza capacidade computacional segura e redimensionável na nuvem. Ele foi projetado para facilitar a computação em nuvem em escala da Web para os desenvolvedores.

Saiba mais »

Instâncias Spot do Amazon EC2

As instâncias Spot do Amazon EC2 permitem aproveitar a capacidade não utilizada do EC2 na Nuvem AWS. As instâncias Spot estão disponíveis com um desconto de até 90% em comparação com os preços Sob demanda. 

Saiba mais »

Amazon Sagemaker

O Amazon SageMaker ajuda cientistas e desenvolvedores de dados a preparar, criar, treinar e implantar rapidamente modelos de machine learning (ML) de alta qualidade, reunindo um amplo conjunto de recursos criados especificamente para ML.

Saiba mais »

Amazon EKS

O Amazon Elastic Kubernetes Service (Amazon EKS) oferece a flexibilidade de iniciar, executar e dimensionar aplicações Kubernetes na nuvem AWS ou on-premises. 

Saiba mais »


Comece a usar

Empresas de diferentes portes em todos os setores transformam os negócios diariamente com a AWS. Fale com nossos especialistas e comece sua própria jornada para a Nuvem AWS hoje mesmo.