SNCF_Logo

A empresa ferroviária nacional da França reduz custos e aumenta a produtividade na AWS

2021

O serviço ferroviário estatal da França, a Société Nationale des Chemins de Fer Français (SNCF), requer tecnologias sofisticadas para gerenciar e preservar a segurança por toda a sua rede ferroviária de 32 mil km. Em 2017, a SNCF Réseau, a subsidiária que mantém e gerencia a infraestrutura ferroviária da SNCF, resolveu criar uma solução de visão computacional que pudesse utilizar as imagens capturadas de câmeras de trens para ajudar a empresa a identificar possíveis avarias nos trilhos e antecipar a manutenção. Contudo, os datacenters herdados da SNCF Réseau não tinham a agilidade e a taxa de transferência que a empresa buscava e estavam se tornando obsoletos e caros para manter. Embora a SNCF Réseau tivesse acesso a uma enorme quantidade de dados, era majoritariamente segregada e inadequada para a análise necessária para facilitar a solução de machine learning (ML) que a empresa vislumbrava. 

Buscando modernizar a sua infraestrutura tecnológica, a SNCF Réseau recorreu à Olexya, um parceiro de consultoria Select da Amazon Web Services (AWS), para migrar workloads para a AWS. A ampla migração envolveu mudar o framework de ML da SNCF Réseau para o Amazon SageMaker, um serviço totalmente gerenciado que ajuda cientistas de dados e desenvolvedores a preparar, construir, treinar e implantar modelos de ML de alta qualidade rapidamente, reunindo um amplo conjunto de funcionalidades desenvolvidas especificamente para ML. Na AWS, a equipe acabou reduzindo o tempo de treinamento do modelo de três dias para dez horas. Na nuvem, agora a SNCF Réseau está preparada para realizar tarefas de manutenção preditiva orientadas por ML e dados inteligentes e liberar o potencial de ML para muitas outras iniciativas em toda a empresa.

Trem em alta velocidade
kr_quotemark

O Amazon SageMaker e instâncias spot foram fundamentais para simplificar e acelerar a implantação de algoritmos de IA/ML.”

Samuel Descroix
Líder da gerência de dados geográficos e analíticos
SNCF Réseau

Modernização e padronização na nuvem

A SNCF Réseau é resultado da reunificação de 2015 da rede ferroviária francesa (conhecida na França como Réseau Ferré de France, ou RFF) e a SNCF, que tinham sistemas de informação separados até 2015. Após a reunificação, a falta de padronização dificultou o intercâmbio com gerentes de países vizinhos. Dedicada à manutenção, à modernização e à segurança, a SNCF Réseau há muito procurava padronizar dados e maximizar a sua utilidade dentro da empresa e para seus parceiros europeus. Assim, em 2019, a empresa decidiu reprojetar grande parte da sua infraestrutura herdada com a AWS. A SNCF Réseau determinou que a amplitude dos AWS Managed Services atendia às expectativas da empresa para acelerar a implementação da sua estratégia de dados inteligentes. Trata-se de uma nova abordagem radical para coletar e analisar rapidamente dados relevantes para a manutenção dos trilhos da SNCF usando sensores inteligentes quase em tempo real.

Uma das primeiras etapas envolvia migrar dados para um data lake no Amazon Simple Storage Service (Amazon S3), um serviço de armazenamento de objetos que oferece escalabilidade, disponibilidade de dados, segurança e performance líderes do setor. Buscando evitar os desafios associados a dados segregados e definições não padronizadas, a empresa desenvolveu o modelo Ariane, uma linguagem de modelagem unificada para alinhar definições de trilhos, tráfego, manutenção e outros elementos-chave, passando a normalizar os dados após a coleta. Com base no RailTopoModel, um modelo sistêmico usado por várias organizações europeias, o Ariane representou uma etapa importante rumo à padronização regional e a relatórios regulamentares e de compatibilidade. 

Definições padrão claras ajudaram a SNCF Réseau a criar um data lake “limpo” no Amazon S3. Em vez de despejar dados brutos em um data lake e aplicar uma camada de inteligência para dar sentido a eles, a empresa desenvolveu meios para definir objetos relevantes para casos de uso específicos, incluindo ML, antes de alimentá-los no data lake. “Ao contrário de um pântano de dados, um data lake limpo fornece o nível de confiança nos dados que os gerentes precisam ter para formular uma estratégia e tomar as decisões certas”, diz Samuel Descroix, o líder da gerência do departamento de dados geográficos e analíticos da SNCF Réseau. A partir daí, os cientistas de dados puderam fazer consultas usando o Amazon Athena, um serviço de consultas interativas que simplifica a análise de dados no Amazon S3 usando a linguagem de consulta estruturada padrão.

Como simplificar o ML na AWS economizando custos

Um elemento chave da modernização da SNCF Réseau é o seu modelo de visão computacional, projetado para identificar avarias ou problemas nas linhas ferroviárias e antecipar melhor necessidades de manutenção. Em 2017, a empresa começou a desenvolver algoritmos para inteligência artificial (IA) e ML em Python 2.7 com o framework de aprendizado profundo Caffe2, mas seus data centers on-premises não tinham a agilidade e a taxa de transferência necessárias para possibilitar um ML efetivo e os modelos demoravam até três dias para serem treinados. Como a empresa tinha migrado para a AWS e estabelecido um data lake limpo no Amazon S3, viu uma oportunidade para aproveitar o conjunto de serviços na AWS, adaptando o seu framework Caffe2 para ser treinado e implantado em ambientes gerenciados pela AWS, incluindo o Amazon SageMaker. 

Em março de 2020, a empresa implantou o código no seu novo sistema na AWS após apenas duas semanas de ajustes. Agora, com o seu framework na AWS, os cientistas de dados da SNCF Réseau puderam desfrutar de um alto nível de autonomia para casos de uso de ML, com acesso às ferramentas certas, conforme necessário. “Muitas tarefas que costumavam ser complexas para os cientistas de dados tornaram-se consideravelmente simplificadas no Amazon SageMaker”, diz Descroix. Amparados por essa simplicidade relativa, os trabalhos de treinamento abandonaram um sistema de três dias para um novo de dez horas, ou seja, uma redução de quase 90%. 

Além disso, a empresa também conseguiu otimizar custos usando as instâncias spot do Amazon Elastic Compute Cloud (Amazon EC2), o que ajudou a SNCF Réseau a aproveitar na AWS capacidades do Amazon EC2 que estavam sem uso com um desconto considerável. Considerando que as workloads de ML da empresa exigem alto consumo de computação, mas não são sensíveis ao tempo, o uso de instâncias spot por meio de treinamentos spot gerenciados no Amazon SageMaker acabou sendo valioso, ajudando a equipe a economizar 71% de custos de ciência de dados, em comparação com as instâncias sob demanda do Amazon EC2. “O Amazon SageMaker e as instâncias spot foram fundamentais para simplificar e acelerar a implantação de algoritmos de IA/ML”, diz Descroix. 

A Olexya foi capaz de oferecer suporte à SNCF Réseau para estabelecer uma equipe de DevOps para implantar a AWS, ajudando a reduzir os tempos de entrega do projeto, de 3 meses no sistema herdado para menos de 48 horas no novo sistema. Há trabalho em andamento para reduzir ainda mais esses prazos e automatizar completamente a implantação sem interações humanas. Uma parte fundamental disso envolve o Amazon Elastic Kubernetes Service (Amazon EKS), que ajuda os usuários a fornecer clusters altamente disponíveis e seguros e automatiza tarefas importantes, como aplicação de patches, provisionamento de nós e atualizações. Outro benefício importante do desenvolvimento na AWS envolveu o período de tempo para a configuração da infraestrutura (incluindo a ativação de modelos treinados por dados com os recursos necessários provisionados), que caiu de três a seis meses para apenas uma semana.

Expansão do potencial de ML em toda a empresa

Desde janeiro de 2021, a SNCF Réseau está otimizando o seu algoritmo de manutenção preditiva para produção e determinando o hardware adequado para os seus vagões. Além da manutenção preditiva, a empresa pretende buscar muitas outras iniciativas orientadas por ML. O sucesso inicial da empresa a ajudou a desenvolver a chamada estratégia “BYOA” (traga o seu próprio algoritmo), envolvendo instâncias spot, o Amazon SageMaker e o Amazon EKS. 

E agora, operando amplamente na AWS, a empresa pode interagir ainda mais rápido do que antes: é o equivalente em ML para a mudança de um trem tradicional para um de alta velocidade. A equipe decidiu até mesmo expandir o escopo da solução para incluir recursos de geomapas que ajudarão com as principais decisões e facilitarão ainda mais a manutenção de ativos.


Sobre a SNCF Réseau

A SNCF Réseau é uma subsidiária da Société Nationale des Chemins de Fer Français (SNCF), a companhia ferroviária nacional da França. A SNCF Réseau opera e gerencia a infraestrutura da rede ferroviária da SNCF, que consiste em cerca de 32 mil km de linhas ferroviárias.

Benefícios da AWS

  • Tempo de implantação de IA/ML reduzido de três a seis meses para 1 semana
  • Código implantado em um novo sistema de ML em duas semanas
  • Tempo de treinamento do modelo reduzido de três dias para dez horas
  • Tempos de entrega de projetos reduzidos de 3 meses para menos de 48 horas
  • Custos de ciência de dados 71% reduzidos

Produtos da AWS usados

Amazon EC2

O Amazon Elastic Compute Cloud (Amazon EC2) é um web service que disponibiliza capacidade computacional segura e redimensionável na nuvem. Ele foi projetado para facilitar a computação em nuvem na escala da web para os desenvolvedores.

Saiba mais »

Instâncias spot do Amazon EC2

As instâncias spot do Amazon EC2 permitem aproveitar a capacidade não utilizada do EC2 na Nuvem AWS. Em comparação com os preços sob demanda, as instâncias spot oferecem descontos de até 90%. 

Saiba mais »

Amazon SageMaker

O Amazon SageMaker ajuda cientistas e desenvolvedores de dados a preparar, criar, treinar e implantar modelos de machine learning (ML) de alta qualidade rapidamente reunindo um amplo conjunto de funcionalidades criadas especificamente para ML.

Saiba mais »

Amazon EKS

O Amazon Elastic Kubernetes Service (Amazon EKS) oferece a você flexibilidade para iniciar, executar e escalar aplicações do Kubernetes na AWS Cloud ou on-premises. 

Saiba mais »


Comece a usar

Empresas de todos os portes em todos os setores estão transformando seus negócios diariamente usando a AWS. Entre em contato com nossos especialistas e comece sua própria jornada para a Nuvem AWS hoje mesmo.