100_bmw-group-logo

BMW Group usa data lake baseado na AWS para liberar todo o potencial dos dados

2020

O BMW Group, com sede na cidade alemã de Munique, é o fabricante de automóveis e motocicletas de luxo responsável pelas marcas BMW, BMW Motorrad, MINI e Rolls-Royce. O grupo também oferece serviços financeiros e de mobilidade de primeira linha.

Nos últimos anos, o BMW Group se concentrou em atingir a vanguarda da transformação digital no setor automotivo, com o uso de dados e análises preditivas. Segundo Kai Demtröder, vice-presidente de transformação de dados, inteligência artificial, dados e plataformas DevOps do BMW Group, “Para continuarmos inovando, nosso foco passou a ser a criação de novas experiências digitais e conectadas, além de promover mudanças na nossa cadeia de valor com o intuito de melhorar a eficiência e a eficácia ao permitir decisões orientadas por dados." Para gerar tais inovações, em 2015 o BMW Group criou um data lake on-premises centralizado visando coletar e combinar dados anonimizados dos sensores instalados nos veículos, sistemas operacionais e data warehouses de modo a extrair insights históricos, em tempo real e preditivos.

Entretanto, a empresa precisava escalar esse data lake com mais facilidade para apoiar as crescentes demandas internas e externas. Sem conseguir acessar os dados com facilidade, já que eles estavam espalhados por um sem-número de ambientes em silo, a inovação do BMW Group perdia velocidade por culpa da própria infraestrutura de TI e dos longos tempos de espera até viabilizar novas iniciativas. O BMW Group precisava desenvolver uma solução ágil o suficiente para atender às necessidades de dados de todas as unidades de negócios internas e permitir que a empresa ganhasse agilidade na resposta a uma série de casos de uso que surgiam por exigência dos clientes.

A empresa também buscava garantir aos consumidores acesso aos dados em tempo real, por exemplo, à telemetria dos veículos: informações sobre velocidade, localização, temperatura, nível dos freios e da bateria, além de status do motor. Além disso, havia o desejo de integrar análises e machine learning ao data lake, de modo a acelerar o desenvolvimento de serviços novos e inovadores. E havia, ainda, um pré-requisito: a solução teria de proporcionar a governança necessária para garantir conformidade com os regulamentos de privacidade e segurança.

BMW iX
kr_quotemark

Nossa jornada com a AWS está só começando. Estamos ansiosos para viabilizar a estratégia de inovações futuristas."

Kai Demtröder
Vice-presidente de transformação de dados, inteligência artificial, dados e plataformas de DevOps
BMW Group

Capacitação de uma abordagem orientada por dados

Em resposta a esses desafios, o BMW Group decidiu refazer a arquitetura e transferir o data lake on-premises para a nuvem da Amazon Web Services (AWS). O Cloud Data Hub (CDH) processa e combina dados anonimizados dos sensores instalados nos veículos e de outras fontes em toda a corporação, facilitando o acesso para as equipes que criam aplicações internas e voltadas para clientes. Por fim, o BMW Group descobriu que a AWS oferecia a agilidade e a flexibilidade de que ele precisava, além de ter a presença global necessária para oferecer suporte a usuários no mundo todo.

Antes da migração, a falta de flexibilidade do data lake on-premises do BMW Group não conseguia atender às crescentes demandas de analistas e engenheiros de dados. Com fluxos de trabalho interdependentes, o antigo data lake não lidava bem com vários locatários. Por isso, as equipes de plataforma, ingestão e casos de uso do BMW Group exigiam uma coordenação complexa para trabalhar nos projetos, o que causava gargalos e diminuía o ritmo do trabalho.

A empresa optou por uma combinação de serviços gerenciados da AWS, incluindo o Amazon Athena, o Amazon Simple Storage Service (Amazon S3), o Amazon Kinesis Data Firehose e o AWS Glue, para reduzir a complexidade da configuração ao diferenciar componentes e criar um ambiente capaz de escalar conforme as necessidades dos engenheiros de dados. As equipes passaram a ter o próprio processo de DevOps de ponta a ponta, conferindo a elas a autonomia e a agilidade necessárias para dar continuidade à inovação. Além disso, o BMW Group implementou um moderno portal online para ajudar os usuários do CDH a descobrir conjuntos de dados confiáveis usando um algoritmo de busca avançado e consultar com facilidade dados para gerar novos insights.

Democratização do uso de dados em escala

Usando os serviços da AWS, o BMW Group ingere uma quantidade gigantesca de dados a cada dia. Atualmente, milhões de veículos BMW e MINI são conectados ao CDH pelo back-end de alta segurança do BMW Group, processando diariamente terabytes de dados de telemetria anônimos. A empresa usa esses dados para monitorar indicadores de integridade dos veículos, como erros de controle de verificação, no intuito de identificar possíveis problemas nas linhas dos veículos. Com isso, o BMW Group consegue usar os dados da frota ingeridos, coletados e refinados pelo CDH para melhorar a resolução de problemas até mesmo antes de os clientes serem afetados.

Para gerenciar melhor esses dados, o BMW Group introduziu os conceitos de “provedores de dados” e “consumidores de dados”, de modo a aumentar a autonomia e a agilidade das equipes de engenharia de software. Os provedores de dados fazem a ingestão e a transformação dos dados com serviços da AWS, como o Amazon Kinesis Data Firehose, o AWS Lambda, o AWS Glue e o Amazon EMR. Os consumidores de dados podem usar serviços como o Amazon Athena, Amazon SageMaker, o AWS Glue e o Amazon EMR para aproveitar os dados em seus casos de uso. Provedores e consumidores usam esses serviços em suas próprias contas e só compartilham interfaces bem-definidas que podem ser controladas por uma API central, ajudando a evitar gargalos. Cada camada de dados é armazenada nos buckets do Amazon S3, cujos esquemas são registrados no catálogo de dados do AWS Glue.

Além de coletar metadados técnicos no catálogo de dados do AWS Glue, o BMW Group descobriu que a criação de um catálogo de dados que pudesse ser lido por humanos era essencial para a democratização dos dados por toda a organização. Essa ação garante um alto grau de transparência sobre quais ativos de dados são coletados no CDH e como isso é feito. A aplicação de front-end Data Portal atua como um explorador de dados capaz de acelerar a produtividade de analistas de dados, cientistas de dados e engenheiros ao exibir com clareza recursos e dados e oferecer um “índice de popularidade” baseado nos padrões de uso de mais de 500 usuários em toda a organização.

Além disso, o CDH usa a GraphQL por meio do AWS AppSync para criar APIs universais e escaláveis para provedores e consumidores de dados, aumentando a flexibilidade do desenvolvimento. Ao contrário das tradicionais APIs REST, as interfaces construídas em GraphQL são adequadas para comportar exigências evolucionárias, como a representação de metadados para o catálogo de dados ou o fornecimento de dados heterogêneos coletados de veículos conectados. Os desenvolvedores têm flexibilidade para definir os parâmetros de consulta e estrutura do payload para obter os dados necessários a determinado caso de uso. Isso os ajuda a criar aplicações com rapidez significativamente maior que antes, pois não há mais necessidade de criar uma nova série de APIs para cada projeto com um conjunto diferente de requisitos de dados.

Acelerando a inovação

O data lake centralizado e baseado na AWS é o alicerce que o BMW Group usou para desenvolver soluções de TI orientadas por dados, permitindo a escalabilidade automática e independente com uma arquitetura sem servidor. Assim, a inovação ganha agilidade em relação à solução prévia on-premises, que precisava de gerenciamento de infraestrutura e planejamento de capacidade para cada nova iniciativa.

O BMW Group abrirá o código dos principais componentes do CDH, como APIs, arquitetura e Data Portal. Isso ganha ainda mais força pelo fato de o BMW Group participar desde o início da Gaia-X, a iniciativa europeia para a criação de espaços de dados com soberania. 

No futuro, o BMW Group continuará a ampliar os recursos da plataforma CDH para agilizar ainda mais a transformação digital e gerar mais valor para a empresa, oferecendo aos clientes experiências inovadoras, novos serviços de mobilidade e insights internos dos negócios. Demtröder conclui: “Nossa jornada com a AWS está só começando. Estamos ansiosos para viabilizar a estratégia de inovações futuristas.”

Para saber mais, acesse aws.amazon.com/automotive.

Figura 1: Visão geral da arquitetura do CDH

Figura 1: Visão geral da arquitetura do CDH

Figura 2: Visão do portal do CDH

Figura 2: Visão do portal do CDH

Sobre o BMW Group

Com quatro marcas, BMW, MINI, Rolls-Royce e BMW Motorrad, o BMW Group é um importante fabricante de automóveis e motocicletas de luxo. A empresa também oferece serviços financeiros e de mobilidade de primeira linha.

Benefícios da AWS

  • Democratiza o uso dos dados em escala
  • Processa diariamente terabytes de dados de telemetria de milhões de veículos
  • Resolve problemas antes de afetarem os clientes
  • Acelera a inovação

Serviços da AWS usados

Amazon Kinesis Data Firehose

O Amazon Kinesis Data Firehose é a maneira mais fácil de carregar de forma confiável dados de streaming em data lakes, datastores e serviços de análises. Ele é capaz de capturar, transformar e entregar dados de streaming para o Amazon S3, o Amazon Redshift, o Amazon Elasticsearch Service, endpoints HTTP genéricos e prestadores de serviços como o Datadog, o New Relic, o MongoDB e o Splunk.

Saiba mais »

Amazon SageMaker

O Amazon SageMaker é um serviço totalmente gerenciado que fornece a todos os desenvolvedores e cientistas de dados a capacidade de criar, treinar e implantar rapidamente modelos de machine learning (ML). O SageMaker remove as tarefas pesadas de cada etapa do processo de machine learning e facilita o desenvolvimento de modelos de alta qualidade.

Saiba mais »

AWS AppSync

O AWS AppSync é um serviço totalmente gerenciado que facilita o desenvolvimento de APIs GraphQL ao lidar com as tarefas pesadas de se conectar com segurança a fontes de dados como o AWS DynamoDB, Lambda e muito mais. Depois de implantado, o AWS AppSync escala automaticamente expandindo ou reduzindo seu mecanismo de execução da API GraphQL para atender aos volumes solicitados pela API.

Saiba mais »

AWS Glue

O AWS Glue é um serviço totalmente gerenciado de extração, transformação e carga (ETL) que facilita a preparação e a carga de dados para análises pelos clientes.

Saiba mais »


Comece a usar

Empresas de diferentes portes em todos os setores transformam os negócios diariamente com a AWS. Fale com nossos especialistas e comece sua própria jornada para a Nuvem AWS hoje mesmo.