100_bmw-group-logo

BMW Group usa data lake baseado na AWS para liberar todo o potencial dos dados

2020

O BMW Group, com sede em Munique, Alemanha, é um fabricante global de automóveis e motocicletas premium, abrangendo as marcas BMW, BMW Motorrad, MINI e Rolls-Royce. O grupo também oferece serviços financeiros e de mobilidade de primeira linha.

Nos últimos anos, o BMW Group se concentrou em atingir a vanguarda da transformação digital no setor automotivo, com o uso de dados e análises preditivas. De acordo com Kai Demtröder, vice-presidente de transformação de dados, inteligência artificial, plataformas de dados e DevOps do BMW Group, “Para nos mantermos inovadores, estamos nos concentrando na criação de novas experiências digitais e conectadas e na condução de mudanças em nossa cadeia de valor para melhorar a eficiência e a eficácia, permitindo decisões orientadas por dados”. Para gerar essas inovações, em 2015, o BMW Group criou um data lake centralizado on-premises que coleta e combina dados anônimos de sensores em veículos, sistemas operacionais e data warehouses para obter informações históricas, em tempo real e preditivas.

No entanto, a empresa precisava dimensionar seu data lake com mais facilidade para atender às crescentes demandas de partes interessadas internas e externas. Sem conseguir acessar os dados com facilidade, já que eles estavam espalhados por um sem-número de ambientes em silo, a inovação do BMW Group perdia velocidade por culpa da própria infraestrutura de TI e dos longos tempos de espera até viabilizar novas iniciativas. O BMW Group precisava desenvolver uma solução ágil o suficiente para dar suporte às necessidades de dados de todas as várias unidades de negócios internas e permitir que a empresa se movesse rapidamente para atender à variedade de casos de uso emergentes que seus clientes exigem.

O BMW Group também procurou dar aos consumidores de dados acesso em tempo real, por exemplo, à telemetria do veículo, como informações sobre velocidade, localização, temperatura, níveis de bateria e freios e status do motor. Além disso, havia o desejo de integrar análises e machine learning ao data lake, de modo a acelerar o desenvolvimento de serviços novos e inovadores. E havia, ainda, um pré-requisito: a solução teria de proporcionar a governança necessária para garantir conformidade com os regulamentos de privacidade e segurança.

BMW iX
kr_quotemark

Nossa jornada com a AWS está só começando. Estamos ansiosos para viabilizar a estratégia de inovações futuristas.”

Kai Demtröder
Vice-presidente de transformação de dados, inteligência artificial, dados e plataformas de DevOps
BMW Group

Capacitação de uma abordagem orientada por dados

Em resposta a esses desafios, o BMW Group decidiu refazer a arquitetura e transferir o data lake on-premises para a nuvem da Amazon Web Services (AWS). O Cloud Data Hub (CDH) processa e combina dados anonimizados dos sensores instalados nos veículos e de outras fontes em toda a corporação, facilitando o acesso para as equipes que criam aplicações internas e voltadas para clientes. Por fim, a empresa descobriu que a AWS oferecia a agilidade e a flexibilidade necessárias, juntamente com o espaço necessário para oferecer suporte a usuários em todo o mundo.

Antes da migração, o data lake on-premises rígido do BMW Group não atendia às necessidades cada vez maiores de engenheiros e analistas de dados. Executando fluxos de trabalho interdependentes, o antigo data lake não conseguia lidar bem com vários inquilinos e, como consequência, as equipes de plataforma, ingestão e casos de uso do BMW Group exigiam uma coordenação complexa para trabalhar em projetos e enfrentavam gargalos organizacionais, diminuindo o ritmo.

O BMW Group recorreu a uma combinação de serviços gerenciados pela AWS (incluindo o Amazon Athena, o Amazon Simple Storage Service (Amazon S3), o Amazon Kinesis Data Firehose e o AWS Glue) para reduzir a complexidade da configuração diferenciando componentes e criar um ambiente capaz de ser escalado para atender às necessidades dos engenheiros de dados. Além disso, as equipes agora podem ter seu próprio processo de DevOps de ponta a ponta, dando a elas a autonomia e a agilidade necessárias para continuarem inovando. Além disso, o BMW Group implementou um portal da Web moderno que ajuda os usuários do CDH a descobrir conjuntos de dados confiáveis usando um algoritmo de pesquisa avançado e consultar dados facilmente para gerar novos insights.

Democratização do uso de dados em escala

Usando os serviços da AWS, o BMW Group ingere uma quantidade gigantesca de dados a cada dia. Atualmente, milhões de veículos BMW e MINI são conectados ao CDH pelo backend de alta segurança do BMW Group, processando diariamente terabytes de dados de telemetria anônimos. A empresa usa esses dados para monitorar indicadores de integridade dos veículos, como erros de controle de verificação, no intuito de identificar possíveis problemas nas linhas dos veículos. Isso permite que o BMW Group aproveite os dados da frota ingeridos, coletados e refinados do CDH para resolver melhor os problemas, mesmo antes que eles afetem os clientes.

Para gerenciar melhor esses dados, o BMW Group introduziu a noção de “provedores de dados” e “consumidores de dados” para aumentar a autonomia e a agilidade de suas equipes de engenharia de software. Os provedores de dados ingerem e transformam dados com serviços da AWS, como Amazon Kinesis Data Firehose, AWS Lambda, AWS Glue e Amazon EMR. Os consumidores de dados podem usar serviços como o Amazon Athena, Amazon SageMaker, o AWS Glue e o Amazon EMR para aproveitar os dados em seus casos de uso. Provedores e consumidores usam esses serviços em suas próprias contas e só compartilham interfaces bem-definidas que podem ser controladas por uma API central, ajudando a evitar gargalos. As camadas de dados individuais são armazenadas em buckets do Amazon S3 e seus esquemas são registrados no AWS Glue Data Catalog.

Além de coletar metadados técnicos no AWS Glue Data Catalog, o BMW Group descobriu que criar um catálogo de dados legível por humanos era essencial para democratizar os dados em toda a organização. Essa ação garante um alto grau de transparência sobre quais ativos de dados são coletados no CDH e como isso é feito. A aplicação de front-end Data Portal serve como um explorador de dados para aumentar a produtividade de analistas de dados, cientistas de dados e engenheiros, exibindo claramente os recursos de dados e oferecendo um “índice de popularidade” com base nos padrões de uso de dados para mais de 500 usuários em toda a organização.

Além disso, o CDH aproveita o GraphQL via AWS AppSync para criar APIs escaláveis e universais para provedores de dados e consumidores, aumentando a flexibilidade de desenvolvimento. Ao contrário das tradicionais APIs REST, as interfaces construídas em GraphQL são adequadas para comportar exigências evolucionárias, como a representação de metadados para o catálogo de dados ou o fornecimento de dados heterogêneos coletados de veículos conectados. Os desenvolvedores têm flexibilidade para definir os parâmetros de consulta e estrutura da carga útil para obter os dados necessários a determinado caso de uso. Isso os ajuda a criar aplicações com rapidez significativamente maior que antes, pois não há mais necessidade de criar uma nova série de APIs para cada projeto com um conjunto diferente de requisitos de dados.

Acelerar a inovação

O data lake centralizado e baseado na AWS é o alicerce que o BMW Group usou para desenvolver soluções de TI orientadas por dados, permitindo a escalabilidade automática e independente com uma arquitetura sem servidor. Portanto, o BMW Group pode inovar mais rápido do que com a solução on-premises anterior, que exigia gerenciamento de infraestrutura e planejamento de capacidade para cada nova iniciativa.

O BMW Group abrirá o código-fonte dos principais componentes do CDH, incluindo APIs, arquitetura e Portal de Dados. Isso também é alimentado pelo fato de o BMW Group ser um membro fundador do Gaia-X, a iniciativa europeia para estabelecer espaços de dados soberanos. 

No futuro, o BMW Group continuará aumentado a escala dos recursos da plataforma CDH na horizontal para acelerar ainda mais sua transformação digital e gerar valor adicional em toda a empresa, capacitando experiências inovadoras do cliente, novos serviços de mobilidade e insights internos de negócios. Demtröder conclui: “Nossa jornada com a AWS está só começando. Estamos ansiosos para viabilizar a estratégia de inovações futuristas.”

Para saber mais, acesse aws.amazon.com/automotive.

Figura 1: Visão geral da arquitetura do CDH

Figura 1: Visão geral da arquitetura do CDH

Figura 2: Visão do portal do CDH

Figura 2: Visão do portal do CDH

Sobre o BMW Group

Com quatro marcas, BMW, MINI, Rolls-Royce e BMW Motorrad, o BMW Group é um importante fabricante de automóveis e motocicletas de luxo. A empresa também oferece serviços financeiros e de mobilidade de primeira linha.

Benefícios da AWS

  • Democratiza o uso de dados em escala
  • Processa terabytes de dados de telemetria de milhões de veículos diariamente
  • Resolve problemas antes que eles afetem os clientes
  • Acelera a inovação

Serviços da AWS usados

Amazon Kinesis Data Firehose

O Amazon Kinesis Data Firehose é a maneira mais fácil de carregar de forma confiável dados de transmissão em data lakes, armazenamentos de dados e serviços de análise. Ele pode capturar, transformar e entregar dados de transmissão para os serviços Amazon S3, Amazon Redshift e Amazon Elasticsearch Service; endpoints HTTP genéricos e provedores de serviços como Datadog, New Relic, MongoDB e Splunk.

Saiba mais »

Amazon SageMaker

O Amazon SageMaker é um serviço totalmente gerenciado que fornece a todos os desenvolvedores e cientistas de dados a capacidade de criar, treinar e implantar modelos de machine learning (ML) rapidamente. O SageMaker remove o trabalho pesado de cada etapa do processo de machine learning para facilitar o desenvolvimento de modelos de alta qualidade.

Saiba mais »

AWS AppSync

O AWS AppSync é um serviço totalmente gerenciado que facilita o desenvolvimento de APIs GraphQL ao lidar com o trabalho pesado de se conectar com segurança a origens dos dados como o AWS DynamoDB, Lambda e muito mais. Depois de implantado, o AWS AppSync escala automaticamente seu mecanismo de execução da API GraphQL para cima e para baixo para atender aos volumes de solicitação da API.

Saiba mais »

AWS Glue

O AWS Glue é um serviço totalmente gerenciado de extração, transformação e carga (ETL) que facilita a preparação e a carga de dados para análises pelos clientes.

Saiba mais »

Mais histórias de clientes do setor automobilístico

1

nenhum item encontrado 


Comece a usar

Organizações de todos os portes, em todos os setores, estão transformando seus negócios e cumprindo suas missões todos os dias usando a AWS. Entre em contato com nossos especialistas e comece sua própria jornada para a AWS hoje mesmo.