Databricks, parceiro da AWS, ajuda a Rivian a entrar no futuro do transporte elétrico

A Rivian está preservando o mundo natural para as gerações futuras com os revolucionários Veículos Elétricos de Aventura (EAVs). Com mais de 11 mil EAVs em circulação gerando vários terabytes de dados da Internet das Coisas (IoT) por dia, a empresa utiliza insights de dados e machine learning (ML) do Databricks em execução na Amazon Web Services (AWS) para melhorar a integridade e a performance dos veículos. Porém, com as ferramentas de nuvem herdadas, a Rivian tinha dificuldades de escalar pipelines com bom custo-benefício e gastou recursos significativos em manutenção, diminuindo sua capacidade de ser verdadeiramente orientada por dados. Desde a migração para a plataforma Databricks Lakehouse, a Rivian agora entende como é a performance de um veículo e como isso afeta o motorista que o utiliza. Preparada com esses insights, a Rivian está inovando com mais rapidez, reduzindo custos e, por fim, oferecendo uma melhor experiência de direção a seus clientes.

Para que as gerações futuras possam continuar apreciando as maravilhas do mundo, é necessário que haja uma mudança na forma como ele opera. Liderando essa transformação, a Rivian é uma fabricante de veículos elétricos com a missão de eliminar os combustíveis fósseis dos sistemas de energia e transporte. Hoje, a frota da Rivian inclui veículos pessoais e envolve uma parceria com a Amazon para entregar 100.000 vans comerciais. Cada veículo usa sensores e câmeras de IoT para capturar petabytes de dados, desde como o veículo dirige até o funcionamento de várias peças. Com todos esses dados disponíveis, a Rivian está usando ML para melhorar a experiência geral do cliente com a manutenção preditiva, para que possíveis problemas sejam resolvidos antes que afetem o motorista.

Antes mesmo de a Rivian lançar seu primeiro EAV, ela já enfrentava limitações de visibilidade de dados e ferramentas que diminuíam a produção, impediam a colaboração e aumentavam os custos operacionais. Ela tinha entre 30 e 50 clusters de computação grandes e operacionalmente complicados a todo momento, o que se tornou caro. Além de ser difícil gerenciar o sistema, a empresa também enfrentou interrupções frequentes no cluster, forçando
as equipes a dedicarem mais tempo à solução de problemas do que à análise de dados. Além disso, os silos de dados criados por sistemas desarticulados retardaram o compartilhamento de dados, o que contribuiu ainda mais para problemas de produtividade. As linguagens de dados necessárias e a experiência específica dos conjuntos de ferramentas criaram uma barreira de entrada que impediu os desenvolvedores de fazer uso total dos dados disponíveis. Jason Shiverick, cientista de dados principal da Rivian, disse que o maior problema era o acesso aos dados. “Eu queria abrir nossos dados para um público mais amplo de usuários menos técnicos, para que eles também pudessem aproveitar os dados com mais facilidade.”

A Rivian sabia que, uma vez que seus EAVs chegassem ao mercado, a quantidade de dados ingeridos explodiria. Para oferecer a confiabilidade e o desempenho prometidos, a Rivian precisava de uma arquitetura que não apenas democratizasse o acesso aos dados, mas também fornecesse uma plataforma comum para criar soluções inovadoras que ajudassem a garantir uma experiência de direção confiável e agradável. Por causa de sua experiência na área, a Rivian selecionou a Databricks, parceira da AWS, e a AWS como parceira e provedora de nuvem.

Para modernizar sua infraestrutura de dados, a Rivian escolheu a plataforma Databricks Lakehouse, um esforço colaborativo entre a AWS e a Databricks. Essa plataforma poderosa permitiu à Rivian unificar todos os seus dados em uma única visão, facilitando o uso de analytics e machine learning no futuro. Agora, equipes de dados exclusivas têm uma variedade de ferramentas acessíveis para fornecer insights práticos para diferentes casos de uso, da manutenção preditiva ao desenvolvimento mais inteligente de produtos por meio de ferramentas como AWS Direct Connect, Amazon Simple Storage Service (Amazon S3), Amazon Elastic Kubernetes Service (Amazon EKS) e Amazon Elastic Compute Cloud (Amazon EC2).

A equipe de sistemas avançados de assistência ao motorista (ADAS) da Rivian agora pode preparar facilmente os dados do acelerômetro telemétrico para entender todos os movimentos do EAV. Esses principais dados de gravação incluem informações sobre inclinação, rotação, velocidade, suspensão e atividade do airbag para ajudar a Rivian a entender o desempenho do veículo, os padrões de direção e a previsibilidade do sistema do carro conectado. Com base nessas principais métricas de desempenho, a Rivian pode melhorar a precisão dos atributos inteligentes e o controle que os motoristas têm sobre eles.  Projetados para aliviar o estresse de viagens longas e dirigir em tráfego intenso, recursos como controle de cruzeiro adaptativo, assistência à mudança de faixa, direção automática de emergência e aviso de colisão frontal podem ser aprimorados ao longo do tempo para otimizar continuamente a experiência de direção dos clientes.

O compartilhamento seguro de dados e a colaboração também foram facilitados com o Databricks Unity Catalog. Shiverick descreve como a governança unificada do lakehouse beneficia a produtividade da Rivian. “O Unity Catalog nos oferece um catálogo de dados verdadeiramente centralizado em todas as nossas diferentes equipes”, explica. “Agora temos gerenciamento e controles de acesso adequados.” Venkat acrescenta: “Com o Unity Catalog, estamos centralizando o catálogo de dados e o gerenciamento de acesso de várias equipes e espaços de trabalho, o que simplificou a governança”. A governança e a auditabilidade controladas por versão de ponta a ponta de fontes de dados confidenciais, como as usadas para sistemas de direção autônoma, produzem uma solução simples, mas segura, para engenharia de atributos. Isso dá à Rivian uma vantagem competitiva na corrida para capturar a rede de direção autônoma.

A colaboração entre a Databricks e a AWS permitiu que a Rivian escalasse sua capacidade de fornecer informações valiosas de dados com velocidade, eficiência e economia. A Rivian está pronta para explorar ainda mais dados, otimizando suas operações e o desempenho dos veículos para elevar a experiência do cliente. Venkat diz: “Graças à flexibilidade do Lakehouse, economizamos significativamente em custos de nuvem, o que é uma grande conquista para nós”. Com o Databricks Lakehouse na AWS fornecendo uma abordagem unificada e de código aberto para dados e analytics, a equipe de confiabilidade de veículos consegue entender melhor como as pessoas os utilizam, contribuindo para aprimorar o design das próximas gerações. Ao aproveitar a plataforma Databricks Lakehouse, obteve-se um aumento de 30% a 50% no desempenho do runtime, acelerando tanto a geração de insights quanto a performance dos modelos.

Shiverick explica: “Do ponto de vista da confiabilidade, podemos garantir que os componentes suportem ciclos de vida adequados. Pode ser tão simples quanto garantir que as maçanetas das portas sejam robustas o suficiente para suportar o uso constante ou tão complicado quanto a manutenção preditiva e preventiva para eliminar a chance de falha no campo. De modo geral, estamos melhorando a qualidade do software com base nas principais métricas do veículo para uma melhor experiência do cliente.”
Do ponto de vista da otimização do projeto, a visualização desobstruída dos dados da Rivian também está produzindo novos insights de diagnóstico que podem melhorar as condições, a segurança e a estabilidade da frota. Venkat diz: “Podemos realizar diagnósticos remotos para fazer a triagem de um problema rapidamente, solicitar a entrada de um serviço móvel ou, potencialmente, enviar um OTA para corrigir o problema com o software. Tudo isso precisa de muita visibilidade dos dados, e isso foi possível com nossa parceria e integração na própria plataforma.” Com desenvolvedores escrevendo ativamente software de veículos para melhorar os problemas ao longo do caminho.

No futuro, a Rivian está vendo uma rápida adoção do Databricks Lakehouse em diferentes equipes, aumentando o número de usuários da plataforma de 5 para 250 em apenas um ano. Isso possibilitou novos casos de uso, incluindo o uso de ML da AWS para otimizar a eficiência da bateria em temperaturas mais baixas, aumentar a precisão dos sistemas de direção autônoma e fornecer depósitos comerciais com painéis de integridade de veículos para manutenção precoce e contínua. À medida que mais EAVs são enviados e sua frota de vans comerciais se expande, a Rivian continuará a aproveitar os grandes volumes de dados gerados por seus EAVs para oferecer inovações e experiências de direção que revolucionam o transporte sustentável.