AWS 파트너 Databricks, Rivian이 전기 운송의 미래로 나아가도록 지원

Rivian은 혁신적인 Electric Adventure Vehicle(EAV)로 미래 세대를 위해 자연을 보호하고 있습니다. 매일 도로 위에 있는 1만 1,000대 이상의 EAV가 수 테라바이트의 사물 인터넷(IoT) 데이터를 생성하는 이 회사는 Amazon Web Services(AWS)에서 실행되는 Databricks의 데이터 인사이트와 기계 학습(ML)을 사용하여 차량 상태와 성능을 개선하고 있습니다. 그러나 Rivian은 기존 클라우드 도구를 사용하여 비용 효율적으로 파이프라인을 확장하는 데 어려움을 겪었으며 유지 보수에 상당한 리소스를 소비하여 진정한 데이터 기반 역량을 갖추는 데 더 오랜 시간이 걸렸습니다. Databricks Lakehouse 플랫폼으로 이전한 후 Rivian은 이제 차량이 어떻게 작동하고 이것이 차량을 사용하는 운전자에게 어떤 영향을 미치는지 이해하게 되었습니다. 이러한 인사이트를 바탕으로 Rivian은 더 빠르게 혁신하고 비용을 절감하며 궁극적으로 고객에게 더 나은 운전 경험을 제공하고 있습니다.

미래 세대가 계속해서 즐길 수 있는 세상을 만들기 위해서는 세상이 운영되는 방식을 바꿔야 합니다. 이러한 움직임의 선두에는 지구 에너지로 전환하고 운송 시스템에서 화석 연료를 완전히 배제하는 데 주력하는 전기 자동차 제조업체인 Rivian이 있습니다. 현재 Rivian의 차량에는 개인용 차량이 포함되며 Amazon과의 파트너십을 통해 10만 대의 상업용 밴을 납품하고 있습니다. 각 차량은 IoT 센서와 카메라를 사용하여 차량 주행 방식부터 다양한 부품의 기능에 이르기까지 페타바이트 규모의 데이터를 캡처합니다. Rivian은 이러한 모든 데이터를 손쉽게 이용할 수 있기 때문에 ML을 사용하여 예측 유지 보수를 통해 전반적인 고객 경험을 개선하여 운전자에게 영향을 미치기 전에 잠재적 문제를 해결하고 있습니다.

Rivian은 첫 EAV를 출시하기도 전에 이미 산출량 감소, 협업 부진, 운영 비용 증가로 인해 데이터 가시성과 도구의 한계에 부딪혔습니다. 규모가 크고 운영이 복잡한 30~50개의 컴퓨팅 클러스터를 계속 보유하고 있었기 때문에 비용이 많이 들었습니다. 시스템 관리가 어려웠을 뿐만 아니라 클러스터 중단이 자주 발생하여
팀원들이 데이터 분석보다 문제 해결에 더 많은 시간을 할애해야 했습니다. 또한 단절된 시스템으로 인해 생성된 데이터 사일로는 데이터 공유 속도를 늦췄고, 이는 생산성 문제를 더욱 야기했습니다. 데이터 언어와 도구 세트에 대한 특정 전문 지식이 요구되면서 진입 장벽이 생겼고, 개발자가 사용 가능한 데이터를 최대한 활용하지 못하는 한계가 있었습니다. Rivian의 Principal Data Scientist인 Jason Shiverick은 가장 큰 문제가 데이터 액세스라고 말했습니다. “기술 지식이 부족한 사용자도 데이터를 더 쉽게 활용할 수 있도록 데이터를 더 폭넓게 공개하고 싶었습니다.”

Rivian은 EAV가 시장에 출시되면 수집되는 데이터의 양이 폭발적으로 증가할 것임을 알고 있었습니다. Rivian은 약속한 안정성과 성능을 제공하기 위해 데이터 액세스를 대중화할 뿐만 아니라 안정적이고 즐거운 운전 경험을 보장하는 혁신적인 솔루션을 구축할 수 있도록 공통 플랫폼을 제공하는 아키텍처가 필요했습니다. Rivian은 해당 분야에 대한 전문성을 얻기 위해 AWS 파트너 Databricks와 AWS를 파트너 및 클라우드 공급업체로 선택했습니다.

Rivian은 데이터 인프라를 현대화하기 위해 AWS와 Databricks가 공동으로 개발한 Databricks Lakehouse 플랫폼을 선택했습니다. 이 강력한 플랫폼 덕분에 Rivian은 모든 데이터를 다운스트림 분석 및 ML을 위한 공통 뷰로 통합할 수 있었습니다. 이제 고유한 데이터 팀은 AWS Direct Connect, Amazon Simple Storage Service(Amazon S3), Amazon Elastic Kubernetes Service(Amazon EKS) 및 Amazon Elastic Compute Cloud(Amazon EC2)와 같은 도구를 통해 예측 유지 보수부터 스마트 제품 개발에 이르기까지 다양한 사용 사례에 대해 실행 가능한 인사이트를 제공할 수 있는 액세스 가능한 다양한 도구를 갖게 되었습니다.

Rivian의 첨단 운전자 보조 시스템(ADAS) 팀은 이제 모든 EAV 동작을 파악하기 위해 원격 측정 가속도계 데이터를 쉽게 얻을 수 있습니다. 이 핵심 기록 데이터에는 Rivian이 차량 성능, 주행 패턴, 커넥티드 카 시스템 예측 가능성을 파악하는 데 도움이 되는 피치, 롤, 속도, 서스펜션, 에어백 동작에 대한 정보가 들어 있습니다. 이러한 주요 성능 지표를 기반으로 Rivian은 스마트 기능의 정확성과 운전자의 제어 기능을 개선할 수 있습니다.  장거리 주행과 교통 체증 속 주행으로 인한 스트레스를 해소하도록 설계하고, 어댑티브 크루즈 컨트롤, 차선 변경 보조, 자동 비상 주행, 전방 충돌 경고와 같은 기능을 시간이 지남에 따라 개선하여 고객의 주행 경험을 지속적으로 최적화할 수 있습니다.

Databricks Unity Catalog를 통해 안전한 데이터 공유 및 협업도 촉진되었습니다. Shiverick은 Lakehouse의 통합 거버넌스가 Rivian의 생산성에 어떻게 도움이 되는지 설명했습니다. “Unity Catalog는 다양한 팀에서 사용할 수 있는 진정한 중앙 집중식 데이터 카탈로그를 제공합니다.”라며, “이제 우리는 적절한 액세스 관리 및 제어 기능을 갖추고 있습니다.”라고 말했습니다. Venkat은 “Unity Catalog를 통해 다양한 팀과 작업 공간에서 데이터 카탈로그와 액세스 관리를 중앙 집중화하여 거버넌스를 간소화할 수 있게 되었습니다.”라고 덧붙였습니다. 자율 주행 시스템에 사용되는 것과 같은 민감한 데이터 소스의 엔드 투 엔드 버전 제어 거버넌스 및 감사 기능은 특성 엔지니어링을 위한 단순하지만 안전한 솔루션을 제공합니다. 이를 통해 Rivian은 자율 주행 그리드를 확보하기 위한 경쟁에서 경쟁 우위를 점할 수 있습니다.

Databricks와 AWS 간의 협력을 통해 Rivian은 역량을 확장하여 귀중한 데이터 인사이트를 빠르고 효과적이면서 비용 효율적으로 제공할 수 있었습니다. Rivian은 더 많은 데이터를 활용하여 운영 및 차량 성능, 고객 경험을 개선할 준비가 되었습니다. Venkat은 “Lakehouse가 제공하는 유연성 덕분에 클라우드 관점에서 볼 때 많은 비용을 절감할 수 있었고, 이는 우리에게 큰 성과입니다.”라고 말했습니다. 데이터 및 분석에 대한 통합된 오픈 소스 접근 방식을 제공하는 AWS 기반 Databricks Lakehouse를 통해 차량 신뢰성 팀은 사람들이 차량을 어떻게 사용하는지 더 잘 이해할 수 있으며, 이는 미래 세대의 차량 설계를 발전시키는 데 도움이 됩니다. Databricks Lakehouse 플랫폼을 활용하여 런타임 성능이 30~50% 향상되어 인사이트와 모델 성능이 더 빨라졌습니다.

Shiverick은 “신뢰성 측면에서 보면 부품이 적절한 수명 주기를 견딜 수 있도록 보장할 수 있습니다. 도어 핸들이 지속적인 사용을 견딜 수 있을 만큼 튼튼한지 확인하는 것만큼 간단할 수도 있고, 현장에서 고장이 날 확률을 없애기 위해 예측하고 예방하는 유지 관리만큼 복잡한 일일 수도 있습니다. 일반적으로 Rivian은 더 나은 고객 경험을 위해 주요 차량 지표를 기반으로 소프트웨어 품질을 개선하고 있습니다.”라고 설명했습니다.
설계 최적화 관점에서 보면 Rivian의 무장애 데이터 뷰는 플릿 상태, 안전, 안정성 및 보안을 개선할 수 있는 새로운 진단 인사이트도 제공하고 있습니다. Venkat은 “원격 진단을 수행하여 문제를 신속하게 분류하거나, 모바일 서비스를 이용하거나, 잠재적으로 OTA를 전송하여 소프트웨어 문제를 해결할 수 있습니다. 이 모든 작업을 수행하는 데는 데이터를 파악하는 뛰어난 능력이 필요하며, 이는 파트너십과 플랫폼 자체에서의 통합을 통해 가능했습니다.”라고 말했습니다. 개발자들은 문제를 개선하기 위해 차량 소프트웨어를 적극적으로 개발하고 있습니다.

앞으로 Rivian은 다양한 팀에서 Databricks Lakehouse를 빠르게 채택하여 단 1년 만에 플랫폼 사용자 수를 5명에서 250명으로 늘릴 계획입니다. 이를 통해 AWS의 ML을 사용하여 저온에서 배터리 효율성을 최적화하고, 자율 주행 시스템의 정확도를 높이고, 상업 창고의 조기 및 지속적인 유지 관리를 위해 차량 상태 대시보드를 제공하는 등 새로운 사용 사례가 보고되고 있습니다. 더 많은 EAV가 출하되고 상업용 밴이 확장됨에 따라 Rivian은 EAV에서 생성된 방대한 데이터를 계속 활용하여 지속 가능한 교통에 혁명을 일으키는 새로운 혁신과 주행 경험을 제공할 것입니다.