Maxar는 AWS HPC 솔루션에서 Amazon FSx for Lustre를 사용하여 NOAA의 기상 수치 예보 모델을 실행했습니다. 이를 통해 컴퓨팅 시간을 58% 단축하여 약 45분 만에 훨씬 더 경제적인 비용으로 예보 자료를 생성할 수 있었습니다. AWS 컴퓨팅 리소스를 극대화하자 성능이 크게 향상되는 결과로 이어진 겁니다.
Stefan Cecelski, Maxar Technologies의 수석 데이터 사이언티스트 겸 엔지니어(PhD)
Maxar 사례 연구 읽기
»
Toyota
Toyota Research Institute는 객체 인식 기계 학습 훈련 시간을 줄이기 위해 FSx for Lustre를 선택했습니다.
Toyota Research Institute(TRI)는 자사의 자율 주행 차량(AV) 테스트 드라이브에서 대량의 센서 데이터를 수집하고 처리합니다. 각각의 훈련 데이터 집합은 온프레미스 NAS 디바이스에 스테이징되며, 강력한 GPU 컴퓨팅 클러스터에서 처리되기 전에 Amazon Simple Storage Service(S3)로 전송됩니다. TRI는 컴퓨팅 리소스와 페어링하고, ML 모델의 훈련 속도를 단축하며, 데이터 사이언티스트를 위한 인사이트를 가속화할 수 있는 고성능 파일 시스템이 필요했습니다.
우리에겐 ML 훈련 데이터 집합에 사용할 병렬 파일 시스템이 필요했으며, 이를 고려하여 기존 파일 시스템 제품에 비해 가용성과 내구성이 더 뛰어난 Amazon FSx for Lustre를 선택했습니다. S3을 비롯한 AWS 서비스와 통합되기 때문에 고성능 파일 스토리지에 우선적으로 사용하는 옵션이 되기도 했습니다.
Toyota Research Institute 소프트웨어 엔지니어, David Fluck
Netflix
Netflix는 에피소드 드라마 '더 크라운(The Crown)'의 네 번째 시즌 제작에서 예기치 않은 문제에 봉착했습니다. VFX 후반 제작 작업이 시작될 예정일 때 COVID-19 팬데믹으로 전 세계가 봉쇄 조치에 들어갔던 것입니다. 아티스트 10명으로 구성된 Netflix의 내부 VFX 팀은 AWS의 클라우드 기반 워크플로(처리량 개선을 위한 Amazon FSx Lustre 파일 서버 포함)를 도입하여 완전한 원격 작업으로 단 8개월 만에 시즌의 10개 에피소드에 들어가는 600개 이상의 VFX 장면 촬영을 문제 없이 마칠 수 있었습니다.
Rivian은 영원히 모험으로 가득 찬 세상을 지키는 것을 사명으로 삼고 있습니다. 당사는 더 책임감 있는 방식으로 세계를 탐험해야 한다고 생각하며 지속 가능한 운송 수단으로 전환하는 과정을 흥미진진한 여정으로 바꾸겠다고 결심했습니다.
전기차 제조사인 Rivian은 촉박한 엔지니어링 일정을 준수하고 물리적 프로토타입 제작의 필요성을 최소화하기 위해 고급 모델링 기술과 시뮬레이션 기술을 활용합니다. 엔지니어는 고성능 컴퓨팅 능력을 시뮬레이션에 활용하여 새로운 컨셉을 테스트하고 새로운 설계를 시장에 빠르게 선보일 수 있게 되었습니다.
Amazon과의 파트너십을 통해 Rivian은 IT 작업이 아닌 지속 가능한 차량 개발과 배송에 집중할 수 있게 되었습니다. 또한 Amazon과의 협업으로 인해 주요 개발 애플리케이션을 온프레미스 환경보다 더 빠르게 실행하고 있습니다. 그 예로 Elements에서 56%, Siemens에서 35%, Ansys에서 20% 더 빠른 속도로 실행됩니다.
ENGIE 그룹의 자회사인 Storengy는 업계를 선도하는 천연 가스 공급업체입니다. Storengy는 전 세계 기업을 대상으로 가스 저장고, 지열 솔루션, 무탄소 에너지 생산, 저장 기술을 제공합니다.
Storengy는 생산품을 올바르게 보관하기 위해 하이테크 시뮬레이터를 사용하여 지하 가스 저장고를 평가하는데, 이는 고성능 컴퓨팅(HPC) 워크로드를 광범위하게 사용해야 하는 프로세스입니다. 이 회사는 HPC 기술을 사용하여 천연가스 발굴 및 탐사 작업을 수행하기도 합니다.
AWS 덕분에 한 번에 수백 개의 시뮬레이션을 수행할 수 있는 확장성과 고가용성을 확보하게 되었습니다. 또한 이 솔루션은 자동으로 확장 또는 축소되어 워크로드가 가장 높은 시간대를 지원하므로, HPC 환경에서 예상치 못한 문제가 발생하는 일이 없습니다.
Storengy 엔지니어, Jean-Frederic Thebault
Smartronix
Smartronix는 FSx for Lustre를 활용하여 SAS Grid 배포를 위한 안정적인 고성능 환경을 제공합니다.
Smartronix는 세계 유수의 여러 상용 기관 및 정부 기관을 대상으로 클라우드 솔루션, 사이버 보안, 시스템 통합, 전 세계 C5ISR 및 데이터 분석, 미션 중심의 엔지니어링을 제공합니다. Smartronix는 SAS Grid를 사용하여 전국의 코로나19 일일 통계를 분석하고 제공했으나, 기존의 자체 관리형 병렬 파일 시스템을 관리하고 보호하기가 어렵다는 사실을 알게 되었습니다.
AWS와 협업하고 FSx for Lustre 같은 관리형 솔루션을 활용하면서 고객에게 더 나은 서비스를 제공할 수 있게 되었습니다. 자체 관리형 파일 시스템에 비해 가용성은 더 높아지고 비용은 29% 낮아졌죠.
Smartronix, 선임 솔루션 아키텍트, Rob Mounier
Joby Aviation
Joby Aviation은 AWS를 사용하여 운송을 혁신하고 있습니다.
과제: Joby Aviation의 엔지니어는 수천 개의 복잡하고 컴퓨팅 집약적인 전산 유체 역학(CFD) 시뮬레이션을 수행하기 위해 고성능 컴퓨팅(HPC)을 사용합니다. 이러한 시뮬레이션은 각각 수백 개의 CPU 코어를 사용하며 완료하는 데 많은 시간이 소요될 수 있습니다.
해결책: Joby Aviation은 Amazon Elastic Compute Cloud(Amazon EC2) 및 Amazon FSx for Lustre를 사용하여 온프레미스 고성능 컴퓨팅 인프라보다 CFD 워크로드에서 더 빠른 결과를 얻을 수 있게 되었습니다.
동시에 수십 개의 시뮬레이션을 실행하려고 할 경우, 한 번에 몇 기가바이트의 데이터를 읽고 써야 했는데 이로 인해 모든 작업의 속도가 느려지곤 했습니다. FSx for Lustre는 이러한 용량 문제를 말끔히 해결해주었습니다. 이제 하드 드라이브의 크기를 쉽게 늘릴 수 있게 되었죠.
INEOS TEAM UK는 AWS를 사용하여 아메리카 컵(America’s Cup) 대회 출전용 보트를 설계하는 데 소요되는 시간을 단축하고 있습니다.
과제: 2018년에 결성된 INEOS TEAM UK의 목표는 세계에서 가장 오래된 국제 스포츠 대회인 아메리카 컵(America’s Cup)의 우승 트로피를 들어 올리는 것입니다. 아메리카 컵은 대회일 이전 150일 이내에만 수상 테스트를 할 수 있도록 제한하고 있으므로, 단동선(monohull) 및 포일(foil)에 대한 고성능 전산유체역학(CFD) 시뮬레이션은 성공적인 보트 설계의 핵심 요소가 되었습니다.
해결책: INEOS TEAM UK는 AWS를 사용하여 아메리카 컵 출전용 보트에 대한 수천 개의 설계 시뮬레이션을 일주일 만에 처리할 수 있게 되었으며, 이는 온프레미스 환경을 이용할 경우 한 달 이상 걸리는 것과 대비되는 결과입니다. INEOS TEAM UK는 2021년 제36회 아메리카 컵 대회에 출전했습니다. 이 팀은Amazon EC2 스팟 인스턴스에서 실행되는 HPC 환경을 사용 중입니다. 또한 이 팀은 매주 수천 개의 시뮬레이션 완료를 위한 빠른 디스크 성능을 보장하기 위해 Amazon FSx for Lustre를 사용하여 Amazon Simple Storage Service(S3) 기반의 빠르고 확장 가능하며 안전한 고성능 파일 시스템을 제공하고 있습니다.
AWS를 활용하면 해당 결과물을 파악하는 데 더 많은 시간을 할애할 수 있으므로, 설계 단계를 더욱 발전시킬 수 있습니다.
T-Mobile은 Amazon FSx for Lustre를 사용하여 연간 150만 달러를 절감하고 SAS Grid 워크로드 속도를 두 배로 늘렸습니다.
과제: T-Mobile은 자체 관리형 SAS Grid 워크로드로 인한 높은 관리 오버헤드 및 성능 문제를 겪고 있었습니다.
해결책: T-Mobile은 완전관리형 고성능 파일 시스템인 Amazon FSx for Lustre를 배포하여 SAS Grid 인프라를 마이그레이션하고 확장했습니다. 그리고 T-Mobile은 Amazon FSx와 S3의 긴밀한 통합을 활용하여 스토리지 오버헤드를 줄이고 운영을 최적화했습니다.
Amazon FSx for Lustre를 통해 SAS Grid 워크로드의 속도를 두 배로 늘리고, 총 소유 비용을 83% 절감하며, 운영 부담을 완전히 없앨 수 있었습니다. 우리 회사는 AWS와의 파트너십을 통해 우리가 가장 잘하는 일에 집중하여 고객을 위한 혁신적인 제품을 개발할 수 있게 되었습니다. 그와 동시에 FSx의 최첨단 스토리지 기능과 세계적인 수준의 AWS 호스팅 기능을 활용하고 있죠.
T-Mobile, 소프트웨어 개발 선임 관리자, Dinesh Korde
Hive VFX
Hive VFX는 스튜디오 초기 비용을 절감하고 AWS에서 클라우드 VFX 스튜디오로 운영됩니다.
과제: Hive는 전 세계의 원격 아티스트가 고품질 콘텐츠를 제작할 수 있는 소규모 독립 클라우드 스튜디오를 설립하기 위한 고성능 인프라가 필요했습니다.
해결책: Amazon S3와 통합된 완전관리형 Amazon FSx for Lustre를 사용하여 대규모 초기 투자나 사내 IT 팀의 전문 지식 없이도 AWS 컴퓨팅 리소스에 빠르게 액세스할 수 있게 되었습니다. Hive VFX는 FSx Lustre와 S3 간에 파일 데이터와 파일 권한을 원활하게 동기화하여 다량의 이미지를 저장하고 여러 국가 간에 프로젝트 데이터를 공유할 수 있었습니다.
Amazon FSx for Lustre 파일 시스템을 5분 만에 가동할 수 있으며 이 모든 작업은 AWS에서 관리합니다.
Lyell은 Amazon FSx for Lustre를 사용하여 세포 기반 암 치료 연구를 가속화하고 있습니다.
과제: Lyell은 대규모 단백질 전산 설계를 실행해야 하는 치유 세포 기반 암 치료법을 제공하고 있습니다. 이러한 워크로드는 전통적으로 온프레미스에서 실행되었지만, Lyell은 한 달에 한 번의 실험만 실행하도록 제한하고 있었기 때문에 확장성이 뛰어나고 비용 효율적인 솔루션이 필요했습니다.
해결책: 파일 시스템을 FSx for Lustre로 마이그레이션한 이후 데이터 사이언티스트들은 EC2 인스턴스와 Amazon FSx 파일 시스템으로 구성된 수천 개의 HPC 클러스터를 스핀업 및 스핀다운할 수 있게 되었습니다. 따라서 이제 처리량이 많은 실험을 신속하게 실행할 수 있으며, 워크로드 기간에 대한 컴퓨팅 및 스토리지 비용만 지불하면 됩니다.
Amazon for FSx Lustre는 차세대 암 치료제 개발을 위한 연구를 가속화합니다. FSx를 사용한 결과, 실험 수행 시간이 몇 주에서 몇 시간으로 단축되었고 연구진은 이전보다 더 많은 가설을 테스트할 수 있게 되었습니다. 수만 개의 컴퓨팅 노드에서 실행되는 워크로드는 이제 FSx를 사용하여 매우 복합적인 집합의 S3 데이터에 액세스할 수 있습니다.
Lyell Immunopharma, 데이터 분석 엔지니어링 책임자, Anish Kejariwal
BlackThorn Therapeutics
BlackThorn Therapeutics는 FSx for Lustre를 통해 인사이트 도출 시간을 단축합니다.
과제: 일반적인 DIY 클라우드 파일 시스템을 사용하여 자기공명영상(MRI) 데이터를 처리할 경우 많은 리소스와 시간이 소요되었습니다. BlackThorn은 데이터 과학 및 기계 학습 워크플로를 단순화하는 데 도움이 되는 컴퓨팅 집약적인 공유 파일 스토리지 솔루션이 필요했습니다.
해결책: Amazon FSx for Lustre는 Amazon S3 및 Amazon SageMaker와 통합되어 ML 훈련 데이터 집합을 빠르게 처리할 뿐만 아니라, Amazon EC2 인스턴스를 사용하여 컴퓨팅에 원활하게 액세스할 수 있습니다.
FSx for Lustre를 사용하여 고성능 MRI 데이터 처리 파이프라인을 만들 수 있었습니다. ML 기반 워크플로의 데이터 처리 시간이 며칠이나 몇 주가 아닌 몇 분으로 단축되었죠.
Oscar Rodriguez, 혁신 및 기술 부문 선임 책임자, BlackThorn Therapeutics
Qubole
Qubole은 Amazon FSx for Lustre를 통해 비용을 절감하는 동시에 데이터 내구성을 개선합니다.
과제: Qubole은 고객을 위한 분석 및 AI/ML 워크로드를 처리할 고성능 스토리지 솔루션을 찾고 있었습니다. EC2 스팟 플릿에 보관된 중간 데이터를 쉽게 저장하고 처리할 수 있는 기능이 필요했습니다.
해결책: Qubole은 Amazon FSx for Lustre를 사용하여 병렬 고속 파일 시스템을 통해 중간 데이터를 저장하고 처리했습니다.
당사의 사용자들이 겪는 가장 큰 두 가지 문제인 높은 비용과 중간 데이터 손실은 유휴 EC2 인스턴스와 EC2 스팟 인스턴스를 사용하여 Hive 및 Spark와 같은 분산 처리 프레임워크에서 생성된 중간 데이터를 처리하고 저장하는 데서 비롯되었습니다. 고성능 파일 시스템인 Amazon FSx for Lustre를 사용하여 중간 데이터를 없애는 방식으로 이 문제를 해결할 수 있었습니다. 이제 사용자는 유휴 인스턴스를 유지하기 위해 비용을 지불할 필요가 없으며 중단된 EC2 스팟 노드의 영향을 받지 않습니다. 사용자는 Amazon FSx를 통해 총 비용을 30% 절감할 수 있게 되었습니다.
.2be45d7b37356de2fc20dff50a229f03547f1fd1.png)
