AWS의 HPC를 사용하여 신약 및 치료제 개발을 혁신한 23andMe

유전체학 및 생명 공학 회사인 23andMe는 고객에게 직접 유전자 검사 기회를 제공하여 고객이 본인의 유전자에 대한 중요한 인사이트를 얻을 수 있도록 합니다. 23andMe는 페타바이트 규모의 데이터를 효율적으로 관리하기 위해 자사 고성능 컴퓨팅(HPC)의 확장성과 유연성을 높여야 했습니다. 이 회사는 기존에 온프레미스 솔루션을 사용해왔지만 2016년부터는 Amazon Web Services(AWS)를 사용하여 중요한 데이터를 저장하기 시작했습니다. 그리고 2021년, 단 4개월만에 클라우드로 완전히 마이그레이션했습니다. 어떠한 워크로드에도 안전하고 크기 조정이 가능한 컴퓨팅 용량을 제공할 수 있는 Amazon Elastic Compute Cloud(Amazon EC2)와 개발자, 과학자 및 엔지니어가 AWS에서 수십만 건의 배치 컴퓨팅 작업을 효율적으로 손쉽게 실행할 수 있게 하는 AWS Batch 등의 AWS HPC 서비스를 도입한 이후 23andMe의 확장성과 유연성이 개선되고 비용이 최적화되었습니다.

23andMe는 수많은 엔터프라이즈 고객을 클라우드로 마이그레이션한 AWS의 경험을 바탕으로 한 포괄적이고 검증된 클라우드 마이그레이션 프로그램인 AWS Migration Acceleration Program(AWS MAP)을 이용했습니다. 23andMe는 AWS MAP을 이용하여 단 4개월 만에 원활하게 마이그레이션할 수 있었습니다. de Leon은 “AWS MAP 덕분에 저희는 전면적으로 빠르게 전환할 수 있었습니다. 보통은 이런 식으로 전환하면 비용이 많이 들지만 AWS MAP이 그 문제를 해결해주었습니다”라고 말합니다. 23andMe는 자사 데이터 센터의 모든 요소를 AWS의 클라우드로 마이그레이션했습니다. AWS로 마이그레이션한 지 1년이 지나 23andMe의 AWS MAP 프로그램이 끝나가는 지금, 이 팀은 AWS 서비스 도입을 통해 하이브리드 방식과 동등하거나 더 나은 가격 대비 성능을 실현하고 있습니다.

과학자들의 파일 기반 홈 디렉터리를 관리하는 것은 또 다른 과제가 되었습니다. 이 문제를 해결하기 위해 23andMe는 AWS 파트너인 Weka의 도움을 받았습니다. WekaIO 병렬 파일 시스템은 기능적이고 비용 효율적이며 Amazon S3와 호환됩니다. 이 시스템 덕분에 23andMe의 내부 팀은 고객의 경험을 저해하지 않으면서 변경 사항을 구현할 수 있었습니다. 마이그레이션이 완료되자 23andMe는 Amazon EC2 C5 인스턴스와 같은 HPC용 AWS 서비스를 활용하기 시작했습니다. Amazon EC2 C5 인스턴스는 컴퓨팅 집약적인 고급 워크로드를 실행하는 데 최적화된 비용 효율적인 고성능 인스턴스로, 뛰어난 가격 대비 컴퓨팅 성능을 제공합니다. 이 유형의 Amazon EC2 인스턴스를 선택한 이유는 이전 컴퓨팅 리소스와 가장 유사하기 때문입니다.

23andMe는 곧 다양한 Amazon EC2 인스턴스 유형을 사용하는 데 따른 이점을 체감할 수 있었습니다. 23andMe의 인프라 엔지니어링 그룹 관리자인 Justin Graham은 “Amazon EC2의 다양한 인스턴스 중에서 리소스에 가장 적합한 인스턴스를 찾아 높은 효율성을 실현할 수 있습니다” 라고 말합니다. 2022년 현재, 이 회사는 메모리 집약적 워크로드의 성능, 가격 대비 성능 및 비용을 개선해주는 차세대 메모리 최적화 인스턴스인 Amazon EC2 X2i 인스턴스를 비롯하여 다양한 인스턴스 유형을 유연하게 사용하고 있습니다. 또한 23andMe는 적절한 크기 조정과 인스턴스 매칭을 통해 리소스에 사용하기에 적합한 인스턴스 유형을 결정해주는 AWS Batch를 사용하여 가격 대비 성능을 최적화하고 있습니다.

23andMe는 실제 워크로드에 따라 컴퓨팅 용량을 온디맨드로 스케일 업한 다음 다시 스케일 다운할 수 있습니다. de Leon “그 규모를 단편적으로 설명하자면, 작업량이 최대일 때는 컴퓨팅 작업을 실행하는 데 한 번에 8만 개 이상의 가상 CPU가 사용되었습니다”라고 말합니다. 또한 Amazon EC2 인스턴스를 사용하면서 23andMe 연구원들의 리소스 경합이 사라졌습니다. Graham은 “최근에는 3주로 계획된 프로덕션 워크로드를 예정보다 33% 앞당겨 완료했습니다. AWS로 마이그레이션한 결과, 연구원들에게 컴퓨팅 리소스를 제공하는 데 있어 독보적인 능력을 확보하게 되었습니다”라고 말합니다.

23andMe는 AWS에서 HPC 서비스를 사용하는 데 따른 이러한 이점을 누리면서, 초기 지출 목표도 지킬 수 있었습니다. de Leon은 “저희의 목표는 비용을 같은 수준으로 유지하면서 유연성, 역량 및 가치를 확보하는 것이었습니다. 비용 절감에 있어서는 가격 자체보다는 지출한 만큼의 결과를 얻는 것이 더 중요합니다”라고 말합니다. 23andMe는 클라우드에서 데이터베이스를 간편하게 설치, 운영 및 확장할 수 있는 관리형 서비스 모음인 Amazon Relational Database Service(Amazon RDS)와 Amazon EC2를 비롯한 다양한 AWS 서비스를 사용하여 비용을 더욱 최적화했습니다. 23andMe는 AWS에 올인하고, 워크로드의 가격 대비 성능 최적화를 계속 추구하는 것을 목표로 하고 있습니다.

23andMe는 기존 환경을 거의 변경 없이 마이그레이션할 수 있었고, 시간이 지나면서 솔루션에 더 많은 AWS 서비스를 통합하기 시작했습니다. 이 회사는 Amazon EC2에서 실행되는 클라우드 워크로드에 대해 뛰어난 가격 대비 성능을 제공하는 AWS Graviton 프로세서와 같은 서비스를 살펴보면서 AWS를 사용하여 비용을 최적화할 추가적인 방법을 모색 중입니다. 또한 온디맨드 컴퓨팅에 필요한 리소스를 유지하면서 비용을 최적화할 수 있는 기회를 찾고 있습니다. de Leon은 “마이그레이션한 지 약 10개월이 지났는데, 지금 저희의 최종 목표는 아이디어 단계에서 검증 단계까지 프로세스의 진행 속도를 높이는 것입니다. 연구원들이 더 효율적으로 빠르게 작업을 수행할 수 있게 되었고, 앞으로 연구에서 혁신적이고 중대한 진전이 있을 것으로 기대하고 있습니다”라고 말합니다.