샌프란시스코 주립 대학 사례 연구

샌프란시스코 주립 대학 컴퓨터 공학과에는 약 400명의 학부생과 100명의 대학원생이 있으며, 교육과 연구를 모두 수행합니다. 이 학과는 현재 Stanford Helix Group과의 협력 하에 미국 국립 보건원(NIH Grant LM05652)의 지원을 받아 FEATURE라는 기계 학습 프로젝트를 진행하고 있습니다.

FEATURE는 기계 학습을 이용해 단백질의 기능적 부위와 기타 3차원(3D) 분자 구조를 예측합니다. Dragutin Petkovic 교수는 "기계 학습의 대규모 병렬 최적화에는 수십만 개의 벡터로 이루어진 수천 개의 훈련 집합에 대한 SVM(support vector machine) 알고리즘 적용이 필요합니다. 최적의 SVM 파라미터는 k-겹 교차 검증을 이용한 무작위 병렬화 격자 탐색을 통해 발견됩니다. 이 최적화에는 유사한 작업을 독립적으로 여러 번 반복하는 것이 필요합니다."라고 설명합니다. 

여느 혁신적 과학 프로젝트도 마찬가지지만 FEATURE도 고성능 컴퓨팅에 대한 채워지지 않는 갈망이 있으며, 프로젝트의 연구 과학자들은 이 대학의 시설로는 생체 분자의 상세한 측면을 탐구하기 위한 계산 수요를 곧 감당할 수 없게 될 것으로 판단했습니다. 샌프란시스코 주립 대학에서는 컴퓨팅 리소스가 공유되고 있으며, 수요가 많은 탓에 연구자들이 질문의 규모와 범위를 조정하거나 가용 리소스를 한참 기다려야 했습니다. 게다가 이런 제약으로 인해 결과가 나오기까지 오래 기다려야 했고 과학자가 할 수 있는 실험에 임의적인 한도를 둘 수밖에 없었습니다.

과학자에게 계산 리소스가 필요한 시기는 정해져 있었고, 불규칙적 사용을 위해 대규모 리소스를 구입하고 유지하는 것은 비용 대비 효과가 떨어졌습니다. 여러 방안을 고려하던 연구 팀은 Amazon Web Services(AWS)가 제공하는 계산 리소스에 대한 온디맨드 액세스가 목적에 부합한다는 것을 깨달았습니다. Petkovic 교수는 "자체 대규모 서버를 보유하는 것보다는 Amazon Elastic Compute Cloud(Amazon EC2)의 종량제 모델이 훨씬 적합한 방안이었습니다."라고 말합니다.

연구 팀은 C, C++, Perl, Python 등의 도구를 사용하여 FEATURE를 구축했습니다. 이들은 과학 기술 고성능 컴퓨팅을 위해 구축된 자동 프로비저닝 도구인 MIT StarCluster를 사용하여 Amazon EC2에 클러스터를 배포했습니다. 간편한 관리와 재사용을 위해 Protein Databank와 단백질 구조 데이터베이스를 Amazon Elastic Block Store(Amazon EBS) 볼륨에 로드했고, Amazon Linux 맞춤형 머신 이미지(Amazon Linux AMI)를 사용하여 액세스했습니다.

연구 팀은 AWS에서의 FEATURE 프로젝트 성능을 평가하기 위해 소프트웨어 프로파일링과 I/O 벤치마킹을 사용해 성능 지표를 측정했습니다. Petkovic는 "연구 팀에는 작은 40노드짜리 자체 클러스터가 있습니다. 우리는 이걸 클라우드와 비교했는데, Amazon EC2가 단위 비용당 CPU 주기 면에서 엄청나게 우월할 뿐 아니라 필요할 때 확장 능력도 제공한다는 것을 알게 됐습니다. 몇 주가 걸리던 실험이 이제는 밤 사이에 실행됩니다. 즉, 우리 과학자들이 늘 연구에 매달리고 결과를 기다릴 필요가 없다는 거죠. AWS는 과학적 조회에 소요되는 시간을 크게 줄였습니다."라고 설명합니다.

Petkovic 교수는 컴퓨팅 비용이 약 20분의 1로 줄었다고 추산합니다. "우리 추산으로는 소규모의 40노드짜리 자체 클러스터를 작동하는 데 한 시간에 컴퓨터 단위당 1.71 USD가 듭니다. 이에 비해 Amazon EC2의 경우, 한 시간에 동등한 ECU(elastic computer unit)당 비용이 0.08 USD에 불과합니다."라고 그는 설명합니다. 뿐만 아니라 Petkovic의 연구 팀은 AWS가 제공하는 결제 알림 및 기타 비용 최적화 도구를 사용하여 서비스 이용 비용을 계획하고 관리할 수 있습니다.

"AWS가 제공하는 고성능 리소스에 대한 온디맨드 액세스를 통해 힘들게 서버 인프라를 유지 관리하는 대신 과학에 집중할 수 있게 되었습니다. AWS는 기계 학습 실험의 규모와 범위를 획기적으로 넓히도록 도와줍니다."라고 Petkovic는 말합니다.