舊金山州立大學資訊工程學系有大約 400 名大學生和 100 名研究生,教育和研究工作並進。該系目前正與 Stanford Helix Group 合作,並得到國家衛生研究院的支援 (NIH Grant LM05652),執行一項名為 FEATURE 的機器學習專案。

FEATURE 運用機器學習來預測蛋白質和其他三維 (3D) 分子結構中的功能位點。Dragutin Petkovic 教授解釋:「機器學習的大規模平行最佳化過程中,需要將支援向量機器 (SVM) 演算法應用至成千上萬個向量所組成的數千個訓練集,透過使用 k 等分交叉驗證的暴力平行化網格搜尋,找出最佳的 SVM 參數。這套最佳化過程必須分別重複執行多次相似的操作。」下面的圖 1 說明 FEATURE 專案流程。

舊金山州立大學 AWS 案例研究專案詳細資訊

圖 1:FEATURE 專案詳細資訊

FEATURE 和其他創新的科學專案一樣,非常需要高效能的運算能力。該專案的研究科學家們發現,深入探索生物分子所需的運算能力,很快就超過了該大學現有設備的能力。舊金山州立大學的運算資源是共享的,高需求意味著研究人員必須重新調整其研究問題的規模和範圍,否則就必須面臨可用資源的長期延遲。此外,這些限制會導致長時間等待結果,進而對科學家們能夠執行的實驗加上硬性限制。

科學家們每隔一段時間才需要用到運算資源,為了非經常性使用而購買與維護大規模的資源,並不符合成本效益。研究團隊考慮各種選項之後,發現 Amazon Web Services (AWS) 所提供的運算資源隨需存取功能正好符合他們的用途。Petkovic 教授說:「相較於在內部架設大型伺服器,Amazon Elastic Compute Cloud (Amazon EC2) 的按用量付費模型是最合適的選項。」

研究團隊使用 C、C++、Perl 和 Python 以及其他工具來建立 FEATURE。他們用來將叢集部署到 Amazon EC2 的工具名為 MIT StarCluster,是一套針對科學與技術高效能運算所設計的自動化佈建工具。蛋白質資料銀行和蛋白質結構資料庫會載入 Amazon Elastic Block Store (Amazon EBS) 磁碟區,以便管理與重複使用,並使用 Amazon Linux 自訂機器映像 (Amazon Linux AMI) 來進行存取。圖 2 呈現 FEATURE 專案的架構。

舊金山州立大學 AWS 架構圖

圖 2:FEATURE 專案架構

為了評估 FEATURE 專案在 AWS 上的效能,研究團隊使用軟體評測和 I/O 基準測試來測量效能指標。Petkovic 說明:「本團隊有一個 40 節點的小型內部叢集。我們將此叢集和雲端進行比較,發現 Amazon EC2 的單位成本 CPU 週期數大幅領先,並且提供在需要時擴展的能力。以前要花上幾週時間的實驗,現在只需要執行一個晚上。這表示我們的科學家們可以持續進行實驗,而不需要停下來等待結果。AWS 大幅減少了我們在科學探究過程中的停滯時間。」

Petkovic 教授估計他們的運算成本已經降低了大約 20 倍。他說明:「我們估計一個 40 節點的小型內部叢集,每個運算單位每小時的執行成本為 1.71 USD。相較之下,Amazon EC2 每個等效彈性運算單位 (ECU) 每小時的成本只需要 0.08 USD。」此外,Petkovic 及其團隊還能夠使用 AWS 提供的帳單提醒及其他成本最佳化工具來規劃與管理使用服務的成本。

Petkovic 說:「AWS 提供高效能資源的隨需存取功能,這讓我們能夠專注於科學,而非繁重的伺服器基礎設施維護。AWS 幫助我們提高了機器學習實驗規模和範圍的上限。」

要進一步了解雲端中的基因體資料處理,請瀏覽我們的 AWS 基因體詳細資訊頁面

要了解 AWS 如何協助您的高效能運算需求,請瀏覽我們的 HPC 詳細資訊頁面