紐約大學 (NYU) 醫療資訊與生物資訊學中心高效能運算設施於 2009 年設立,負責為 NYU Langone 醫學中心的研究人員提供第一線的運算能力。該設施使醫療資訊及生物資訊學研究人員能夠與世界各地的協作夥伴共同存取運算能力、資料儲存體、超級運算資源以及資料共用,藉此加速探索與創新。

高效能運算設施技術總監 Stratos Efstathiadis 博士如此描述設施的主要活動:「我們的設施會從新一代的定序儀、顯微鏡、投影片掃描器、質譜儀及其他研究設備擷取大量資料。設施必須存放、整理,支援並容許分析此資料,同時提供資源讓科學家用來執行模擬並產生模型。」

這些分析與模擬任務往往需要執行好幾天,甚至好幾個星期。因此,雖然本設施在醫療中心當中擁有數一數二的規模,但偶爾還是需要額外的運算資源,以便研究人員更快速地分析資料。

還有一項問題比分析資料所需的時間更難處理,就是傳輸資料所需的時間。Efstathiadis 表示:「傳輸資料是一大瓶頸;我們的資料集龐大無比,移動資料所需的時間往往比產生資料還長。由於我們的協作夥伴分佈在世界各地,如果無法移動資料,他們就無法運用資料。」

AWS 雲端搭配由 AWS 託管及支援的免費檔案傳輸服務 Globus Online,提供了一個將龐大資料集傳輸至 Amazon EC2 的可靠管道。這套解決方案能以高達每秒 50 MB 的速度平行移動檔案。Efstathiadis 提到:「這很接近我們現場傳輸的速度,可以說根本沒有減速!」

Efstathiadis 博士決定使用 AWS 的原因,一方面是 Amazon EC2 提供的執行個體選擇,另一方面則是醫學中心研究人員原本就已經熟悉這套服務。Efstathiadis 補充說明:「另外,也因為 Globus Online 可用來輕鬆傳輸資料到 Amazon EC2,所以使用這套服務將龐大的資料集放上雲端環境以供研究人員存取使用,對我們而言是很有吸引力的選擇。」其他工具如 SCP 等等,根據 Efstathiadis 的說法:「耗費太多時間,而且會遭到機構防火牆封鎖,導致我們能使用的工具種類受限。使用 Globus Online 則能提升輸送量而不減損可用性。」

該設施也使用 Amazon S3 來儲存資料。Efstathiadis 博士說明:「Globus Online 可用來輕鬆將資料從本機儲存體移至 Amazon S3 儲存體,只要部署伺服器映像、安裝 Globus Online 終端節點,然後將檔案移入該處即可。」

HPC 設施藉由雲端,擴充了能提供給 NYU 研究人員的服務內容,現在研究人員可以隨時存取需要的資源。雲端也有助於研究人員協作;透過 Amazon S3,他們能輕鬆將研究結果與資料集分享給世界各地的研究人員。

共享資料是一項重要的元素。Efstathiadis 表示:「我們的研究人員有許多位於其他機構的協作夥伴;只要上傳資料到 Amazon S3,其他地點的研究人員就能存取資料另行利用。所以這套解決方案不只能加快 NYU 研究人員的分析管道,還能一併協助其他研究人員加快分析。」

NYU 醫療資訊與生物資訊學中心的 HPC 設施持續尋找新方法,減低執行研究的難度與成本。該設施的目標是建立可擴展的運算資源,以支援單一設施無法提供的運算能力;採用雲端使得該設施成功朝目標邁進。

要進一步了解雲端中的基因體資料處理,請瀏覽我們的 AWS 基因體詳細資訊頁面

要了解 AWS 如何協助您的高效能運算需求,請瀏覽我們的 HPC 詳細資訊頁面