Amazon EC2 P3 執行個體

使用強大的 GPU 來加速機器學習和高效能運算應用程式

Amazon EC2 P3 執行個體提供雲端環境的高效能運算技術,配備高達 8 個 NVIDIA® V100 Tensor 核心 GPU 和 100 Gbps 的網路輸送量,能支援機器學習和 HPC 應用程式。每個執行個體可提供高達 1 petaflop 的混合精度,能大幅加快機器學習和高效能運算應用的速度。經證實,Amazon EC2 P3 執行個體可將機器學習訓練時間從數天縮短至數分鐘,並使高效能運算執行模擬的次數提升 3-4 倍。

Amazon EC2 P3dn.24xlarge 執行個體為目前最新推出的 P3 系列執行個體,網路頻寬較 P3.16xlarge 執行個體提升 4 倍,可讓分散式機器學習和 HPC 應用程式得到最佳化的使用效能。這些執行個體可提供高達 100 Gbps 的聯網輸送量,並搭載 96 個客製化 Intel Xeon 可擴充處理器 (Skylake) vCPU、8 個 NVIDIA® Tesla® V100 核心 GPU、32 GiB 記憶體,以及 1.8 TB 容量的本機 NVMe 型 SSD 儲存空間。P3dn.24xlarge 執行個體還支援 Elastic Fabric Adapter (EFA),可加速使用 NVIDIA Collective Communications Library (NCCL) 的分散式機器學習應用程式。EFA 可擴展至數千個 GPU,顯著提高深度學習培訓模型的輸送量和可擴展性,從而實現更快的結果。

Amazon EC2 P3 執行個體概觀 (2:18)

優勢

將機器學習的訓練時間從幾天縮短到幾分鐘

對於需要加速 ML 應用的資料科學家、研究人員和開發人員而言,Amazon EC2 P3 執行個體是能夠在雲端中完成 ML 訓練的最快選擇。Amazon EC2 P3 執行個體擁有高達 8 個最新一代 NVIDIA V100 Tensor 核心 GPU,並可提供高達 1 PFLOPS 的混合精度效能,能大幅加快 ML 工作負載的速度。快速的模型訓練能讓資料科學家和機器學習工程師更快速地重複利用、訓練更多模型,以及提高準確性。

業界最具成本效益的 ML 訓練解決方案

最強大的雲端 GPU 執行個體,結合靈活的定價計劃,可提供極具成本效益的機器學習訓練解決方案。如同 Amazon EC2 執行個體,P3 執行個體可用隨需、預留或 Spot 執行個體形式提供。Spot 執行個體能善用未使用的 EC2 執行個體容量,大幅降低您的 Amazon EC2 成本,比隨需價格節省高達 70% 的費用。

靈活且強大的高效能運算

與內部部署系統不同,Amazon EC2 P3 執行個體上執行的高效能運算,可提供幾乎無限的容量來擴展您的基礎設施,還能根據工作負載需求的變化,輕鬆靈活地調動資源。您可以設定資源以滿足應用程式的需求,並在幾分鐘內啟動 HPC 叢集,而且只需按使用量付費。

立即開始建置

使用預先封裝的 Docker 映像檔,在幾分鐘內完成部署深度學習環境。這些映像檔包含所需的深度學習架構程式庫 (目前是 TensorFlow 和 Apache MXNet) 和工具,並且經過徹底測試。您可以輕鬆在這些映像檔之上加入自己的程式庫和工具,以便對監控、合規和資料處理有更高的控制權。此外,Amazon EC2 P3 執行個體可與 Amazon SageMaker 緊密搭配使用,提供功能強大且直覺式的完整機器學習平台。Amazon SageMaker 是一個全受管的機器學習平台,可讓您快速輕鬆地建立、訓練以及部署機器學習模型。此外,Amazon EC2 P3 執行個體可整合 AWS Deep Learning Amazon Machine Images (AMI),其中包含已預先安裝的熱門深度學習架構。這可讓您更快且輕鬆地開始進行機器學習訓練和推論。

可擴展的多節點機器學習訓練

您可以使用具有高達 100 Gbps 網路輸送量的多個 Amazon EC2 P3 執行個體來快速訓練機器學習模型。更高的網路輸送量可讓開發人員消除資料輸送的瓶頸,並有效擴展跨多個 P3 執行個體的模型訓練任務。透過使用 16 個 P3 執行個體,客戶能夠在短短 18 分鐘內將 ResNet-50 (常見的影像分類模型) 訓練到業界標準精準度。在此之前,大多數 ML 客戶並無法達到這樣的效能程度,由於這需要大量的資本支出投資來建置現場部署 GPU 叢集。但隨著採用 P3 執行個體及隨需用量模型的可用性,現在所有開發人員和機器學習工程師均可實現令人驚豔的效能優點。此外,P3dn.24xlarge 執行個體支援 Elastic Fabric Adapter (EFA),可利用 NVIDIA Collective Communications Library (NCCL) 擴展至數千個 GPU。

支援所有主要的機器學習架構

Amazon EC2 P3 執行個體支援所有主要的機器學習架構,包括 TensorFlow、PyTorch、Apache MXNet、Caffe、Caffe2、Microsoft Cognitive Toolkit (CNTK)、Chainer、Theano、Keras、Gluon 以及 Torch。您可以靈活選擇最適合您應用需求的架構。

客戶案例

Airbnb

Airbnb 使用機器學習來優化搜尋建議,並為旅館老闆改進動態定價指南,這兩方面都可以轉化為更高的訂房轉換率。使用 Amazon EC2 P3 執行個體,Airbnb 有能力更快地執行訓練工作負載、更常重複使用、建立更好機器學習模型並降低成本。

Celgene

Celgene 是一家全球生物科技公司,致力於開發將治療方案與病患匹配的定向療法。該公司在 Amazon EC2 P3 執行個體上執行其 HPC 工作負載,以進行新一代基因序列和化學模擬。藉由此運算能力,Celgene 可以訓練深度學習模型來區分惡性腫瘤細胞和良性細胞。在使用 P3 執行個體之前,大概花費兩個月的時間執行大規模運算任務,而現在僅需 4 小時。AWS 技術讓 Celgene 能夠加快針對癌症和炎性疾病卡發藥物治療。

Hyperconnect 專注於將以機器學習為基礎的新技術運用於圖像和影片處理,並且是第一家開發用於行動平台 webRTC 的公司。

「Hyperconnect 在其視訊通訊應用程式上使用以 AI 為基礎的圖像分類技術,來識別使用者所在的當前環境。透過將內部部署工作站遷移到多個 Amazon EC2 P3 執行個體並使用 Horovod,我們將 ML 模型的訓練時間從一周以上減少到不到一天。透過將 PyTorch 作為我們的機器學習框架,我們能夠快速開發模型並利用來自開放原始碼社群的庫。」

Hyperconnect AI 實驗室主任 Sungjoo Ha

閱讀完整的案例研究»

NerdWallet 是一家個人金融新創公司,提供的工具和建議使客戶可以輕鬆償還債務、選擇最佳的金融產品和服務,並實現主要的人生目標,如購房或退休儲蓄。該公司高度依賴資料科學和機器學習 (ML) 來將客戶與個人化金融產品聯繫起來。

使用 Amazon SageMaker 和具有 NVIDIA V100 Tensor Core GPU 的 Amazon EC2 P3 執行個體,還提高了 NerdWallet 的靈活性和效能,並減少了資料科學家訓練 ML 模型所需的時間。「過去,我們要花幾個月的時間才能推出並迭代模型;現在只需要幾天。」

NerdWallet 高級工程經理 Ryan Kirkman

閱讀完整的案例研究 »

Aon 是品質系統解決方案的領導者,其 PathWise 是以雲端為基礎的 SaaS 應用套件,專門用於企業風險管理建模,可為一系列客戶提供快速、可靠、安全的隨需服務。

「Aon 的 PathWise Solutions Group 提供了一種風險管理解決方案,使我們的客戶能夠利用最新技術來快速解決當前的關鍵保險挑戰,例如管理和測試避險策略、監管和經濟預測以及預算。自 2011 年以來,PathWise 在生產中一直在 AWS 上執行,如今,它使用 Amazon EC2 P 系列執行個體來加速運算,以在不斷前進和發展的市場中為全球客戶解決這些挑戰。」

PathWise Solutions Group 總裁兼執行長 Peter Phillips

閱讀案例研究 »

Pinterest

Pinterest 在 AWS 上的 P3 執行個體中使用混合精確度訓練,以加快深度學習模型從訓練速度,而且還使用這些執行個體來更快推論這些模型,以便為使用者提供快速和獨特的探索體驗。Pinterest 使用 PinSage (透過使用 AWS 上的 PyTorch 而構建)。此 AI 模型根據特定的主題將影像組合到一起。平台上擁有 30 億影像,因而有 180 億種連接影像的不同關聯。這些關聯協助 Pinterest 全盤了解主題、樣式,以及提供更個人化的使用者體驗。

Salesforce

Salesforce 將機器學習運用在 Einstein Vision,讓開發人員能夠將影像辨識功能應用在視覺搜尋、品牌偵測和產品識別等使用案例。Amazon EC2 P3 執行個體可讓開發人員更快地訓練深度學習模型,以便更迅速地實現機器學習目標。

Schrodinger

Schrodinger 使用高效能運算 (HPC) 開發預測模型,以擴大探索和優化的規模,並讓我們的客戶能夠更快地將救命藥物推向市場。相較於 P2 執行個體,Amazon EC2 P3 執行個體可讓 Schrodinger 在一天內執行四倍的模擬。 

Subtle Medical 是一家醫療保健技術公司,致力於透過創新的深度學習解決方案,提高醫學成像效率和患者體驗。它的團隊由來自史丹佛大學、麻省理工學院、德州大學安德森癌症中心等的著名影像科學家、放射科醫師和 AI 專家組成。

「醫院和影像中心希望採用這種解決方案,而不需要給 IT 部門增加負擔,不需要他們獲取 GPU 專業知識以及建置和維護昂貴的資料中心或小型雲端。他們希望以最少的工作量和投資來成功完成部署……AWS 做到了這一點。」

Subtle Medical 的創始人兼執行長 Enhao Gong

閱讀完整的案例研究»

Western Digital

Western Digital 使用 HPC,為材料科學、熱流動、磁性和資料傳輸執行數以萬計的模擬,以提高磁碟機和儲存解決方案的效能和品質。根據早期的測試,相較於之前部署的解決方案,P3 執行個體可讓工程團隊將執行模擬的速度提高至少三倍。 

Amazon EC2 P3 執行個體和 Amazon SageMaker

訓練和執行機器學習模型最快的方法

Amazon SageMaker 是一種全受管服務,可用來建立、訓練和部署機器學習模型。與 Amazon EC2 P3 執行個體搭配使用時,客戶可以輕鬆擴展到數十、數百或數千個 GPU,這樣便能更快速地訓練任何規模的模型,無須擔心設定叢集和資料管道。您也可以輕鬆地在 Amazon SageMaker 中存取用於訓練和託管工作流程的 Amazon Virtual Private Cloud (Amazon VPC) 資源。藉由這項功能,您可以使用只能透過 VPC 存取的 Amazon Simple Storage Service (Amazon S3) 儲存貯體來存放訓練資料,以及存放和託管源於訓練程序的模型成品。除了 S3 之外,模型還可以存取 VPC 內包含的所有其他 AWS 資源。進一步了解

建立

使用 Amazon SageMaker 輕鬆建立機器學習模型,並為模型訓練做好準備。Amazon SageMaker 提供了快速連接至訓練資料所需的一切元件,還能針對您的應用需求選擇及最佳化最適合的演算法與架構。Amazon SageMaker 包含託管型 Jupyter 筆記本,方便您探索及視覺化存放在 Amazon S3 的訓練資料。  您也可以使用筆記本執行個體編寫程式碼來建立模型訓練任務、將模型部署到 Amazon SageMaker 託管,以及測試或驗證模型。

訓練

您只需在主控台按一下滑鼠或者使用簡單的 API 呼叫,就能開始訓練您的模型。Amazon SageMaker 已預先設定最新版本的 TensorFlow 和 Apache MXNet,並提供 CUDA9 程式庫支援以最佳化 NVIDIA GPU 效能。此外,超參數優化可以聰明地調整模型參數的不同組合,這樣便能自動調整模型,從而快速取得最準確的預測結果。對於較大規模的需求,您可以擴展到數十個執行個體以更快地建立模型。

部署

訓練結束後,您可以使用一鍵式部署,跨多個可用區域將模型部署到自動調整規模 Amazon EC2 執行個體。一旦投入生產,Amazon SageMaker 會使用內建的 Amazon CloudWatch 監控和記錄功能代您管理運算基礎設施,以執行運作狀態檢查、套用安全性修補程式,以及執行其他例行維護。

 

Amazon EC2 P3 執行個體和 AWS 深度學習 AMI

預先安裝的開發環境,快速開始建立深度學習應用程式

對於有更多客製化需求的開發人員,可使用 AWS 深度學習 AMI 來代替 Amazon SageMaker,該 AMI 可為機器學習從業人員和研究人員提供各種基礎設施和工具,以加速雲端中各種規模的深度學習。您可以快速啟動已預先安裝常用深度學習架構 (例如 TensorFlow、PyTorch、Apache MXNet、Microsoft Cognitive Toolkit、Caffe、Caffe2、Theano、Torch、Chainer、Gluon 和 Keras) 的 Amazon EC2 P3 執行個體,以訓練複雜的自訂 AI 模型、試驗新的演算法,或學習新的技能和技術。進一步了解 >>

Amazon EC2 P3 執行個體和高效能運算

使用 AWS 上的 HPC 功能解決大型運算問題並取得全新洞見

Amazon EC2 P3 執行個體是執行工程模擬、計算金融、地震分析、分子建模、基因體、轉譯和其他 GPU 運算工作負載的理想平台。高效能運算 (HPC) 可讓科學家和工程師解決這些複雜、運算密集的問題。HPC 應用程式通常需要高速網路效能、快速儲存、大量記憶體、超強運算能力,也可能需要以上所有特點。AWS 透過在雲端執行 HPC,並能擴展到超過大部分內部部署環境實際可行的大量平行任務,讓您加快研究速度,又能縮短得出結果的時間。例如,P3dn.24xlarge 執行個體支援 Elastic Fabric Adapter (EFA),可讓 HPC 應用程式利用訊息傳遞介面 (MPI) 擴展至數千個 GPU。AWS 提供針對特定應用程式優化的解決方案來降低成本,無須投資大量資本。進一步了解 >>

支援 NVIDIA RTX Virtual Workstation

NVIDIA RTX Virtual Workstation AMI 使用強大的 P3 執行個體搭配 AWS 雲端中執行的 NVIDIA Volta V100 GPU,交付高圖形效能。這些 AMI 已預先安裝最新的 NVIDIA GPU 圖形軟體和最新的 RTX 驅動程式和 NVIDIA ISV 認證,並支援高達四個 4K 桌面解析度。採用 NVIDIA V100 GPU 的 P3 執行個體與 RTX vWS 結合,可在雲端交付高效能工作站,其中包含高達 32 GiB 的 GPU 記憶體、快速光線追蹤和 AI 驅動轉譯功能。

全新的 AMI 可在 AWS Marketplace 取得並支援 Windows Server 2016Windows Server 2019

Amazon EC2 P3dn.24xlarge 執行個體

更快、功能更強大、更大型的執行個體尺寸,針對分散式機器學習和高效能運算進行優化

Amazon EC2 P3dn.24xlarge 執行個體是最快、功能最強且最大型的 P3 執行個體大小,可提供高達 100 Gbps 的聯網輸送量,並搭載 8 個 NVIDIA® V100 Tensor 核心 GPU、32 GiB 記憶體、96 個客製化 Intel Xeon 可擴充處理器 (Skylake) vCPU,以及 1.8 TB 的本機 NVMe 型 SSD 儲存空間。更快的聯網、全新的處理器、雙倍的 GPU 記憶體以及額外的 vCPU,讓開發人員能夠將任務擴展到多個執行個體 (例如,16、32 或 64 個執行個體),以大幅縮短訓練 ML 模型的時間或執行更多 HPC 模擬。機器學習模型需要運用大量資料來進來訓練,除了增加執行個體之間的資料傳遞輸送量外,P3dn.24xlarge 執行個體的額外網路輸送量還可連接到 Simple Storage Service (Amazon S3) 或 Amazon EFS 等共用檔案系統解決方案,從而加快存取大量訓練資料的速度。

消除瓶頸並縮短機器學習的訓練時間

藉由 100 Gbps 的聯網輸送量,開發人員可以有效運用大量 P3dn.24xlarge 執行個體進行分散式訓練,並大幅縮短模型的訓練時間。AWS 採用支援 AVX-512 指令集的自訂 Intel Skylake 處理器,並配備 96 顆 vCPU,可提供 2.5 GHz 的處理速度,協助優化資料預先處理的效能。此外,P3dn.24xlarge 執行個體使用 AWS Nitro 系統 (此為專用硬體和輕量型 Hypervisor 的結合),幾乎能將主機硬體所有的運算與記憶體資源提供給您的執行個體使用。P3dn.24xlarge 執行個體還支援 Elastic Fabric Adapter,讓機器學習應用程式可利用 NVIDIA Collective Communications Library (NCCL) 擴展至數千個 GPU。

將 GPU 使用率最佳化,降低總持有成本 (TCO)

增強聯網使用最新版的 Elastic Network Adapter,具備高達100 Gbps 的聚合網路頻寬,不僅可跨多個 P3dn.24xlarge 執行個體共用資料,還可搭配 Amazon S3 或 Amazon EFS 等共用檔案系統解決方案,滿足大量資料的輸送需求。高輸送量資料存取對於最佳化 GPU 使用率,以及提供執行個體最大運算效能方面是相當重要的關鍵。

支援更大且更複雜的模型

P3dn.24xlarge 執行個體提供 NVIDIA V100 Tensor Core GPU 和 32 GB 記憶體,提供訓練更先進和更大型的機器學習模型,以及處理較大批次的資料 (例如用於影像分類和目標偵測系統的 4k 影像) 的靈活性。

Amazon EC2 P3 執行個體產品詳細資訊

執行個體大小 GPU – Tesla V100 GPU 端對端 GPU 記憶體 (GB) vCPU 記憶體 (GB) 網路頻寬 EBS 頻寬 隨需定價/小時* 1 年預留執行個體實際小時費率* 3 年預留執行個體實際小時費率*
p3.2xlarge 1 16 8 61 高達 10 Gbps 1.5 Gbps 3.06 USD 1.99 USD 1.05 USD
p3.8xlarge 4
NVLink 64 32 244 10 Gbps 7 Gbps 12.24 USD 7.96 USD 4.19 USD
p3.16xlarge 8 NVLink 128 64 488 25 Gbps 14 Gbps 24.48 USD 15.91 USD 8.39 USD
p3dn.24xlarge 8 NVLink 256 96 768 100 Gbps 19 Gbps 31.218 USD 18.30 USD 9.64 USD

* – 所示價格是針對美國東部 (維吉尼亞北部) AWS 區域的 Linux/Unix,四捨五入到最接近的分。如需完整的定價詳情,請參閱 Amazon EC2 定價頁面。

客戶能以隨需執行個體、預留執行個體、Spot 執行個體及專用主機等形式購買 P3 執行個體。

按秒計費

雲端運算的諸多優勢之一是能在需要時,可彈性佈建或取消佈建資源。我們精準到秒計費,讓客戶能夠提高彈性、節省費用,並使他們能夠優化資源分配,實現機器學習目標。

預留執行個體定價

相較於隨需執行個體的定價,預留執行個體可提供您更多的折扣 (最多 75%)。此外,將預留執行個體指派到特定可用區域時,可提供容量保留,讓您更能夠確信可在需要時啟動執行個體。

Spot 定價

在 Spot 執行個體執行的這段時間,您將持續支付生效的 Spot 價格。Spot 執行個體的價格由 Amazon EC2 制定,然後根據 Spot 執行個體容量的長期供需趨勢逐漸調整。相較於隨需定價,Spot 執行個體可獲得高達 90% 的折扣。

最廣泛的全球可用性

P3 執行個體全球可用性

Amazon EC2 P3.2xlarge、P3.8xlarge 和 P3.16xlarge 執行個體可在 14 個 AWS 區域中使用,因此客戶可以靈活地在資料存放所在地訓練和部署機器學習模型。可使用 P3 的區域包括美國東部 (維吉尼亞北部)、美國東部 (俄亥俄)、美國西部 (奧勒岡)、加拿大 (中部)、歐洲 (愛爾蘭)、歐洲 (法蘭克福)、歐洲 (倫敦)、亞太區域 (東京)、亞太區域 (首爾)、亞太區域 (雪梨)、亞太區域 (新加坡)、中國 (北京)、中國 (寧夏) 和 GovCloud (美國西部) 等 AWS 區域。

亞太區域 (東京)、歐洲 (愛爾蘭)、美國東部 (維吉尼亞北部)、美國西部 (奧勒岡)、GovCloud (美國西部) 和 GovCloud (美國東部) AWS 區域提供 P3dn.24xlarge 執行個體。

開始使用 Amazon EC2 P3 執行個體進行機器學習

若要在幾分鐘內開始使用,請進一步了解 Amazon SageMaker,或使用已預先安裝熱門深度學習架構 (如 Caffe2 和 MXNet) 的 AWS 深度學習 AMI。此外,您也可以使用 NVIDIA AMI,搭配預先安裝的 GPU 驅動程式和 CUDA 工具組。

部落格、文章和網路研討會

 
Randall Hunt
2017 年 11 月 29 日
 
Cynthya Peranandam
2017 年 9 月 13 日
 
Amr Ragab、Chetan Kapoor、Rahul Huilgol、Jarvis Lee、Tyler Mullenbach 和 Yong Wu
2018 年 7 月 20 日
 
Aaron Markham
2018 年 12 月 17 日
 
 
 
Brent Langston
2019 年 2 月 13 日

播出日期:2018 年 12 月 19 日

等級:200

電腦視覺處理如何訓練電腦,以從數位影像或視訊獲得深度理解。電腦視覺的歷史可以追溯回 20 世紀 60 年代,但處理技術近期的進步讓自動駕駛車輛的導航等應用應運而生。此技術會談將回顧為電腦視覺建立、培訓和部署機器學習模型所需的不同步驟。我們將對比使用不同 Amazon EC2 執行個體的電腦視覺模型的培訓,並重點講解如何透過使用 Amazon EC2 P3 執行個體節省大量時間。

播出日期:2018 年 7 月 31 日

等級 200

各個組織都在應對跨進階科學、能源、高科技及醫學領域的異常複雜問題。機器學習 (ML) 讓快速探索多個情境和產生最佳答案成為可能,從影像、視訊及語音辨識到自動駕駛車輛系統和天氣預測,範圍深廣。對於想要加快 ML 應用程式開發的資料科學家、研究人員和開發人員,Amazon EC2 P3 執行個體是雲端中最強、最具成本效益的多功能 GPU 運算執行個體。

關於 Amazon SageMaker

按一下這裡可進一步了解

關於 AWS 上的深度學習

按一下這裡可進一步了解

關於高效能運算 (HPC)

按一下這裡可進一步了解
準備好開始使用了嗎?
註冊
還有其他問題嗎?
聯絡我們