Phiên bản Amazon EC2 P3

Tăng tốc độ machine learning và các ứng dụng điện toán hiệu năng cao với GPU mạnh mẽ

Phiên bản Amazon EC2 P3 đem đến điện toán hiệu năng cao trên đám mây với tối đa 8 GPU nhân xử lý NVIDIA® V100 Tensor và tối đa 100 Gbps thông lượng kết nối mạng cho machine learning và các ứng dụng HPC. Các phiên bản này đem đến tối đa một petaflop hiệu năng chính xác hỗn hợp cho mỗi phiên bản để tăng tốc đáng kể khả năng machine learning và các ứng dụng điện toán hiệu năng cao. Các phiên bản Amazon EC2 P3 đã được chứng minh có khả năng giảm thời gian huấn luyện machine learning từ nhiều ngày xuống chỉ còn vài phút cũng như tăng thêm 3-4 lần số lượng mô phỏng được thực hiện cho điện toán hiệu năng cao.
Với băng thông mạng của phiên bản P3.16xlarge cao hơn tới 4 lần, phiên bản P3dn.24xlarge của Amazon EC2 là sự bổ sung mới nhất cho dòng phiên bản P3, được tối ưu hóa cho machine learning phân tán và các ứng dụng HPC. Các phiên bản này cung cấp tới 100 Gbps thông lượng kết nối mạng, 96 vCPU Intel® Xeon® Scalable (Skylake) tùy chỉnh, 8 GPU nhân xử lý NVIDIA® V100 Tensor với 32 GB bộ nhớ mỗi GPU và 1,8 TB dung lượng lưu trữ SSD trên NVMe.

Giới thiệu P3dn.24xlarge của Amazon EC2 – phiên bản P3 mạnh mẽ nhất

Được tối ưu hóa cho huấn luyện machine learning phân tán và điện toán hiệu năng cao

ReInvent_HA_P3_EDITORIAL

Lợi ích

GIẢM THỜI GIAN HUẤN LUYỆN MACHINE LEARNING TỪ VÀI NGÀY XUỐNG CÒN VÀI PHÚT

Đối với những nhà khoa học dữ liệu, nhà nghiên cứu và nhà phát triển cần tăng tốc ứng dụng ML, phiên bản Amazon EC2 P3 là loại phiên bản có tốc độ nhanh nhất trên đám mây dành cho huấn luyện ML. Các phiên bản Amazon EC2 P3 được hỗ trợ đến tám GPU nhân xử lý NVIDIA Tesla V100 thế hệ mới nhất và mang đến tối đa một petaflop hiệu năng chính xác hỗn hợp nhằm tăng tốc đáng kể khối lượng công việc ML. Huấn luyện mô hình nhanh hơn có thể giúp các nhà khoa học dữ liệu và các kỹ sư machine learning lặp lại nhanh hơn, huấn luyện nhiều mô hình hơn và gia tăng độ chính xác.

GIẢI PHÁP TIẾT KIỆM CHI PHÍ NHẤT TRONG NGÀNH DÀNH CHO HUẤN LUYỆN ML

Một trong những phiên bản GPU mạnh mẽ nhất trên đám mây, được kết hợp với các gói giá linh hoạt giúp tạo ra giải pháp có mức chi phí hợp lý chưa từng có dành cho huấn luyện machine learning. Đối với các phiên bản Amazon EC2 nói chung, phiên bản P3 được cung cấp dưới dạng Phiên bản theo nhu cầu, Phiên bản dự trữ hoặc Phiên bản Spot. Phiên bản Spot tận dụng công suất chưa sử dụng của phiên bản EC2 và có thể giảm đáng kể chi phí Amazon EC2 của bạn tới 70% so với giá của phiên bản Theo nhu cầu.

ĐIỆN TOÁN HIỆU NĂNG CAO ĐẦY MẠNH MẼ, LINH ĐỘNG

Không như các hệ thống tại chỗ, việc chạy điện toán hiệu năng cao trên các phiên bản Amazon EC2 P3 cung cấp dung lượng gần như không giới hạn, giúp bạn thay đổi quy mô cơ sở hạ tầng và độ linh hoạt để thay đổi tài nguyên một cách dễ dàng và thường xuyên theo nhu cầu khối lượng công việc của bạn. Bạn có thể cấu hình tài nguyên của mình nhằm đáp ứng nhu cầu của ứng dụng và khởi chạy một cụm HPC trong vài phút, mà chỉ phải trả tiền cho những gì bạn sử dụng.

TÍCH HỢP CÁC DỊCH VỤ AWS MACHINE LEARNING

Các phiên bản Amazon EC2 P3 hoạt động liền mạch kết hợp cùng Amazon SageMaker để cung cấp nền tảng machine learning hoàn chỉnh và trực quan mạnh mẽ. Amazon SageMaker là một nền tảng machine learning được quản lý toàn phần cho phép bạn nhanh chóng và dễ dàng xây dựng, huấn luyện và triển khai các mô hình machine learning. Hơn nữa, các phiên bản Amazon EC2 P3 có thể được tích hợp với AWS Deep Learning Amazon Machine Images (AMI) đã được cài đặt sẵn các framework về deep learning phổ biến. Việc này giúp bắt đầu nhanh chóng và dễ dàng hơn với huấn luyện machine learning và suy diễn.

HỖ TRỢ TẤT CẢ CÁC FRAMEWORK CHÍNH VỀ MACHINE LEARNING

Các phiên bản Amazon EC2 P3 hỗ trợ tất cả các framework chính về machine learning bao gồm TensorFlow, PyTorch, Apache MXNet, Caffe, Caffe2, Microsoft Cognitive Toolkit (CNTK), Chainer, Theano, Keras, Gluon và Torch. Bạn có thể linh hoạt chọn framework phù hợp nhất với ứng dụng của mình.

Huấn luyện machine learning nhiều nút có khả năng thay đổi quy mô

Bạn có thể sử dụng nhiều phiên bản Amazon EC2 P3 khác nhau với tối đa 100 Gbps thông lượng kết nối mạng để nhanh chóng huấn luyện các mô hình machine learning. Thông lượng kết nối mạng lớn hơn giúp nhà phát triển loại bỏ được sự bế tắc về truyền dữ liệu và thay đổi quy mô các tác vụ huấn luyện mô hình của mình một cách hiệu quả trên nhiều phiên bản P3 khác nhau. Khách hàng có khả năng huấn luyện ResNet-50, một mô hình phân loại ảnh phổ biến, với độ chính xác theo tiêu chuẩn ngành chỉ trong 18 phút bằng cách sử dụng 16 phiên bản P3. Trước đây, phần lớn khách hàng ML đều không đạt được mức hiệu năng này vì cần phải có mức đầu tư CapEx lớn để xây dựng các cụm GPU tại chỗ. Với phiên bản P3 và độ sẵn sàng của chúng thông qua mô hình sử dụng Theo nhu cầu, giờ đây các nhà phát triển và kỹ sư machine learning đã có thể đạt được mức hiệu năng này.

Câu chuyện của khách hàng

200x100_AirBNB_Logo

Airbnb đang sử dụng machine learning để tối ưu hóa các đề xuất tìm kiếm và cải thiện hướng dẫn định giá động cho máy chủ, cả hai đều giúp gia tăng tỉ lệ thực hiện đặt phòng. Với các phiên bản Amazon EC2 P3, Airbnb có khả năng chạy các khối lượng công việc huấn luyện nhanh hơn, thực hiện nhiều lần lặp hơn, xây dựng các mô hình machine learning tốt hơn và giúp giảm chi phí.

salesforce_logo_200x100

Salesforce đang sử dụng machine learning để hỗ trợ Einstein Vision, cho phép các nhà phát triển khai thác sức mạnh của nhận dạng hình ảnh đối với các trường hợp sử dụng như tìm kiếm hình ảnh, phát hiện thương hiệu và nhận dạng sản phẩm. Các phiên bản Amazon EC2 P3 cho phép các nhà phát triển huấn luyện các mô hình deep learning nhanh hơn nhằm đạt được mục tiêu machine learning của mình một cách nhanh chóng.

western-digital_200x100

Western Digital sử dụng điện toán hiệu năng cao (HPC) để chạy hàng chục nghìn mô phỏng cho khoa học vật liệu, luồng nhiệt, từ tính và truyền dữ liệu để cải thiện chất lượng cũng như hiệu năng giải pháp lưu trữ và ổ đĩa. Dựa trên thử nghiệm ban đầu, các phiên bản Amazon EC2 P3 cho phép các nhóm kỹ thuật chạy mô phỏng nhanh hơn ít nhất ba lần so với các giải pháp đã triển khai trước đó.  

schrodinger-200x100

Schrodinger sử dụng điện toán hiệu năng cao (HPC) để phát triển các mô hình dự đoán nhằm mở rộng quy mô phát hiện và tối ưu hóa và cung cấp cho khách hàng khả năng đưa các loại thuốc cứu tính mạng ra thị trường nhanh hơn. Các phiên bản Amazon EC2 P3 cho phép Schrodinger thực hiện số mô phỏng trong một ngày gấp bốn lần so với khi sử dụng phiên bản P2.  

Phiên bản Amazon EC2 P3 và Amazon SageMaker

Cách nhanh nhất để huấn luyện và chạy các mô hình machine learning

Amazon SageMaker là một dịch vụ được quản lý toàn phần nhằm xây dựng, huấn luyện và triển khai các mô hình machine learning. Khi được sử dụng cùng với các phiên bản Amazon EC2 P3, khách hàng có thể dễ dàng thay đổi quy mô đến hàng chục, hàng trăm hoặc hàng nghìn GPU để huấn luyện mô hình nhanh chóng ở mọi quy mô mà không cần lo lắng về việc thiết lập các cụm và đường dẫn dữ liệu. Bạn cũng có thể dễ dàng truy cập tài nguyên Amazon Virtual Private Cloud (Amazon VPC) để huấn luyện và lưu trữ máy chủ luồng công việc trên Amazon SageMaker. Với tính năng này, bạn có thể sử dụng các bộ chứa Amazon Simple Storage Service (S3) chỉ có thể truy cập thông qua VPC của bạn để lưu trữ dữ liệu huấn luyện cũng như lưu trữ và lưu trữ máy chủ các thành phần lạ mô hình thu được từ quá trình huấn luyện. Ngoài S3, các mô hình có thể truy cập tất cả các tài nguyên AWS khác có trong VPC. Tìm hiểu thêm.

Xây dựng

Amazon SageMaker giúp dễ dàng xây dựng các mô hình machine learning và làm cho chúng sẵn sàng cho huấn luyện. Thành phần này cung cấp mọi thứ bạn cần để nhanh chóng kết nối với dữ liệu huấn luyện cũng như chọn và tối ưu hóa thuật toán và framework phù hợp nhất cho ứng dụng của bạn. Amazon SageMaker gồm có các máy tính xách tay Jupyter có máy chủ lưu trữ giúp việc khám phá và trực quan hóa dữ liệu huấn luyện của bạn được lưu trữ trên Amazon S3 trở nên dễ dàng.  Bạn cũng có thể sử dụng phiên bản máy tính xách tay để viết mã tạo các công việc huấn luyện mô hình, triển khai các mô hình vào lưu trữ Amazon SageMaker và kiểm tra hoặc xác nhận các mô hình của bạn.

Huấn luyện

Bạn có thể bắt đầu huấn luyện mô hình của mình chỉ bằng một cú nhấp chuột trên bảng điều khiển hoặc một lệnh gọi API đơn giản. Amazon SageMaker được cấu hình sẵn với các phiên bản mới nhất của TensorFlow và Apache MXNet, với sự hỗ trợ thư viện CUDA9 để đạt hiệu năng tối ưu với các GPU của NVIDIA. Ngoài ra, việc tối ưu hóa siêu tham số có thể tự động tinh chỉnh mô hình của bạn bằng cách điều chỉnh các kết hợp khác nhau một cách thông minh để nhanh chóng đạt được các dự đoán chính xác nhất. Đối với các nhu cầu quy mô lớn hơn, bạn có thể thay đổi quy mô đến hàng chục phiên bản để hỗ trợ xây dựng mô hình nhanh hơn.

Triển khai

Sau khi huấn luyện, bạn có thể triển khai mô hình vào các phiên bản Amazon EC2 tự động thay đổi quy mô trên nhiều Vùng sẵn sàng chỉ bằng một cú nhấp chuột. Trong giai đoạn sản xuất, Amazon SageMaker quản lý cơ sở hạ tầng điện toán thay bạn để thực hiện kiểm tra tình trạng, áp dụng các bản vá bảo mật và thực hiện bảo trì định kỳ khác, tất cả đều được tích hợp chức năng giám sát và ghi nhật ký Amazon CloudWatch.

 

Phiên bản Amazon EC2 P3 và AWS Deep Learning AMI

Môi trường phát triển được cấu hình sẵn để nhanh chóng bắt đầu xây dựng các ứng dụng deep learning

Một giải pháp thay thế cho Amazon SageMaker dành cho các nhà phát triển có yêu cầu tùy biến cao hơn, AWS Deep Learning AMI cung cấp cho những người thực hành machine learning và các nhà nghiên cứu cơ sở hạ tầng và các công cụ để tăng tốc deep learning trong đám mây ở mọi quy mô. Bạn có thể nhanh chóng khởi chạy các phiên bản Amazon EC2 P3 được cài đặt sẵn với các framework về deep learning phổ biến như TensorFlow, PyTorch, Apache MXNet, Microsoft Cognitive Toolkit, Caffe, Caffe2, Theano, Torch, Chainer, Gluon và Keras để huấn luyện các mô hình AI tùy biến phức tạp, thử nghiệm thuật toán mới hoặc tìm hiểu kỹ năng và kỹ thuật mới. Tìm hiểu thêm

Phiên bản Amazon EC2 P3 và Điện toán hiệu năng cao

Giải quyết các vấn đề điện toán lớn và đạt được thông tin chuyên sâu mới bằng cách sử dụng HPC trên AWS

Các phiên bản Amazon EC2 P3 là nền tảng lý tưởng để chạy các mô phỏng kỹ thuật, điện toán tài chính, phân tích địa chấn, dựng mô hình phân tử, nghiên cứu gen và chức năng gen, phối cảnh và các khối lượng công việc điện toán GPU khác. Điện toán hiệu năng cao (HPC) cho phép các nhà khoa học và các kỹ sư giải quyết các vấn đề điện toán mang tính chuyên sâu, phức tạp này. Các ứng dụng HPC thường yêu cầu hiệu năng mạng cao, lưu trữ nhanh, dung lượng bộ nhớ lớn, khả năng tính toán rất cao hoặc tất cả các yếu tố kể trên. AWS cho phép bạn tăng tốc độ nghiên cứu và rút ngắn thời gian nhận được kết quả bằng cách chạy HPC trên đám mây và thay đổi quy mô để số lượng các tác vụ chạy song song nhiều hơn so với thực tế trong hầu hết các môi trường tại chỗ. AWS giúp giảm chi phí bằng cách cung cấp các giải pháp được tối ưu hóa cho những ứng dụng cụ thể và không cần vốn đầu tư lớn. Tìm hiểu thêm

Phiên bản P3dn.24xlarge của Amazon EC2

Nhanh hơn, mạnh mẽ hơn và kích thước phiên bản lớn hơn được tối ưu hóa cho machine learning phân tán và điện toán hiệu năng cao

Phiên bản P3dn.24xlarge của Amazon EC2 là phiên bản nhanh nhất, mạnh mẽ nhất và có quy mô phiên bản P3 lớn nhất đồng thời cung cấp thông lượng mạng lên tới 100 Gbps, 8 GPU nhân xử lý NVIDIA® Tesla® V100 với bộ nhớ 32 GB mỗi GPU, 96 vCPU tùy chỉnh Intel® Xeon® Scalable (Skylake) và 1,8 TB lưu trữ SSD cục bộ trên NVMe. Kết nối mạng nhanh hơn, bộ xử lý mới, bộ nhớ GPU gấp đôi và vCPU bổ sung cho phép nhà phát triển giảm đáng kể thời gian huấn luyện các mô hình ML hoặc chạy nhiều bản mô phỏng HPC hơn bằng cách dàn quy mô công việc trên một số phiên bản (ví dụ: phiên bản 16, 32 hoặc 64). Mô hình machine learning yêu cầu lượng dữ liệu lớn cho huấn luyện và ngoài tăng thông lượng truyền dữ liệu giữa các phiên bản, bạn cũng có thể sử dụng thông lượng mạng bổ sung của phiên bản P3dn.24xlarge để tăng tốc độ truy cập đến các khối lượng dữ liệu huấn luyện lớn bằng cách kết nối với Amazon S3 hoặc các giải pháp hệ thống tệp được chia sẻ chẳng hạn như Amazon EFS.

LOẠI BỎ SỰ BẾ TẮC VÀ GIẢM THỜI GIAN HUẤN LUYỆN MACHINE LEARNING

Với 100 Gbps thông lượng mạng, nhà phát triển có thể sử dụng số lượng lớn các phiên bản P3dn.24xlarge (ví dụ: 16, 32 hoặc 64 phiên bản) một cách hiệu quả cho huấn luyện phân tán và giảm đáng kể thời gian huấn luyện các mô hình của mình. 96 vCPU của bộ xử lý Intel Skylake tùy chỉnh theo AWS với chỉ dẫn AVX-512 hoạt động ở tốc độ 2,5GHz sẽ giúp tối ưu hóa hoạt động xử lý dữ liệu trước. Ngoài ra, phiên bản P3dn.24xlarge sử dụng Hệ thống Nitro AWS, một sự kết hợp giữa phần cứng chuyên dụng và hypervisor gọn nhẹ, mang đến hầu như tất cả các tài nguyên điện toán và bộ nhớ của phần cứng lưu trữ tới phiên bản của bạn.

 

Giảm TCO (Tổng chi phí sở hữu) nhờ tối ưu hóa mức sử dụng GPU

Bạn có thể sử dụng kết nối mạng được tăng cường bằng cách sử dụng phiên bản mới nhất của Elastic Network Adapter với tối đa 100 Gbps tổng băng thông mạng không chỉ để chia sẻ dữ liệu giữa một số phiên bản P3dn.24xlarge mà còn để truy cập dữ liệu thông lượng cao thông qua Amazon S3 hoặc giải pháp hệ thống tệp được chia sẻ chẳng hạn như Amazon EFS. Truy cập dữ liệu thông lượng cao có ý nghĩa quyết định đến việc tối ưu hóa mức sử dụng GPU và đem đến hiệu năng tối đa từ các phiên bản điện toán.

Hỗ trợ các mô hình lớn hơn và phức tạp hơn

Phiên bản P3dn.24xlarge cung cấp các GPU nhân xử lý NVIDIA V100 Tensor với 32GB bộ nhớ để đem đến sự linh hoạt trong việc đào tạo những mô hình machine learning cao cấp hơn và lớn hơn cũng như xử lý các lô dữ liệu lớn hơn chẳng hạn như ảnh 4k cho các hệ thống phân loại ảnh và phát hiện đối tượng.

 

Chi tiết sản phẩm Phiên bản Amazon EC2 P3

Kích cỡ phiên bản GPU – Tesla V100 GPU Peer to Peer Bộ nhớ GPU (GB) vCPU Bộ nhớ (GB) Băng thông mạng Băng thông EBS Giá theo yêu cầu/giờ* Giá thực tế theo giờ của phiên bản dự trữ 1 năm* Giá thực tế theo giờ của phiên bản dự trữ 3 năm*
p3.2xlarge 1 Không áp dụng 16 8 61 Lên đến 10 Gbps 1.5 Gbps 3.06 USD 1.99 USD 1.05 USD
p3.8xlarge 4
NVLink 64 32 244 10 Gbps 7 Gbps 12.24 USD 7.96 USD 4.19 USD
p3.16xlarge 8 NVLink 128 64 488 25 Gbps 14 Gbps 24.48 USD 15.91 USD 8.39 USD
p3dn.24xlarge 8 NVLink 256 96 768 100 Gbps 14 Gbps 31.218 USD 18.3 USD 9.64 USD

* – Giá trình bày ở trên áp dụng cho Linux/Unix tại Khu vực AWS Miền Đông Hoa Kỳ (Phía Bắc Virginia) và được làm tròn lên cent gần nhất. Để xem đầy đủ thông tin chi tiết về giá, hãy xem trang về giá của Amazon EC2.

Khách hàng có thể mua các phiên bản P3 dưới dạng các phiên bản theo yêu cầu, các phiên bản dự trữ, các phiên bản spot và các máy chủ chuyên dụng.

TÍNH TIỀN THEO GIÂY

Một trong nhiều ưu điểm của điện toán đám mây là bản chất co giãn của việc cung cấp hoặc ngừng cung cấp tài nguyên khi bạn cần chúng. Bằng cách sử dụng thanh toán xuống đến mức giây, chúng tôi cho phép khách hàng tăng mức độ co giãn, tiết kiệm tiền và cho phép họ tối ưu hóa phân bổ nguồn lực để đạt được các mục tiêu machine learning của mình.

GIÁ PHIÊN BẢN DỰ TRỮ

Phiên bản dự trữ cung cấp cho bạn mức chiết khấu đáng kể (lên đến 75%) so với giá Phiên bản theo yêu cầu. Bên cạnh đó, khi Phiên bản dự trữ được chỉ định cho một Vùng sẵn sàng cụ thể, các Phiên bản dự trữ sẽ cung cấp một dự trữ công suất, giúp bạn thêm tự tin vào khả năng khởi chạy các phiên bản khi cần.

GIÁ SPOT

Với Phiên bản Spot, bạn chỉ trả giá Spot có hiệu lực trong khoảng thời gian chạy của phiên bản của bạn. Giá Phiên bản Spot là giá do Amazon EC2 ấn định và được điều chỉnh dần theo xu hướng cung cầu dài hạn đối với công suất của Phiên bản Spot. Phiên bản Spot được giảm giá tới 90% so với giá của phiên bản Theo yêu cầu.

Sử dụng trên khắp toàn cầu

1856-Updated Map Image-P3 Instances-transparentBG_1024x543

Các phiên bản P3.2xlarge, P3.8xlarge và P3.16xlarge của Amazon EC2 được cung cấp ở 14 Khu vực AWS để khách hàng có thể linh hoạt huấn luyện và triển khai các mô hình machine learning của họ tại bất cứ nơi nào dữ liệu của họ được lưu trữ. Phiên bản P3 được cung cấp ở những khu vực sau: Khu vực AWS Miền Đông Hoa Kỳ (Bắc Virginia), Miền Đông Hoa Kỳ (Ohio), Miền Tây Hoa Kỳ (Oregon), Canada (Miền Trung), Châu Âu (Ai-len), Châu Âu (Frankfurt), Châu Âu (London), Châu Á Thái Bình Dương (Tokyo), Châu Á Thái Bình Dương (Seoul), Châu Á Thái Bình Dương (Sydney), Châu Á Thái Bình Dương (Singapore), Trung Quốc (Bắc Kinh), Trung Quốc (Ninh Hạ) và AWS GovCloud (US).

Phiên bản P3dn.24xlarge được cung cấp ở khu vực AWS Miền Đông Hoa Kỳ (Bắc Virginia) và Miền Tây Hoa Kỳ (Oregon).

Bắt đầu với các phiên bản Amazon EC2 P3 cho Machine Learning

Để bắt đầu trong vòng vài phút, hãy tìm hiểu thêm về Amazon SageMaker hoặc sử dụng AWS Deep Learning AMI, được cài đặt sẵn với các framework về deep learning phổ biến như Caffe2 và MXnet. Ngoài ra, bạn cũng có thể sử dụng NVIDIA AMI với trình điều khiển GPU và bộ công cụ CUDA được cài sẵn.

Bài viết và bài đăng trên blog

evangelist-randall-hunt-square
 
Randall Hunt
Ngày 29 tháng 11 năm 2017
bio_ML_Article
 
Cynthya Peranandam
Ngày 13 tháng 9 năm 2017
amrraga
 
Amr Ragab, Chetan Kapoor, Rahul Huilgol, Jarvis Lee, Tyler Mullenbach và Yong Wu
Ngày 20 tháng 7 năm 2018

Giới thiệu về Amazon SageMaker

Nhấp vào đây để tìm hiểu thêm

Giới thiệu về Deep Learning trên AWS

Nhấp vào đây để tìm hiểu thêm

Giới thiệu về Điện toán hiệu năng cao (HPC)

Nhấp vào đây để tìm hiểu thêm
Bạn đã sẵn sàng để bắt đầu chưa?
Đăng ký
Bạn có thêm câu hỏi?
Hãy liên hệ chúng tôi