Chuyển đến nội dung chính

Amazon EC2

Phiên bản P5 cho Amazon EC2

Phiên bản dựa trên GPU có hiệu năng cao cho các ứng dụng học sâu và HPC

Tại sao nên chọn Phiên bản P5 cho Amazon EC2?

Các phiên bản P5 cho Amazon Elastic Compute Cloud (Amazon EC2) hoạt động trên nền GPU NVIDIA H100 Tensor Core, các phiên bản P5e và P5en hoạt động trên nền GPU NVIDIA H200 Tensor Core mang lại hiệu năng cao trong Amazon EC2 cho các ứng dụng học sâu (DL) và điện toán hiệu năng cao (HPC). Các phiên bản này giúp bạn đẩy nhanh thời gian đưa ra giải pháp lên đến 4 lần so với các phiên bản EC2 dựa trên GPU thế hệ trước và giảm tới 40% chi phí đào tạo các mô hình máy học. Các phiên bản này giúp bạn lặp lại các giải pháp của mình với nhịp độ nhanh hơn và đưa ra thị trường nhanh hơn. Bạn có thể sử dụng phiên bản P5, P5e và P5en để đào tạo và triển khai các mô hình ngôn ngữ lớn (LLM) và mô hình khuếch tán hỗ trợ cho các ứng dụng AI tạo sinh. Các ứng dụng này bao gồm trả lời câu hỏi, tạo mã, tạo video và hình ảnh, cũng như nhận dạng giọng nói. Bạn cũng có thể sử dụng các phiên bản này để triển khai các ứng dụng HPC ở quy mô lớn để tìm hiểu về dược phẩm, phân tích địa chấn, dự báo thời tiết và lập mô hình tài chính.

Để thực hiện những cải tiến về hiệu năng và tiết kiệm chi phí này, các phiên bản P5 và P5e cung cấp hiệu năng CPU gấp đôi, bộ nhớ hệ thống gấp đôi và ổ lưu trữ cục bộ gấp 4 cho GPU NVIDIA H100 và H200 Tensor Core so với các phiên bản dựa trên GPU thế hệ trước. Phiên bản P5en ghép nối GPU NVIDIA H200 Tensor Core với CPU Intel Sapphire Rapids hiệu năng cao, cho phép PCIe Gen5 giữa CPU và GPU. Phiên bản P5en cung cấp băng thông cao hơn 4 lần giữa CPU và GPU và độ trễ mạng thấp hơn so với các phiên bản P5e và P5, do đó cải thiện hiệu năng đào tạo phân tán. Các phiên bản P5 và P5e hỗ trợ kết nối mạng lên đến 3.200 Gbps bằng cách sử dụng Trình chuyển cấu trúc linh hoạt (EFA) thế hệ thứ 2. P5en, với thế hệ thứ 3 của EFA sử dụng Nitro v5, cho thấy sự cải thiện tới 35% về độ trễ so với P5 sử dụng thế hệ trước của EFA và Nitro. Điều này giúp cải thiện hiệu năng giao tiếp tập thể cho khối lượng công việc đào tạo phân tán như ứng dụng học sâu, AI tạo sinh, xử lý dữ liệu theo thời gian thực và điện toán hiệu năng cao (HPC). Để cung cấp điện toán quy mô lớn ở độ trễ thấp, các phiên bản này được triển khai trong Amazon EC2 UltraClusters cho phép mở rộng lên đến 20.000 GPU H100 hoặc H200 được kết nối với mạng không chặn quy mô petabit. Các phiên bản P5, P5e và P5en trong EC2 UltraClusters có thể đạt tổng công suất điện toán tối đa 20 exaflop, đây là hiệu năng tương đương một siêu máy tính.

Phiên bản P5 cho Amazon EC2

Lợi ích

Các phiên bản P5, P5e và P5en có thể đào tạo các mô hình AI tạo sinh lớn ở quy mô lớn và mang lại hiệu năng gấp 4 lần so với các phiên bản EC2 dựa trên GPU thế hệ trước.

Các phiên bản P5, P5e và P5en giảm thời gian đào tạo và thời gian đưa ra giải pháp từ vài tuần xuống chỉ còn vài ngày. Nhờ đó, bạn lặp lại với nhịp độ nhanh hơn và tiếp cận thị trường nhanh hơn.

Các phiên bản P5, P5e và P5en tiết kiệm tới 40% chi phí đào tạo học sâu và cơ sở hạ tầng HPC so với các phiên bản EC2 dựa trên GPU thế hệ trước.

Các phiên bản P5, P5e và P5en cung cấp kết nối mạng EFA lên đến 3.200 Gbps. Các phiên bản này được triển khai trong EC2 UltraClusters và có tổng công suất điện toán tối đa 20 exaflop.

Tính năng

Các phiên bản P5 cung cấp tối đa 8 GPU NVIDIA H100 với tổng dung lượng bộ nhớ GPU HBM3 lên đến 640 GB cho mỗi phiên bản. Các phiên bản P5e và P5en cung cấp tối đa 8 NVIDIA H200 với tổng dung lượng bộ nhớ GPU HBM3e lên đến 1128 GB cho mỗi phiên bản. Cả hai phiên bản hỗ trợ kết nối GPU NVSwitch lên đến 900 GB/giây (tổng băng thông chia đôi 3,6 TB/giây trong mỗi phiên bản), vì vậy mỗi GPU có thể giao tiếp với mọi GPU khác trong cùng một phiên bản với độ trễ một bước nhảy.

GPU NVIDIA H100 và H200 có một công cụ bộ chuyển đổi quản lý thông minh và lựa chọn linh hoạt giữa các phép tính FP8 và 16 bit. Tính năng này giúp tăng tốc đào tạo học sâu nhanh hơn trên LLM so với GPU A100 thế hệ trước. Đối với khối lượng công việc HPC, GPU NVIDIA H100 và H200 có chỉ dẫn DPX mới giúp tăng tốc hơn nữa các thuật toán lập trình động so với GPU A100.

Các phiên bản P5, P5e và P5en cung cấp kết nối mạng EFA lên đến 3.200 Gbps. EFA cũng được kết hợp với NVIDIA GPUDirect RDMA để cho phép giao tiếp giữa các GPU có độ trễ thấp giữa các máy chủ bỏ qua hệ điều hành.

Các phiên bản P5, P5e và P5en hỗ trợ hệ thống tệp Amazon FSx dành cho Lustre để bạn có thể truy cập dữ liệu với thông lượng hàng trăm GB/giây và hàng triệu IOPS cần thiết cho khối lượng công việc học sâu và HPC quy mô lớn. Mỗi phiên bản cũng hỗ trợ ổ lưu trữ SSD NVMe cục bộ lên đến 30 TB để truy cập nhanh các tập dữ liệu lớn. Bạn cũng có thể sử dụng kho lưu trữ tiết kiệm chi phí gần như không giới hạn với Amazon Simple Storage Service (Amazon S3).

Chứng thực từ khách hàng

Dưới đây là một số ví dụ về cách khách hàng và đối tác đạt được mục tiêu kinh doanh của mình với các phiên bản P4 cho Amazon EC2.

Anthropic

Tại Anthropic, chúng tôi đang nỗ lực để xây dựng các hệ thống AI đáng tin cậy, có thể diễn giải và có thể điều khiển. Mặc dù các hệ thống AI chung quy mô lớn ngày nay có thể mang lại những lợi ích đáng kể nhưng cũng có thể không thể dự đoán, không đáng tin cậy và không rõ ràng. Mục tiêu của chúng tôi là cải thiện được những vấn đề này và triển khai các hệ thống mà mọi người thấy hữu ích. Chúng tôi là một trong số ít các tổ chức trên thế giới đang xây dựng các mô hình nền tảng trong nghiên cứu học sâu. Những mô hình này rất phức tạp và để phát triển và đào tạo các mô hình tiên tiến này, chúng ta cần phân phối các mô hình này một cách hiệu quả trên các cụm GPU lớn. Hiện nay, chúng tôi đang sử dụng rộng rãi các phiên bản P4 cho Amazon EC2 và chúng tôi rất vui mừng về việc ra mắt các phiên bản P5. Chúng tôi hy vọng các phiên bản này sẽ mang lại lợi ích giá/hiệu năng đáng kể so với các phiên bản P4d và các phiên bản này sẽ có sẵn ở quy mô lớn cần thiết để xây dựng LLM thế hệ tiếp theo và các sản phẩm có liên quan.

Tom Brown, Người đồng sáng lập, Anthropic
Missing alt text value

AON

Tại AON, chúng tôi đã và đang cách mạng hóa cách công ty bảo hiểm tiếp cận những khó khăn trong việc tính toán phức tạp. Các dự báo thẩm định bảo hiểm đòi hỏi nhiều mô phỏng hơn để có thể mô hình hóa các đảm bảo và rủi ro phức tạp về tài chính, nhưng hệ thống cũ rời rạc cùng những tác vụ thủ công dễ sai sót lại hạn chế khả năng phân tích chi tiết và sát sao. Các phiên bản P5 cho Amazon EC2 đã mang lại sự tiến triển vượt bậc cho chúng tôi. Giờ đây, chúng tôi có thể chạy các mô hình máy học và dự báo kinh tế từng tiêu tốn nhiều ngày chỉ trong vài giờ. Khả năng sử dụng một phiên bản GPU H100 (p5.4xlarge) duy nhất không chỉ giúp chúng tôi tiết kiệm được thời gian mà còn tối ưu hóa được tài nguyên điện toán. Khách hàng của chúng tôi đang thấy được những thông tin chuyên sâu chưa từng thấy về quản lý rủi ro và định giá sản phẩm, tất cả là nhờ vào công nghệ đột phá này.

Van Beach, Giám đốc toàn cầu về giải pháp cuộc sống, AON

Missing alt text value

Cohere

Cohere dẫn đầu trong việc giúp mọi doanh nghiệp khai thác sức mạnh của AI ngôn ngữ để khám phá, tạo, tìm kiếm và hành động dựa trên thông tin một cách tự nhiên và trực quan, triển khai trên nhiều nền tảng đám mây trong môi trường dữ liệu hoạt động hiệu quả nhất cho từng khách hàng. Các phiên bản P5 cho Amazon EC2 hoạt động trên nền NVIDIA H100 sẽ giải phóng khả năng tạo, phát triển và điều chỉnh quy mô nhanh hơn cho các doanh nghiệp với khả năng điện toán kết hợp với các khả năng của AI tạo sinh và LLM hiện đại của Cohere.

Aidan Gomez, Giám đốc điều hành, Cohere
Missing alt text value

Hugging Face

Là cộng đồng nguồn mở phát triển nhanh nhất cho máy học, hiện chúng tôi cung cấp hơn 150.000 mô hình được đào tạo trước và 25.000 tập dữ liệu trên nền tảng của chúng tôi cho NLP, thị giác máy tính, sinh học, học tăng cường, v.v. Với những tiến bộ đáng kể trong LLM và AI tạo sinh, chúng tôi đang hợp tác với AWS để xây dựng và đóng góp các mô hình nguồn mở của tương lai. Chúng tôi mong muốn sẽ sử dụng các phiên bản P5 cho Amazon EC2 thông qua Amazon SageMaker trên quy mô lớn trong UltraClusters với EFA để đẩy nhanh việc cung cấp các mô hình AI nền tảng mới cho mọi người.

Julien Chaumond, Giám đốc công nghệ và Người đồng sáng lập, Hugging Face
Missing alt text value

Chi tiết sản phẩm

Instance Size
vCPUs
Instance Memory
GPU
GPU memory
Network Bandwidth (Gbps)
GPUDirect RDMA
GPU Peer to Peer
Instance Storage (TB)
EBS Bandwidth (Gbps)
p5.4xlarge

16

256 GiB

1 H100

80 GB

HBM3

EFA 100 Gbps

Không*

Không áp dụng*

3.84 SSD NVMe

10

p5.48xlarge
192

2 TiB

8 H100
640 GB
HBM3
EFA 3200 Gbps
NVSwitch 900 GB/giây
8 x 3.84 SSD NVMe
80
p5e.48xlarge
192

2 TiB

8 H200
1128 GB
HBM3e
EFA 3200 Gbps
NVSwitch 900 GB/giây
8 x 3.84 SSD NVMe
80
p5en.48xlarge
192

2 TiB

8 H200
1128 GB HBM3e
EFA 3200 Gbps
NVSwitch 900 GB/giây
8 x 3.84 SSD NVMe
100

*GPUDirect RDMA không được hỗ trợ trong P5.4xlarge

Bắt đầu với các trường hợp sử dụng ML

SageMaker là một dịch vụ được quản lý toàn phần nhằm xây dựng, đào tạo và triển khai các mô hình máy học. Với SageMaker HyperPod, bạn có thể dễ dàng điều chỉnh quy mô lên hàng chục, hàng trăm hoặc hàng nghìn GPU để đào tạo mô hình nhanh chóng ở quy mô bất kỳ mà không cần lo lắng về việc thiết lập và quản lý các cụm đào tạo bền bỉ.

DLAMI cung cấp cơ sở hạ tầng và công cụ cho những người thực hành và nhà nghiên cứu máy học để tăng tốc học sâu trên đám mây ở mọi quy mô. Bộ chứa học sâu là các hình ảnh Docker được cài đặt sẵn với các khung học sâu để hợp lý hóa việc triển khai môi trường máy học tùy chỉnh bằng cách cho phép bạn bỏ qua quá trình xây dựng và tối ưu hóa môi trường phức tạp ngay từ đầu.

Nếu muốn quản lý khối lượng công việc được gói trong bộ chứa của riêng mình thông qua các dịch vụ điều phối bộ chứa, bạn có thể triển khai các phiên bản P5, P5e và P5en với Amazon EKS hoặc Amazon ECS.

Bắt đầu với các trường hợp sử dụng HPC

Các phiên bản P5, P5e và P5en là nền tảng lý tưởng để chạy các mô phỏng kỹ thuật, tài chính điện toán, phân tích địa chấn, dựng mô hình phân tử, nghiên cứu hệ gen học, phối cảnh và các khối lượng công việc HPC dựa trên GPU khác. Các ứng dụng HPC thường yêu cầu hiệu năng mạng cao, lưu trữ nhanh, dung lượng bộ nhớ lớn, khả năng điện toán cao hoặc tất cả các yếu tố kể trên. Cả ba loại phiên bản đều hỗ trợ EFA cho phép các ứng dụng HPC sử dụng Giao diện truyền thông báo (MPI) để điều chỉnh quy mô lên hàng nghìn GPU. AWS Batch và AWS ParallelCluster giúp các nhà phát triển HPC nhanh chóng xây dựng và điều chỉnh quy mô các ứng dụng HPC phân tán.

Tìm hiểu thêm