Tại sao nên chọn Phiên bản P5 cho Amazon EC2?
Các phiên bản Amazon Elastic Compute Cloud (Amazon EC2) P5 hoạt động trên nền GPU NVIDIA H100 Tensor Core, các phiên bản P5e và P5en hoạt động trên nền GPU NVIDIA H200 Tensor Core mang lại hiệu năng cao nhất trong Amazon EC2 cho các ứng dụng học sâu (DL) và điện toán hiệu năng cao (HPC). Các phiên bản này giúp bạn tăng tốc thời gian đưa ra giải pháp lên đến 4 lần so với các phiên bản EC2 dựa trên GPU thế hệ trước và giảm tới 40% chi phí đào tạo các mô hình máy học. Các phiên bản này giúp bạn lặp lại các giải pháp của mình với nhịp độ nhanh hơn và đưa ra thị trường nhanh hơn. Bạn có thể sử dụng các phiên bản P5, P5e và P5en để đào tạo và triển khai các mô hình ngôn ngữ lớn (LLM) ngày càng phức tạp và các mô hình khuếch tán hỗ trợ cho các ứng dụng trí tuệ nhân tạo (AI) tạo sinh đòi hỏi khắt khe nhất. Các ứng dụng này bao gồm trả lời câu hỏi, tạo mã, tạo video và hình ảnh và nhận dạng giọng nói. Bạn cũng có thể sử dụng các phiên bản này để triển khai các ứng dụng HPC đòi hỏi khắt khe ở quy mô lớn để tìm hiểu về dược phẩm, phân tích địa chấn, dự báo thời tiết và lập mô hình tài chính.
Để thực hiện những cải tiến về hiệu năng và tiết kiệm chi phí này, các phiên bản P5 và P5e bổ sung cho GPU NVIDIA H100 và H200 Tensor Core với hiệu năng CPU gấp đôi, bộ nhớ hệ thống gấp đôi và ổ lưu trữ cục bộ gấp 4 lần so với các phiên bản dựa trên GPU thế hệ trước. Phiên bản P5en ghép nối GPU NVIDIA H200 Tensor Core với CPU Intel Sapphire Rapids hiệu năng cao, cho phép PCIe Gen5 giữa CPU và GPU. Phiên bản P5en cung cấp băng thông cao hơn 4 lần giữa CPU và GPU và độ trễ mạng thấp hơn so với các phiên bản P5e và P5, do đó cải thiện hiệu năng đào tạo phân tán. Các phiên bản P5 và P5e hỗ trợ kết nối mạng lên đến 3.200 Gbps bằng cách sử dụng Trình chuyển cấu trúc linh hoạt (EFA) thế hệ thứ 2. P5en, với thế hệ thứ 3 của EFA sử dụng Nitro v5, cho thấy sự cải thiện tới 35% về độ trễ so với P5 sử dụng thế hệ trước của EFA và Nitro. Điều này giúp cải thiện hiệu năng giao tiếp tập thể cho khối lượng công việc đào tạo phân tán như ứng dụng học sâu, AI tạo sinh, xử lý dữ liệu theo thời gian thực và điện toán hiệu năng cao (HPC). Để cung cấp điện toán quy mô lớn ở độ trễ thấp, các phiên bản này được triển khai trong Amazon EC2 UltraClusters cho phép mở rộng lên đến 20.000 GPU H100 hoặc H200 được kết nối với mạng không chặn quy mô petabit. Các phiên bản P5, P5e và P5en trong EC2 UltraClusters có thể đạt tổng công suất điện toán tối đa 20 exaflop, đây là hiệu năng tương đương một siêu máy tính.
Phiên bản Amazon EC2 P5
Lợi ích
Tính năng
Chứng thực từ khách hàng
Dưới đây là một số ví dụ về cách khách hàng và đối tác đạt được mục tiêu kinh doanh của mình với các phiên bản Amazon EC2 P4.
-
Anthropic
Anthropic xây dựng các hệ thống AI đáng tin cậy, có thể diễn giải và có thể điều khiển mà sẽ có nhiều cơ hội để tạo ra giá trị thương mại và vì lợi ích công cộng.
Tại Anthropic, chúng tôi đang nỗ lực để xây dựng các hệ thống AI đáng tin cậy, có thể diễn giải và có thể điều khiển. Mặc dù các hệ thống AI chung quy mô lớn ngày nay có thể mang lại những lợi ích đáng kể nhưng cũng có thể không thể dự đoán, không đáng tin cậy và không rõ ràng. Mục tiêu của chúng tôi là cải thiện được những vấn đề này và triển khai các hệ thống mà mọi người thấy hữu ích. Chúng tôi là một trong số ít các tổ chức trên thế giới đang xây dựng các mô hình nền tảng trong nghiên cứu học sâu. Những mô hình này rất phức tạp và để phát triển và đào tạo các mô hình tiên tiến này, chúng ta cần phân phối các mô hình này một cách hiệu quả trên các cụm GPU lớn. Hiện nay, chúng ta đang sử dụng rộng rãi các phiên bản Amazon EC2 P4 và chúng tôi rất vui mừng về việc ra mắt các phiên bản P5. Chúng tôi hy vọng các phiên bản này sẽ mang lại lợi ích giá/hiệu năng đáng kể so với các phiên bản P4d và các phiên bản này sẽ có sẵn ở quy mô lớn cần thiết để xây dựng LLM thế hệ tiếp theo và các sản phẩm có liên quan.
Tom Brown, Người đồng sáng lập, Anthropic -
Cohere
Công ty tiên phong hàng đầu về AI ngôn ngữ là Cohere tạo điều kiện cho mọi nhà phát triển và doanh nghiệp xây dựng các sản phẩm tuyệt vời với công nghệ xử lý ngôn ngữ tự nhiên (NLP) hàng đầu thế giới trong khi vẫn đảm bảo dữ liệu của họ riêng tư và an toàn
Cohere dẫn đầu trong việc giúp mọi doanh nghiệp khai thác sức mạnh của AI ngôn ngữ để khám phá, tạo, tìm kiếm và hành động dựa trên thông tin một cách tự nhiên và trực quan, triển khai trên nhiều nền tảng đám mây trong môi trường dữ liệu hoạt động hiệu quả nhất cho từng khách hàng. Các phiên bản P5 cho Amazon EC2 hoạt động trên nền NVIDIA H100 sẽ giải phóng khả năng tạo, phát triển và điều chỉnh quy mô nhanh hơn cho các doanh nghiệp với khả năng điện toán kết hợp với các khả năng của AI tạo sinh và LLM hiện đại của Cohere.
Aidan Gomez, Giám đốc Điều hành, Cohere -
Hugging Face
Hugging Face đang thực hiện sứ mệnh dân chủ hóa máy học tốt.
Là cộng đồng nguồn mở phát triển nhanh nhất cho máy học, hiện chúng tôi cung cấp hơn 150.000 mô hình được đào tạo trước và 25.000 tập dữ liệu trên nền tảng của chúng tôi cho NLP, thị giác máy tính, sinh học, học tăng cường, v.v. Với những tiến bộ đáng kể trong LLM và AI tạo sinh, chúng tôi đang hợp tác với AWS để xây dựng và đóng góp các mô hình nguồn mở của tương lai. Chúng tôi mong muốn sẽ sử dụng các phiên bản P5 cho Amazon EC2 thông qua Amazon SageMaker trên quy mô lớn trong UltraClusters với EFA để đẩy nhanh việc cung cấp các mô hình AI nền tảng mới cho mọi người.
Julien Chaumond, Giám đốc Công nghệ và Người đồng sáng lập, Hugging Face
Chi tiết sản phẩm
Kích cỡ phiên bản | vCPU | Dung lượng bộ nhớ của phiên bản (TiB) | GPU | Bộ nhớ GPU | Băng thông mạng (Gbps) | GPUDirect RDMA | GPU ngang hàng | Dung lượng lưu trữ của phiên bản (TB) | Băng thông EBS (Gbps) |
---|---|---|---|---|---|---|---|---|---|
p5.48xlarge | 192 | 2 | 8 H100 | 640 GB HBM3 |
EFA 3200 Gbps | Có | NVSwitch 900 GB/giây | 8 x 3.84 SSD NVMe | 80 |
p5e.48xlarge | 192 | 2 | 8 H200 | 1128 GB HBM3e |
EFA 3200 Gbps | Có | NVSwitch 900 GB/giây | 8 x 3.84 SSD NVMe | 80 |
p5en.48xlarge | 192 | 2 | 8 H200 | 1128 GB HBM3e | EFA 3200 Gbps | Có | NVSwitch 900 GB/giây | 8 x 3.84 SSD NVMe | 100 |
Bắt đầu với các trường hợp sử dụng ML
Bắt đầu với các trường hợp sử dụng HPC
Các phiên bản P5, P5e và P5en là nền tảng lý tưởng để chạy các mô phỏng kỹ thuật, tài chính điện toán, phân tích địa chấn, dựng mô hình phân tử, nghiên cứu gen và chức năng gen, phối cảnh và các khối lượng công việc HPC dựa trên GPU khác. Các ứng dụng HPC thường yêu cầu hiệu năng mạng cao, lưu trữ nhanh, dung lượng bộ nhớ lớn, khả năng điện toán cao hoặc tất cả các yếu tố kể trên. Cả ba loại phiên bản đều hỗ trợ EFA cho phép các ứng dụng HPC sử dụng Giao diện truyền thông báo (MPI) để điều chỉnh quy mô lên hàng nghìn GPU. Lô AWS Batch và AWS ParallelCluster giúp các nhà phát triển HPC nhanh chóng xây dựng và điều chỉnh quy mô các ứng dụng HPC phân tán.
Tìm hiểu thêm