Amazon EC2

Amazon EC2 UltraServers

Đào tạo và suy luận AI quy mô lớn

Tại sao nên chọn Amazon EC2 UltraServers?

Máy chủ Amazon Elastic Compute Cloud (Amazon EC2) UltraServer phù hợp cho những khách hàng mong muốn tăng tối đa hiệu suất đào tạo và suy luận AI cho các mô hình ở quy mô nghìn tỷ tham số. UltraServer kết nối nhiều phiên bản EC2 bằng kết nối tăng tốc chuyên dụng, băng thông cao, độ trễ thấp, cho phép bạn tận dụng mạng lưới tăng tốc được liên kết chặt chẽ trên nhiều phiên bản EC2 và truy cập vào nhiều khả năng điện toán và bộ nhớ vượt trội so với các phiên bản EC2 độc lập.

EC2 UltraServers phù hợp với các mô hình lớn nhất đòi hỏi nhiều bộ nhớ và băng thông bộ nhớ hơn so với khả năng của những phiên bản EC2 độc lập. Thiết kế UltraServer sử dụng kết nối tăng tốc nội bộ để kết nối nhiều phiên bản thành một nút để khai mở các quyền năng mới. Đối với suy luận, UltraServers giúp mang đến thời gian phản hồi đầu ngành để tạo ra trải nghiệm thời gian thực tốt nhất. Còn với đào tạo, UltraServers thúc đẩy tốc độ và hiệu quả đào tạo mô hình nhờ phương thức giao tiếp tập thể nhanh hơn, hỗ trợ tính song song của mô hình so với các phiên bản độc lập. EC2 UltraServer hỗ trợ lập mạng lưới EFA và khi triển khai trong EC2 UltraClusters, cho phép đào tạo phân tán mở rộng trên hàng chục nghìn trình tăng tốc trên một mạng không chặn, có quy mô petabit duy nhất. Nhờ cung cấp hiệu suất cao hơn cho cả đào tạo và suy luận, UltraServers giúp bạn đẩy nhanh thời gian đưa sản phẩm ra thị trường và cung cấp các ứng dụng thời gian thực được hỗ trợ bởi các mô hình nền tảng thế hệ mới, hiệu suất cao nhất.

Lợi ích

Đào tạo và triển khai các mô hình ở quy mô thông số hơn nghìn tỷ

UltraServer cho phép đào tạo và suy luận hiệu quả các mô hình với hàng trăm tỷ đến hàng nghìn tỷ tham số bằng cách liên kết một bộ tăng tốc lớn hơn với kết nối băng thông cao, độ trễ thấp để cung cấp nhiều tính toán và bộ nhớ hơn các phiên bản EC2 độc lập.

Giảm độ trễ suy luận cho các ứng dụng thời gian thực

UltraServer cho phép suy luận thời gian thực cho các mô hình siêu lớn đòi hỏi tài nguyên bộ nhớ và băng thông bộ nhớ đáng kể vượt quá những gì mà một phiên bản EC2 có thể cung cấp.

Giảm thời gian đào tạo bằng cách mở rộng tính song song của mô hình đến nhiều bộ gia tốc hơn

UltraServer cho phép giao tiếp tập thể nhanh hơn cho tính song song mô hình so với các phiên bản độc lập, giúp bạn giảm thời gian đào tạo.

Tính năng

Kết nối bộ tăng tốc chuyên dụng, băng thông cao và độ trễ thấp

Bạn có thể khởi chạy phiên bản vào UltraServer và tận dụng kết nối bộ tăng tốc chuyên dụng, băng thông cao và độ trễ thấp trên các phiên bản này. UltraServer cho phép truy cập vào một số lượng lớn các bộ tăng tốc được kết nối với kết nối chuyên dụng này, cung cấp nhiều tính toán và bộ nhớ hơn đáng kể trong một node duy nhất so với các phiên bản EC2 độc lập.

Kết nối mạng hiệu năng cao

EC2 UltraServer triển khai trong EC2 UltraCluster được kết nối với mạng EFA quy mô petabit để cải thiện hiệu năng cho khối lượng công việc đào tạo phân tán và khối lượng công việc HPC được liên kết chặt chẽ.

Lưu trữ hiệu năng cao

Bạn có thể sử dụng EC2 UltraServer cùng với các giải pháp lưu trữ hiệu suất cao như Amazon FSx for Lustre, bộ lưu trữ chia sẻ được quản lý đầy đủ được xây dựng trên hệ thống tệp song song hiệu suất cao phổ biến nhất. Bạn cũng có thể sử dụng kho lưu trữ tiết kiệm chi phí gần như không giới hạn Amazon Simple Storage Service (Amazon S3).

Xây dựng trên hệ thống Nitro

Phiên bản EC2 được xây dựng trên AWS Nitro System, một tập hợp phong phú gồm các khối dựng giúp chuyển tải nhiều chức năng ảo hóa truyền thống sang phần cứng chuyên dụng. Hệ thống này đem đến hiệu năng cao, độ sẵn sàng cao và bảo mật tốt, giảm chi phí ảo hóa.

Phiên bản được hỗ trợ

Phiên bản Trn2

Các phiên bản Trn2 trong cấu hình Trn2 UltraServer (cho phép xem trước) sử dụng chip AWS Trainium2 hỗ trợ mở rộng quy mô lên tới 64 chip Trainium2 kết nối bằng NeuronLink, kết nối chuyên dụng có băng thông cao, độ trễ thấp dành cho chip AI của AWS. Trn2 UltraServers đảm bảo hiệu suất vượt trội trong Amazon EC2 cho mục đích đào tạo và suy luận AI tạo sinh.

Tìm hiểu thêm

Phiên bản P6e-GB200

Được cải thiện nhờ NVIDIA GB200 NVL72, phiên bản P6e-GB200 trong cấu hình UltraServer cho phép bạn truy cập tối đa 72 GPU Blackwell trong một miền NVLink để tận dụng 360 petaflops điện toán FP8 (không có độ thưa thớt), 13,4 TB tổng bộ nhớ băng thông cao (HBM3e) và tối đa 28,8 terabit mỗi giây của mạng Elastic Fabric Adapter (EFAv4). Phiên bản P6e-GB200 chỉ có sẵn trong UltraServer từ 8 GPU đến 72 GPU.