Các phiên bản Trn2 của Amazon EC2 đã được phát hành rộng rãi
Hôm nay, AWS thông báo cung cấp rộng rãi các phiên bản Trn2 của Amazon Elastic Compute Cloud (Amazon EC2) và bản xem trước của Trn2 UltraServers sử dụng chip AWS Trainium2. Các phiên bản Trn2 và UltraServer được cung cấp qua Khối dung lượng EC2. Đây là các giải pháp tính toán EC2 mạnh mẽ nhất cho học sâu cũng như đào tạo và suy luận AI tạo sinh.
Bạn có thể sử dụng các phiên bản Trn2 để đào tạo và triển khai các mô hình nền tảng đòi hỏi khắt khe nhất, trong đó có các mô hình ngôn ngữ lớn (LLM), mô hình đa phương thức, bộ chuyển đổi khuếch tán, v.v. để xây dựng một tập hợp các ứng dụng AI đa dạng. Để rút ngắn thời gian đào tạo và đạt được thời gian phản hồi đột phá (độ trễ theo từng mã thông báo) cho các mô hình tiên tiến và mạnh mẽ nhất, bạn có thể cần đến sức mạnh điện toán và bộ nhớ vượt xa khả năng của một phiên bản đơn lẻ. Trn2 UltraServers là một dịch vụ EC2 hoàn toàn mới sử dụng NeuronLink, một kết cấu băng thông cao, độ trễ thấp, để kết nối 64 chip Trainium2 trên 4 phiên bản Trn2 thành một nút khai phá hiệu suất vô song. Đối với suy luận, UltraServers giúp mang đến thời gian phản hồi đầu ngành để tạo ra trải nghiệm thời gian thực tốt nhất. Còn với đào tạo, UltraServers thúc đẩy tốc độ và hiệu quả đào tạo mô hình nhờ phương thức giao tiếp tập thể nhanh hơn, hỗ trợ tính song song của mô hình so với các phiên bản độc lập.
Các phiên bản Trn2 có 16 chip Trainium2 để cung cấp tới 20,8 petaflop tính toán FP8, bộ nhớ băng thông cao 1,5 TB với băng thông bộ nhớ 46 TB/giây và mạng EFA 3,2 Tb/giây. Trn2 UltraServers có 64 chip Trainium2 để cung cấp tới 83,2 petaflop tính toán FP8, tổng bộ nhớ băng thông cao 6 TB với tổng băng thông bộ nhớ 185 TB/giây và mạng EFA 12,8 Tb/giây. Cả hai đều được triển khai trong EC2 UltraClusters để mang đến khả năng mở rộng quy mô theo petabit không chặn để đào tạo phân tán. Các phiên bản Trn2 hiện đã được phát hành rộng rãi với kích cỡ trn2.48xlarge ở Khu vực AWS Miền Đông Hoa Kỳ (Ohio) thông qua Khối dung lượng EC2 cho ML.
Để tìm hiểu thêm về các phiên bản Trn2 và yêu cầu quyền truy cập vào Trn2 UltraServers, vui lòng truy cập trang phiên bản Trn2.