Amazon EKS hiện hỗ trợ lên đến 100.000 nút thợ trên mỗi cụm
Hôm nay, Amazon EKS công bố hỗ trợ lên đến 100.000 nút thợ trong một cụm, cho phép bạn chạy khối lượng công việc đào tạo và suy luận AI/ML siêu quy mô trong một cụm duy nhất. Với các loại phiên bản điện toán tăng tốc thế hệ mới của Amazon EC2, 100.000 nút thợ hỗ trợ đến 1,6 triệu chip Trainium với phiên bản Trn2 và 800.000 GPU NVIDIA với phiên bản P5 và P6 trong một cụm duy nhất. Điều này cho phép bạn chạy các khối lượng công việc AI/ML siêu quy mô yêu cầu tất cả các trình tăng tốc điện toán phải có sẵn trong một cụm duy nhất, vì các khối lượng công việc này không thể dễ dàng phân phối trên nhiều cụm.
Các mô hình AI tiên tiến nhất với hàng nghìn tỷ tham số thể hiện khả năng cải tiến đáng kể trong việc hiểu bối cảnh, suy luận và giải quyết các tác vụ phức tạp. Để xây dựng và vận hành các mô hình ngày càng mạnh mẽ này, các tổ chức yêu cầu quyền truy cập vào số lượng lớn các trình tăng tốc điện toán trong một cụm duy nhất. Quyền truy cập hợp nhất vào một nhóm lớn các trình tăng tốc điện toán như vậy mang lại những lợi ích quan trọng: cho phép các tổ chức xây dựng và triển khai các mô hình AI mạnh mẽ hơn bao giờ hết, giảm chi phí bằng cách chia sẻ các trình tăng tốc điện toán một cách hiệu quả giữa khối lượng công việc đào tạo và suy luận, đồng thời cho phép sử dụng liền mạch các công cụ và khung AI/ML hiện có không được thiết kế để hoạt động trên các cụm.
Để tìm hiểu thêm, hãy xem blog ra mắt.