Amazon SageMaker HyperPod hiện hỗ trợ điền trước và giải mã phân tách
Amazon SageMaker HyperPod hiện hỗ trợ Điền trước và giải mã phân tách (DPD), một kỹ thuật tối ưu hóa suy luận phân tách hai giai đoạn của suy luận mô hình ngôn ngữ lớn (LLM) – điền trước và giải mã – sang các nhóm GPU chuyên dụng và truyền bộ nhớ đệm khóa-giá trị (KV) giữa các nhóm qua Trình chuyển cấu trúc linh hoạt (EFA) bằng cách sử dụng GPU-Direct RDMA. Khách hàng chạy LLM trong môi trường sản xuất cho trợ lý trò chuyện, quy trình tác tử, tạo tăng cường truy xuất và phân tích tài liệu dài cần độ trễ nhất quán trên mỗi token và thông lượng có thể dự đoán trong lưu lượng hỗn hợp. Tuy nhiên, khi giai đoạn điền trước và giải mã dùng chung cùng một GPU, một yêu cầu ngữ cảnh dài duy nhất có thể làm chậm quá trình tạo token cho mỗi yêu cầu đồng thời và buộc khách hàng cấp phát dư thừa cho một giai đoạn để bảo vệ giai đoạn còn lại.
Với DPD, khách hàng sẽ chạy giai đoạn điền trước vốn bị giới hạn bởi điện toán trên một tập hợp GPU và giai đoạn giải mã vốn bị giới hạn bởi băng thông bộ nhớ trên một tập hợp khác, do đó hai giai đoạn không còn cạnh tranh cùng một tài nguyên. Điều này mang lại độ trễ cho mỗi token ổn định hơn trong điều kiện xử lý đồng thời kéo dài, thông lượng hữu ích cao hơn ở các SLO có độ trễ nghiêm ngặt và khả năng điều chỉnh quy mô dung lượng điền trước và giải mã độc lập để phù hợp với phân phối đầu vào và đầu ra của khối lượng công việc. Một bộ định tuyến thông minh sẽ tự động hướng các yêu cầu ngữ cảnh dài thông qua đường dẫn phân tách và gửi câu lệnh ngắn hơn trực tiếp đến bộ giải mã. Vì vậy, khách hàng có được lợi ích nhờ lưu lượng truy cập cần đến tính năng này mà không phải trả chi phí chuyển đối với các câu lệnh ngắn. Khách hàng kích hoạt DPD bằng cách thêm phần `pdSpec` vào cùng một tài nguyên tùy chỉnh `InferenceEndpointConfig` mà họ đã sử dụng cho các điểm cuối suy luận trên Toán tử suy luận HyperPod và DPD có thể kết hợp với các tính năng giảm tải bộ nhớ đệm KV hiện có và các tính năng định tuyến thông minh trên HyperPod.
DPD có sẵn cho các cụm SageMaker HyperPod sử dụng trình điều phối EKS trên các loại phiên bản có khả năng EFA ở tất cả các Khu vực AWS cung cấp Amazon SageMaker HyperPod. Để tìm hiểu thêm, hãy xem phần Điền trước và giải mã phân tách cho suy luận HyperPod trong Hướng dẫn dành cho nhà phát triển về Amazon SageMaker AI.