AWS Lambda mở rộng hỗ trợ truyền phát phản hồi cho tất cả các Khu vực AWS thương mại
AWS Lambda hiện cho phép truyền phát phản hồi ở tất cả các Khu vực AWS thương mại, đảm bảo khả năng này được hỗ trợ đồng đều ở tất cả các khu vực. Khách hàng tại các Khu vực mới được hỗ trợ có thể sử dụng API InvokeWithResponseStream để truyền phát dần phần dữ liệu truyền tải phản hồi trở lại máy khách khi có dữ liệu.
Truyền phát phản hồi cho phép các hàm gửi phản hồi từng phần cho máy khách theo kiểu tăng dần, thay vì tạo bộ đệm cho toàn bộ phản hồi trước khi truyền. Điều này giúp giảm độ trễ thời gian đến byte đầu tiên (TTFB) và đặc biệt phù hợp với khối lượng công việc đòi hỏi cao về độ trễ như các ứng dụng dựa trên LLM cũng như các ứng dụng web và di động, giúp ích cho người dùng khi họ thấy phản hồi được hiển thị từng phần. Truyền phát phản hồi hỗ trợ phần dữ liệu truyền tải lên đến mức tối đa mặc định là 200 MB.
Với lần mở rộng này, khách hàng ở tất cả các Khu vực thương mại có thể truyền phát phản hồi bằng API InvokeWithResponseStream thông qua SDK AWS được hỗ trợ hoặc thông qua các API REST của Cổng API Amazon có bật truyền phát phản hồi. Khả năng truyền phát phản hồi hỗ trợ thời gian hoạt động được quản lý của Node.js và thời gian hoạt động tùy chỉnh.
Truyền phát phản hồi làm phát sinh thêm chi phí khi truyền phần dữ liệu truyền tải của phản hồi qua mạng. Hệ thống sẽ tính phí cho bạn dựa trên số byte được tạo và truyền phát từ hàm Lambda vượt quá 6 MB đầu tiên. Để bắt đầu sử dụng khả năng truyền phát phản hồi của Lambda, hãy truy cập tài liệu về AWS Lambda.