AWS Lambda расширяет поддержку потоковой передачи ответов на все коммерческие регионы AWS
Потоковая передача ответов AWS Lambda теперь доступна во всех коммерческих регионах AWS, что обеспечивает полный региональный паритет для этой возможности. Клиенты из новых поддерживаемых регионов могут применять API-интерфейс InvokeWithResponseStream для постепенной передачи полезных данных ответов своим клиентам по мере поступления данных.
Потоковая передача ответов позволяет функциям поэтапно отправлять клиентам частичные ответы, а не буферизировать весь ответ перед передачей. Это уменьшает задержку до первого байта (time-to-first-byte, TTFB) и хорошо подходит для чувствительных к задержкам рабочих нагрузок, таких как приложения на основе больших языковых моделей (LLM), а также веб- и мобильные приложения, в которых пользователи смогут получать постепенно отображаемые ответы. Потоковая передача ответов по умолчанию поддерживает отправку полезных данных объемом до 200 МБ.
Благодаря текущему расширению клиенты во всех коммерческих регионах смогут передавать ответы в потоковом режиме с помощью API InvokeWithResponseStream, используя поддерживаемый пакет средств разработки ПО (SDK) AWS или интерфейсы с потоковой передачей ответов REST API для API-шлюза Amazon. Потоковая передача ответов поддерживает управляемые среды выполнения Node.js, равно как и специализированные среды.
При потоковой передаче ответов взимается дополнительная плата за пересылку полезных данных ответа по сети. Счет выставляется в зависимости от количества байт, генерируемых и передаваемых функцией Lambda сверх первых 6 МБ. Чтобы начать работу с потоковой передачей ответов Lambda, ознакомьтесь с документацией AWS Lambda.