API-шлюз Amazon теперь поддерживает потоковую передачу ответов для обработки запросов на основе передачи состояния
API-шлюз Amazon теперь постепенно передает полезные данные ответов клиентам по мере их поступления. Это повышает скорость обработки запросов на основе передачи состояния, устраняя необходимость в буферизации полных ответов перед передачей. Данная возможность работает с внутренними системами, поддерживающими потоковую передачу, включая функции Lambda, интеграции с прокси-серверами HTTP и частные интеграции.
Потоковая передача ответов дает три основных преимущества: ускорение доставки первого байта (TTFB), увеличение времени ожидания интеграции до 15 минут и поддержку полезных данных объемом более 10 МБ. Приложения генеративного искусственного интеллекта особенно выигрывают от улучшения показателя TTFB, так как пользователи могут получать ответы постепенно в реальном времени, так что сложные модели теперь могут тратить больше времени на тщательную подготовку ответов. Кроме того, поддержка больших объемов полезных данных позволяет напрямую передавать мультимедийные файлы и большие наборы данных в потоковом режиме, не прибегая к таким обходным решениям, как предварительно подписанные URL-адреса Amazon S3.
Подробные сведения о ценах на эту функцию см. на странице цен на API-шлюз Amazon. Потоковая передача ответов API-шлюза Amazon доступна во всех регионах AWS, включая регионы AWS GovCloud (США), и работает с региональными, частными и оптимизированными для периферии адресами. Для начала ознакомьтесь с документацией API-шлюза Amazon, блогом AWS и публикациями в блоге с историями успеха клиентов.