Amazon API Gateway が REST API のレスポンスストリーミングのサポートを開始
Amazon API Gateway は、レスポンスペイロードが利用可能になると、クライアントに段階的にストリーミングするようになりました。これにより、送信前に完全なレスポンスをバッファリングする必要がなくなり、REST API の応答性が向上します。この新機能は、Lambda 関数、HTTP プロキシ統合、プライベート統合など、ストリーミングをサポートするバックエンドで動作します。
レスポンスストリーミングには、3 つの主なメリットがあります。最初の 1 バイトまでの時間 (TTFB) パフォーマンスの向上、統合タイムアウトの最大 15 の分延長、10 MB を超えるペイロードのサポートです。特に生成 AI アプリケーションは、TTFB の向上によるメリットを受けます。ユーザーはレスポンスがリアルタイムで段階的に表示されるのを確認できるだけでなく、処理に時間のかかる複雑な検討重視のモデルも、タイムアウトを延長して実行できるようになります。さらに、大容量ペイロードのサポートにより、事前に署名された Amazon S3 URL などの回避策を必要とせずに、メディアファイルや大規模なデータセットを直接ストリーミングできます。
この機能の料金については、Amazon API Gateway の料金表ページをご覧ください。Amazon API Gateway のレスポンスストリーミングは、AWS GovCloud (米国) リージョンを含むすべての AWS リージョンで利用可能で、リージョン、プライベート、エッジ最適化のエンドポイントで動作します。開始するには、Amazon API Gateway ドキュメント、AWS ブログ、お客様事例ブログ記事をご覧ください。