亚马逊AWS官方博客

Category: Application Integration

基于 Axios 的 HTTP 测试工具解决方案

Serverless 的广泛应用使得创建 HTTP/HTTPS 接口变得越发容易,但是如何以贴近实际使用场景的方式访问和测试这些接口仍然是一个问题。Axios[1]作为业界流行的开发库广泛用于浏览器、H5 和移动端,在其之上构建可视化UI用于访问和测试 HTTP/HTTPS 接口可以达到更加贴近实际应用场景的目的。本方案基于 Axios 构建可视化 UI,支持一键安装部署,支持免费套餐,助力用户在成本极低的情况下尽早发现和排除潜在问题、缺陷和风险,加快应用的构建、迭代速度,获得商业上的成功。

使用 Rolling Batch 加速 SageMaker LLM 模型推理性能

本文介绍了近期业界新的 Rolling Batch(continually batch)的批处理推理优化技术原理,并给出了在 Amazon SageMaker 上使用 vLLM 框架进行 Rolling Batch 推理优化的实践和测试对比,可以帮助客户在实际生产场景中通过简单配置,立竿见影地提升线上部署的 LLM 的推理吞吐量,降低响应时延,节省资源。

一种使用 AWS 云原生服务部署高可用 APACHE AIRFLOW 集群的方案

对于需要在 AWS 上使用 Apache Airflow 但是 无法使用 AWS 托管服务 MWAA , 或者想使用特定 Apache Airflow 版本, 或者想定制 Apache Airflow 登陆、部署方式的用户,可以通过此方案搭建高可靠的 Apache Airflow 集群,同时提供用户登陆和鉴权机制。此方案已在全球知名 Tier One 汽车供应商的高级辅助驾驶系统(Advanced driver-assistance system, ADAS)开发平台成功应用。