Category: Application Integration

本文介绍了近期业界新的 Rolling Batch（continually batch）的批处理推理优化技术原理，并给出了在 Amazon SageMaker 上使用 vLLM 框架进行 Rolling Batch 推理优化的实践和测试对比，可以帮助客户在实际生产场景中通过简单配置，立竿见影地提升线上部署的 LLM 的推理吞吐量，降低响应时延，节省资源。

本文介绍了如何使用 SageMaker JumpStart 部署 Llama 2 模型，结合 Gradio 轻松构建生成式 AI 聊天助手。

Amazon Selling Partner API Guard 是 2022 年亚马逊为 SP-API 开发者发布的一套针对安全合规的无服务器扫描方案。Amazon Selling Partner API Guard 可以扫描部署在亚马逊云上的负载环境，以评估开发者的环境是否满足 Amazon 的 DPP 数据保护协议的要求和需要。

本文将以 Amazon Linux2 系统和 Unity 引擎为基础，讨论几种 Gamelift 游戏服务端会话日志可视化方案。

对于需要在 AWS 上使用 Apache Airflow 但是 无法使用 AWS 托管服务 MWAA ， 或者想使用特定 Apache Airflow 版本， 或者想定制 Apache Airflow 登陆、部署方式的用户，可以通过此方案搭建高可靠的 Apache Airflow 集群，同时提供用户登陆和鉴权机制。此方案已在全球知名 Tier One 汽车供应商的高级辅助驾驶系统（Advanced driver-assistance system, ADAS）开发平台成功应用。

通过AWS CodeBuild为引擎的CI/CD流水线，自动化云上数据应用运维关键步骤，减轻数据开发团队与云运维团队在管理云上数据应用时的额外工作压力

使用 Amazon SQS 和 Notifications API，您可以创建接收通知、订阅通知、删除通知订阅等操作。当事件触发您订阅的通知时，您的应用程序可以直接从 Amazon 接收信息，而不再需要进行轮询，这样做可有效减少 SP-API 各个接口的轮询次数, 并拥有更高的实时性。

EC2 Spot实例终止会导致AWS Batch任务失败，本文通过Batch的失败Event结合Lambda函数实现以自动化方式再次重新提交任务，缓解了量化场景下模型策略开发用户在由于Spot中断而必须手动提交任务上所付出的额外工作，提升了策略模型开发的效率

为了方便云上企业应用向企业内部或者合作伙伴的随机收件人发送邮件通知，本文探讨一种SES邮件服务的备用方案（Workaround Solution），使用亚马逊云科技无服务器化（Serverless）的Amazon Simple Queue Service (SQS)与AWS Lambda服务，结合使用企业自有的SMTP服务器中继完成发送邮件通知的功能

该博客着重介绍了一种方法，该方法可用于使用协作工具Slack直接地触发AppStream2.0按需扩展规模，而无需使用API或登录AWS控制台。这使管理员和用户的工作更加轻松的管理AppStream2.0。