Category: Artificial Intelligence

探索了如何在不同场景下部署 Litellm-proxy，这是一个非常有用的代理。通过搭建该代理，您可以轻松地修改原有应用中的 OpenAI 请求地址，将其切换到 Bedrock 或 SageMaker。

本文介绍了近期业界新的 Rolling Batch（continually batch）的批处理推理优化技术原理，并给出了在 Amazon SageMaker 上使用 vLLM 框架进行 Rolling Batch 推理优化的实践和测试对比，可以帮助客户在实际生产场景中通过简单配置，立竿见影地提升线上部署的 LLM 的推理吞吐量，降低响应时延，节省资源。

本文提供了一个快速搭建 Claude2 与 ComfyUI 的解决方案，通过程序化手段巧妙地将这两个 LLM 和视频生成模型融合，使其在实际业务场景中具备更显著的价值。

生成式 AI 正在井喷式快速发展，结合 Bedrock + Textract 加速 OCR 场景文本精准识别与提取

2023 年 10 月 19 日，全球热度最高的电子竞技赛事“2023 英雄联盟全球总决赛”即将隆重开赛，JDG、LNG 等中国战队即将迎战 Fnatic、KT 等世界强队。AWS 游戏行业团队和重要客户：拳头游戏一起，为这个重要的赛事打造了一个基于机器学习服务的可视化实时电竞胜率数据分析服务，帮助赛事观众和解说员深入理解比赛，追踪战队状态。

从初创企业到大型企业，各种规模的组织都纷纷开始接触生成式人工智能技术。这些企业希望充分利用生成式人工智能，将自 […]

本文是 Stable Diffusion Quick Kit 系列博客的一部分，介绍如何在 SageMaker Training Job 中加载进行 Stable Diffusion XL（以下简称SDXL）的 Dreambooth 微调训练，及训练完成后使用 Stable Diffusion WebUI 开源框架进行模型部署和即时推理，实现训推一体的整体 pipeline 及业务流程。

本文是本系列的第四篇，对 RAG 场景中的知识召回展开介绍，基于一些实践总结了向量召回问题分析和优化的经验。

在这篇文章中，我们介绍了如何在 SageMaker 上启用低延迟 GPT-2 推理以创造商业价值。具体来说，在 NVIDIA TensorRT 的支持下，对于定制的 GPT-2 模型，我们可以通过 SageMaker 在 NVIDIA GPU 实例上实现 2.9 倍的加速。

这篇文章介绍了 Provectus 和 Earth.com 如何通过实施端到端机器学习管道（作为托管 MLOps 平台和托管人工智能服务的一部分）来增强 EarthSnap 的人工智能驱动的图像识别功能、减少工程繁重工作并最大限度地降低管理成本。