Category: Artificial Intelligence

在各行各业中，企业级知识库的需求普遍存在，而大语言模型的应用为企业级知识库带来了全新的可能性，通过 RAG 的 […]

构建智能导购方案，利用大语言模型的对话能力，充分挖掘客户的购物需求，结合客户的历史行为数据，推荐最合适的商品给到用户，并使用大语言模型生成个性化的营销文案。

大语言模型 LLM 和生成式人工智能进一步推动了新一代机器学习的大规模普及和应用，同时也有越来越多的团队选择构建自己的大（语言）模型，以实现更好的生成效果。但是，高效地训练这些包含数十亿甚至数千亿参数的模型是一个非常大的挑战，因为模型越大，理论上所需要的计算资源就越多，如何设计一个高性能的基础设施来支持这些密集型的分布式工作负载，已经成为一个关键性的问题。为了解决这个难题，在亚马逊云科技平台上可以使用面向大规模机器学习（以及高性能计算 HPC）场景下的 Elastic Fabric Adapter（下文称 EFA），它是一种 Amazon EC2 实例上创新的网络接口，可以显著提高机器学习和高性能计算应用程序的网络性能。

在生成式 AI 的图像生成场景下，我们基于 Amazon EKS，实现了一种更加适合 toC 场景的解决方案，它将帮助客户从容应对大并发量的请求，达到分钟级冷启动；使用更简单的控制平面，为客户提供更灵活的架构，轻松实现各种功能模块设计；同时，它还利用 Amazon Spot instances，帮助客户有效控制成本。

探索了如何在不同场景下部署 Litellm-proxy，这是一个非常有用的代理。通过搭建该代理，您可以轻松地修改原有应用中的 OpenAI 请求地址，将其切换到 Bedrock 或 SageMaker。

本文介绍了近期业界新的 Rolling Batch（continually batch）的批处理推理优化技术原理，并给出了在 Amazon SageMaker 上使用 vLLM 框架进行 Rolling Batch 推理优化的实践和测试对比，可以帮助客户在实际生产场景中通过简单配置，立竿见影地提升线上部署的 LLM 的推理吞吐量，降低响应时延，节省资源。

本文提供了一个快速搭建 Claude2 与 ComfyUI 的解决方案，通过程序化手段巧妙地将这两个 LLM 和视频生成模型融合，使其在实际业务场景中具备更显著的价值。

生成式 AI 正在井喷式快速发展，结合 Bedrock + Textract 加速 OCR 场景文本精准识别与提取

2023 年 10 月 19 日，全球热度最高的电子竞技赛事“2023 英雄联盟全球总决赛”即将隆重开赛，JDG、LNG 等中国战队即将迎战 Fnatic、KT 等世界强队。AWS 游戏行业团队和重要客户：拳头游戏一起，为这个重要的赛事打造了一个基于机器学习服务的可视化实时电竞胜率数据分析服务，帮助赛事观众和解说员深入理解比赛，追踪战队状态。

从初创企业到大型企业，各种规模的组织都纷纷开始接触生成式人工智能技术。这些企业希望充分利用生成式人工智能，将自 […]