Category: Artificial Intelligence

在本篇 blog 中，我们以 Bedrock 为例，阐述了 Amazon Athena 这一 Serverless 服务进行云上日志结构化建表与查询，并提取 inputtokencount 与 outputtokencount 两个字段来帮助 Bedrock 用户计算服务调用的费用。

本文通过 Amazon Bedrock 支持的大语言模型以及 Stable Diffusion 模型，配合 Langchain Agent 实现了交互式文生图功能，用户可以要求 Langchain Agent 根据其指令反复调整提示词并生成图片以达到无需提示词工程且较为精细化控制图片生成的效果。

在各行各业中，企业级知识库的需求普遍存在，而大语言模型的应用为企业级知识库带来了全新的可能性，通过 RAG 的 […]

构建智能导购方案，利用大语言模型的对话能力，充分挖掘客户的购物需求，结合客户的历史行为数据，推荐最合适的商品给到用户，并使用大语言模型生成个性化的营销文案。

大语言模型 LLM 和生成式人工智能进一步推动了新一代机器学习的大规模普及和应用，同时也有越来越多的团队选择构建自己的大（语言）模型，以实现更好的生成效果。但是，高效地训练这些包含数十亿甚至数千亿参数的模型是一个非常大的挑战，因为模型越大，理论上所需要的计算资源就越多，如何设计一个高性能的基础设施来支持这些密集型的分布式工作负载，已经成为一个关键性的问题。为了解决这个难题，在亚马逊云科技平台上可以使用面向大规模机器学习（以及高性能计算 HPC）场景下的 Elastic Fabric Adapter（下文称 EFA），它是一种 Amazon EC2 实例上创新的网络接口，可以显著提高机器学习和高性能计算应用程序的网络性能。

在生成式 AI 的图像生成场景下，我们基于 Amazon EKS，实现了一种更加适合 toC 场景的解决方案，它将帮助客户从容应对大并发量的请求，达到分钟级冷启动；使用更简单的控制平面，为客户提供更灵活的架构，轻松实现各种功能模块设计；同时，它还利用 Amazon Spot instances，帮助客户有效控制成本。

探索了如何在不同场景下部署 Litellm-proxy，这是一个非常有用的代理。通过搭建该代理，您可以轻松地修改原有应用中的 OpenAI 请求地址，将其切换到 Bedrock 或 SageMaker。

本文介绍了近期业界新的 Rolling Batch（continually batch）的批处理推理优化技术原理，并给出了在 Amazon SageMaker 上使用 vLLM 框架进行 Rolling Batch 推理优化的实践和测试对比，可以帮助客户在实际生产场景中通过简单配置，立竿见影地提升线上部署的 LLM 的推理吞吐量，降低响应时延，节省资源。

本文提供了一个快速搭建 Claude2 与 ComfyUI 的解决方案，通过程序化手段巧妙地将这两个 LLM 和视频生成模型融合，使其在实际业务场景中具备更显著的价值。

生成式 AI 正在井喷式快速发展，结合 Bedrock + Textract 加速 OCR 场景文本精准识别与提取