亚马逊AWS官方博客

Category: Artificial Intelligence

基于检索增强生成(RAG)的 Streaming LLM 应用开发实战

在此博客里,我们将构建一个基于 RAG 的 LLM 应用程序,使用 LLM 和 Embedding 的向量生成模型进行语义搜索与文本相似性,来构建一个带有图形界面的问答式文档 Web 应用程序。我们将模拟一个工业生产线故障诊断的搜索,并根据搜索给出智能分析方案。由于大模型基本上都支持 Streaming 的方式生成内容,这样用户不用等待所有结果输出结束就可以看到持续生成的内容。我们这里使用 AWS 基础设施,来构建一个基于 HTTP Streaming 的 LLM 应用。

在 Amazon EKS 上部署 Gen AI 模型

生成式人工智能(GenAI)正在改变企业的运作方式,并加快创新的步伐。总体而言,人工智能正在改变企业利用技术的方式。生成式人工智能技术包括微调和部署大型语言模型(LLM),并允许开发人员访问这些模型以执行提示和对话。负责在 Kubernetes 上制定标准的平台团队可以在 Amazon EKS 上微调和部署大语言模型。本文将通过一个端到端的例子带您了解如何在 Amazon EKS 上构建生成式人工智能系统。