亚马逊AWS官方博客

Category: Artificial Intelligence

基于大语言模型知识问答应用落地实践 – 知识库构建(下)

本文在本系列上篇博客的基础上,通过一个真实数据场景的实践进行更详细的阐述,讨论的重点更多放在针对大规模的文档,更快更完整的构建基于向量数据的知识库上面,这对于一些行业如金融、法律、医疗等行业知识库的构建具备指导借鉴意义。本文的第一部分对于 OpenSearch 的集群配置选择给出了一些方法参考,第二三四部分对于数据摄入和检索性能等方面给出了一些初步的经验总结。

语义搜图检索方案

图像检索(包括文搜图和图搜图)是各个行业中常见的一个应用场景。比如在电商场景中,基于以图搜图做相似商品查找;在云相册场景中,基于文搜图来找寻所需的图像素材……在本文中,我们将介绍两种基于语义的搜图检索方式以及部署方案,您可以实际测试两种方式在特定应用场景下的搜索率以及搜索的准确性,并选择更加适合的方案使用。

利用 Elastic File System 加速 Stable Diffusion WebUI 部署推理

面对在容器化环境中进行 Stable Diffusion WebUI 的部署,容器镜像往往高达几十 GB,在进行模型部署时,往往需要等待 15~20 分钟才能部署一套文生图、图生图的 AI 应用。有时候我们不得不采用提前预置 GPU 实例,以满足实时或近实时推理的需求,这就提升了 Stable Diffusion WebUI 的成本。此方案是通过利用 EFS 共享文件系统来加速 Stable Diffusion WebUI 部署推理。通过实验可以观察到有数倍的部署加速效果,特别适用于企业级客户对文生图推理应用的场景。