Amazon SageMaker 推出多适配器模型推理

发布于: 2024年11月25日

今天，Amazon SageMaker 推出了新的多适配器推理功能，让客户能够使用预训练的语言模型发掘更多机遇。借助此功能，您可以在单个终端节点后面部署数百个经过微调的 LoRA（低等级自适应）模型适配器，根据请求在毫秒内动态加载适当的适配器。这使您能够高效地托管许多基于常见基础模型构建的专用 LoRA 适配器，与部署单独的模型相比，可提供高吞吐量并节省成本。

借助多适配器推理，您可以快速自定义预训练的模型以满足不同的业务需求。例如，营销和 SaaS 公司可以使用每位客户独特的图片、沟通风格和文档对 AI/ML 应用程序进行个性化设置，在几秒钟内生成量身定制的内容。同样，医疗保健和金融服务等行业的企业只需要更换经过微调的适当适配器，即可重复使用由 LoRA 提供支持的常见基础模型，来执行从医疗诊断到欺诈检测等的各种专业任务。这种灵活性和效率为在企业内部署功能强大、适应性强的 AI 创造了新的机会。

多适配器推理功能已在以下区域全面推出：亚太地区（东京、首尔、孟买、新加坡、悉尼、雅加达）、加拿大（中部）、欧洲地区（法兰克福、斯德哥尔摩、爱尔兰、伦敦）、中东（阿联酋）、南美洲（圣保罗）、美国东部（弗吉尼亚州北部、俄亥俄州）和美国西部（俄勒冈州）。

要开始使用，请参阅 Amazon SageMaker 开发人员指南，了解有关使用 LoRA 和管理模型适配器的信息。