Amazon SageMaker 推出多轉接器模型推論

張貼日期: 2024年11月25日

Amazon SageMaker 如今推出了全新的多轉接器推論功能，為使用預先訓練之語言模型的客戶提供令人期待的可能性。此功能允許您在單一端點後部署數百個微調的 LoRA (低等級適應性) 模型轉接器，根據要求在毫秒內動態載入適當的轉接器。這使您能夠有效率地託管在通用基礎模型上構建的許多專業 LoRA 轉接器，與部署個別模型相比，能夠提供高輸送量和成本節省。

您可以透過多轉接器推論，快速自訂預先訓練的模型，以滿足不同的業務需求。例如，行銷和 SaaS 公司可以使用每個客戶的獨特影像、溝通風格和文件個人化 AI /ML 應用程式，在幾秒鐘內產生量身打造的內容。同樣地，醫療保健和金融服務等產業的企業只需更換適當的微調轉接器，就可以重複使用通用 LoRA 驅動的基礎模型，來處理從醫療診斷到詐騙偵測的各種專業任務。這種彈性和效率可挖掘全新機會，讓您在整個組織中部署強大、適應性強的 AI。

多轉接器推論功能已在以下地區正式推出：亞太地區 (東京、首爾、孟買、新加坡、雪梨、雅加達)、加拿大 (中部)、歐洲 (法蘭克福、斯德哥爾摩、愛爾蘭、倫敦)、中東 (阿拉伯聯合大公國)、南美洲 (聖保羅)、美國東部 (維吉尼亞北部、俄亥俄) 和美國西部 (奧勒岡)。

若要開始使用，請參閱 Amazon SageMaker 開發人員指南，以取得與使用 LoRA 和管理模型轉接器的相關資訊。