Amazon Bedrock 現在支援 Cohere Embed 的壓縮嵌入功能

張貼日期: 2024年6月20日

Amazon Bedrock 現在支援 Cohere Embed 模型的壓縮嵌入 (int8 和二進位)，能讓開發人員和企業在不影響效能的情況下，建置更有效率的生成式 AI 應用程式。Cohere Embed 是業界領先的文字嵌入模型。它最常用於支援檢索增強生成 (RAG) 和語義搜尋系統。

Cohere Embed 模型輸出的文字嵌入必須儲存在具有向量搜索功能的資料庫中，儲存成本與嵌入輸出的維度及數字格式的精度直接相關。Cohere 的壓縮感知模型訓練技術能讓模型以二進制和 int8 精度格式輸出嵌入，這些格式的規模比常用的 FP32 精度格式小得多，且準確性降低幅度極小。此技術能讓您能更快速、更便宜、更有效率地執行企業搜尋應用程式。int8 和二進制嵌入對於大型多租用戶設置特別有吸引力，因為在這種情況下，能在毫秒內搜尋數百萬個嵌入會是關鍵的業務優勢。Cohere 的壓縮嵌入功能可讓您建置出高效的應用程式，並將其大規模投入生產，進而加速支援員工和客戶的 AI 策略。

在所有提供 Cohere Embed 模型的 AWS 區域，現在都能在 Amazon Bedrock 上使用 Cohere Embed int8 和二進位嵌入。若想進一步了解，請閱讀 Amazon Bedrock 產品頁面中的 Cohere、相關文件，以及 Cohere 發佈部落格。若要開始在 Amazon Bedrock 中使用 Cohere 模型，請造訪 Amazon Bedrock 主控台。