Amazon Bedrock hiện hỗ trợ phần nhúng nén từ Cohere Embed
Amazon Bedrock hiện hỗ trợ phần nhúng nén (int8 và nhị phân) từ mô hình Cohere Embed, cho phép nhà phát triển và doanh nghiệp xây dựng các ứng dụng AI tạo sinh hiệu quả hơn mà không ảnh hưởng đến hiệu suất. Cohere Embed là mô hình nhúng văn bản hàng đầu. Mô hình này thường được sử dụng để cung cấp dữ liệu cho các hệ thống Tạo văn bản có kết hợp truy xuất thông tin ngoài (RAG) và tìm kiếm theo ngữ nghĩa.
Đầu ra nhúng văn bản của mô hình Cohere Embed phải được lưu trữ trong cơ sở dữ liệu có khả năng tìm kiếm theo véc-tơ. Chi phí lưu trữ phụ thuộc trực tiếp vào kích thước của đầu ra nhúng cũng như độ chính xác về định dạng số. Các kỹ thuật đào tạo mô hình có thể nhận biết dạng nén của Cohere cho phép mô hình tạo ra phần nhúng ở định dạng chính xác nhị phân và int8, có dung lượng nhỏ hơn đáng kể so với định dạng chính xác FP32 thường dùng, kèm theo sự suy giảm độ chính xác ở mức tối thiểu. Điều này mở ra khả năng chạy các ứng dụng tìm kiếm trong doanh nghiệp của bạn nhanh hơn, rẻ hơn và hiệu quả hơn. Phần nhúng int8 và nhị phân đặc biệt hữu hiệu đối với các phương thức thiết lập lớn, nhiều hình thức thuê và coi khả năng tìm kiếm hàng triệu phần nhúng trong vài mili giây là một lợi thế kinh doanh trọng yếu. Phần nhúng nén của Cohere cho phép bạn xây dựng các ứng dụng đủ hiệu quả để đưa vào sản xuất trên quy mô lớn, đẩy nhanh chiến lược AI của bạn để hỗ trợ nhân viên và khách hàng.
Phần nhúng int8 và nhị phân của Cohere Embed hiện đã có trong Amazon Bedrock ở tất cả các Khu vực AWS có mô hình Cohere Embed. Để tìm hiểu thêm, hãy đọc trang sản phẩm Cohere trong Amazon Bedrock, tài liệu về sản phẩm và bài công bố trên blog Cohere. Để bắt đầu sử dụng các mô hình Cohere trong Amazon Bedrock, hãy truy cập bảng điều khiển Amazon Bedrock.