Amazon Bedrock, 이제 Cohere Embed의 압축 임베딩 지원
이제 Amazon Bedrock은 Cohere Embed 모델의 압축 임베딩(int8 및 이진)을 지원함에 따라 개발자와 기업은 성능을 저해하지 않고 보다 효율적인 생성형 AI 애플리케이션을 구축할 수 있습니다. Cohere Embed는 선도적인 텍스트 임베딩 모델입니다. 이 모델은 검색-증강 생성(RAG) 및 의미 체계 검색 시스템을 지원하는 데 가장 빈번하게 사용됩니다.
Cohere Embed 모델에서 출력한 텍스트 임베딩은 벡터 검색 기능이 있는 데이터베이스에 저장되어야 하며, 스토리지 비용은 임베딩 출력의 차원 및 숫자 형식 정밀도와 직접적으로 관련이 있습니다. Cohere의 압축 인지 모델 훈련 기술을 통해 모델은 정확도 저하를 최소화하면서 자주 사용되는 FP32 정밀도 형식보다 크기가 훨씬 작은 이진 및 int8 정밀도 형식으로 임베딩을 출력할 수 있습니다. 이를 통해 엔터프라이즈 검색 애플리케이션을 더 빠르고, 저렴하며, 더욱 효율적으로 실행할 수 있습니다. int8 및 이진 임베딩은 밀리초 내에 수백만 개의 임베딩을 검색하는 기능이 중요한 비즈니스 이점인 대규모 다중 테넌시 설정에서 특히 유용합니다. Cohere의 압축 임베딩을 통해 대규모 프로덕션 환경에 투입할 수 있을 만큼 효율적인 애플리케이션을 구축하여 직원과 고객을 지원하는 AI 전략을 가속화할 수 있습니다.
Cohere Embed int8 및 이진 임베딩은 이제 Cohere Embed 모델이 제공되는 모든 AWS 리전의 Amazon Bedrock에서 사용할 수 있습니다. 자세한 내용은 Amazon Bedrock의 Cohere 제품 페이지, 설명서 및 Cohere의 출시 블로그를 참조하세요. Amazon Bedrock에서 Cohere 모델을 시작하려면 Amazon Bedrock 콘솔로 이동하세요.