이제 Amazon SageMaker JumpStart에서 langcache-embed-v3-small, Mellum2-12B-A2.5B-Thinking 및 LightOnOCR-2-1B 모델 사용 가능
이제 Redis의 langcache-embed-v3-small, JetBrains의 Mellum2-12B-A2.5B-Thinking 및 LightOn의 LightOnOCR-2-1B 모델을 Amazon SageMaker JumpStart에서 사용할 수 있게 됨에 따라 AWS 고객에게 제공되는 파운데이션 모델 포트폴리오를 확장할 수 있게 되었습니다. 이번 3가지 모델은 시맨틱 캐싱 최적화, 코드 중심 추론, 엔드 투 엔드 문서 OCR을 아우르는 특수 기능을 제공하므로 고객은 AWS 인프라에서 확장 가능한 고성능 AI 솔루션을 배포할 수 있습니다.
langcache-embed-v3-small은 LLM 애플리케이션의 시맨틱 캐싱에 최적화되어 있습니다. 이 모델은 구문에 관계없이 의미상 동일한 쿼리를 식별하기 위해 특별히 구축된 고밀도 벡터 공간에 문장과 단락을 매핑하여 중복 LLM 직접 호출을 줄이고 대용량 추론 워크로드의 응답 시간을 단축하는 지능형 캐시 적중률을 지원합니다.
Mellum2-12B-A2.5B-Thinking은 코드 생성, 디버깅, 다단계 추론 및 에이전틱 코딩 워크플로에서 탁월한 성능을 발휘합니다. 이 모델은 MoE(Mixture-of-Experts) 아키텍처(전문가 64개, 토큰당 8개 활성화)를 사용하며, 순전파당 총 120억 개 파라미터 중 25억 개만 활성화합니다(컨텍스트 길이: 131,072개 토큰). 또한 최종 답변 전에 명시적인 연쇄적 사고 추론 트레이스를 전송합니다. 이를 통해 라우팅, RAG, 하위 에이전트 및 프라이빗 배포에 적합하며 처리량이 많고 지연 시간이 짧은 추론 기능이 제공됩니다.
LightOnOCR-2-1B는 불안정한 OCR 파이프라인 없이 PDF, 스캔본 및 이미지에 대한 엔드 투 엔드 다국어 문서-텍스트 변환 기능을 제공합니다. 이 10억 개 파라미터 비전 언어 모델은 페이지 이미지를 깔끔하고 자연스럽게 정렬된 텍스트로 직접 변환하여 OlmOCR-Bench에서 최첨단 성능을 달성하는 동시에 경쟁 접근 방식보다 약 9배 더 작고 훨씬 더 빠릅니다.
SageMaker JumpStart를 사용하면 고객은 몇 번의 클릭만으로 이러한 모델을 배포하여 특정 AI 사용 사례를 해결할 수 있습니다.
이 모델을 시작하려면 SageMaker 콘솔의 SageMaker JumpStart 모델 카탈로그로 이동하거나 SageMaker Python SDK를 사용하여 모델을 AWS 계정에 배포하세요. SageMaker JumpStart에서 파운데이션 모델을 배포하고 사용하는 방법에 대한 자세한 내용은 Amazon SageMaker JumpStart 설명서를 참조하세요.