Los modelos langcache-embed-v3-small, Mellum2-12B-A2.5B-Thinking y LightonOCR-2-1B ya están disponibles en Amazon SageMaker JumpStart
Los modelos langcache-embed-v3-small de Redis, Mellum2-12B-A2.5B-Thinking de JetBrains y LightOnOCR-2-1B de LightOn ya están disponibles en Amazon SageMaker JumpStart, lo que amplía la cartera de modelos fundacionales disponibles para los clientes de AWS. Estos tres modelos ofrecen capacidades especializadas que abarcan la optimización del almacenamiento en caché semántico, el razonamiento centrado en el código y el OCR de documentos de extremo a extremo, lo que permite a los clientes implementar soluciones de IA escalables y de alto rendimiento en la infraestructura de AWS.
langcache-embed-v3-small está optimizado para el almacenamiento en caché semántico en aplicaciones LLM. Mapea oraciones y párrafos en un espacio vectorial denso diseñado específicamente para identificar consultas semánticamente equivalentes, independientemente de su formulación. Esto permite obtener aciertos de caché inteligentes que reducen las llamadas redundantes a los LLM y aceleran los tiempos de respuesta en cargas de trabajo de inferencia de gran volumen.
Mellum2-12B-A2.5B-Thinking se destaca en los flujos de trabajo de generación de código, depuración, razonamiento de varios pasos y codificación agéntica. Utiliza una arquitectura de variedad de expertos (Mixture-of-Experts, MoE), con 64 expertos, de los cuales 8 se activan por token, y activa solo 2500 millones de sus 12 000 millones de parámetros totales en cada pasada hacia adelante, con una ventana de contexto de 131 072 tokens. Emite trazas explícitas de razonamiento en cadena antes de las respuestas finales. Esto proporciona una inferencia de alto rendimiento y baja latencia, ideal para enrutamiento, RAG, subagentes e implementaciones privadas.
LightonOCR-2-1b proporciona una conversión completa de documentos a texto multilingües para PDF, escaneos e imágenes sin necesidad de utilizar canalizaciones de OCR frágiles. Este modelo de visión y lenguaje de 1000 millones de parámetros convierte directamente imágenes de páginas en texto limpio y ordenado de forma natural. Alcanza un rendimiento de vanguardia en OlmOCR-Bench, con un tamaño aproximadamente 9 veces menor y una velocidad significativamente superior a la de otros enfoques competitivos.
Con SageMaker JumpStart, los clientes pueden implementar cualquiera de estos modelos con solo unos clics para abordar sus casos de uso específicos de IA.
Para empezar a utilizar estos modelos, navegue hasta el catálogo de modelos JumpStart de SageMaker en la consola de SageMaker o utilice el SDK de Python de SageMaker para implementar los modelos en su cuenta de AWS. Para obtener más información sobre la implementación y el uso de modelos fundacionales en SageMaker JumpStart, consulte la documentación de Amazon SageMaker JumpStart.