Модели langcache-embed-v3-small, Mellum2-12B-A2.5B-Thinking и LightOnOCR-2-1B теперь доступны в Amazon SageMaker JumpStart
Модели langcache-embed-v3-small от Redis, Mellum2-12B-A2.5B-Thinking от JetBrains и LightOnOCR-2-1B от LightOn теперь доступны в Amazon SageMaker JumpStart, что расширяет портфель базовых моделей, доступных клиентам AWS. Эти три модели предоставляют специализированные возможности, в том числе оптимизацию семантического кэширования, логические рассуждения для анализа кода и комплексное распознавание документов, позволяя клиентам развертывать высокопроизводительные и масштабируемые ИИ-решения на базе инфраструктуры AWS.
Модель langcache-embed-v3-small оптимизирована для семантического кэширования в задачах больших языковых моделей (LLM). Она сопоставляет предложения и абзацы с плотным пространством векторов, специально созданным для определения того, когда запросы являются семантически эквивалентными вне зависимости от используемых формулировок. Такая интеллектуальная схема позволяет при попаданиях в кэш сократить число избыточных вызовов LLM и уменьшить время отклика для рабочих нагрузок с большим объемом логического вывода.
Модель Mellum2-12B-A2.5B-Thinking отлично подходит для генерации кода, отладки, многоэтапного логического рассуждения и рабочих процессов написания кода с помощью агентов. Она использует архитектуру «Смесь экспертов» (64 эксперта с активацией восьми на каждый токен), в которой при каждом прямом распространении активируется только 2,5 из 12 млрд совокупных параметров, а длина контекста составляет 131 072 токена. Эта модель представляет цепочку логических рассуждений в явном виде перед выдачей окончательных ответов, обеспечивает высокую пропускную способность и низкую задержку вывода, поэтому она идеально подходит для задач маршрутизации, дополненной извлеченными данными генерации (RAG), субагентов и приватного развертывания.
Модель LightOnOCR-2-1B способна выполнять все этапы распознавания документов на разных языках и преобразования в текст из PDF-файлов, отсканированных документов и изображений, не требуя задействовать сложные многоэтапные процедуры распознавания текста. Эта визуально-языковая модель с 1 млрд параметров напрямую преобразует снимки страниц в чистый и естественно упорядоченный текст, обеспечивая высочайшее качество согласно тестам OlmOCR-Bench. При этом она имеет примерно в 9 раз меньший размер и значительно большую скорость работы, чем конкурирующие решения.
Используя SageMaker JumpStart, клиенты могут развернуть любую из этих моделей всего несколькими щелчками мыши для своих примеров использования искусственного интеллекта.
Чтобы начать работу с этими моделями, откройте каталог моделей SageMaker JumpStart в консоли SageMaker или воспользуйтесь пакетом средств разработки ПО (SDK) SageMaker для Python, чтобы развернуть модели в своем аккаунте AWS. Подробные инструкции о развертывании и использовании базовых моделей в SageMaker JumpStart см. в документации Amazon SageMaker JumpStart.