Модель NVIDIA Nemotron 3.5 Lightning теперь доступна в Amazon SageMaker JumpStart
Клиентам AWS теперь доступна модель Nemotron 3.5 Lightning от NVIDIA на базе Amazon SageMaker JumpStart – самая быстрая открытая модель в своем классе для рабочих нагрузок агентов с сохранением состояния и мгновенного выполнения задач.
Nemotron 3.5 Lightning разработана для агентов с сохранением состояния и для корпоративных задач автоматизации с высокой пропускной способностью. Она охватывает такие предметные области, как персональные ассистенты, обработка финансовых документов, выявление проблем кибербезопасности и задачи телекоммуникаций. В основе модели лежит гибридная архитектура типа «Смесь экспертов» (Mixture-of-Experts, MoE) с 30 млрд совокупных параметров, из которых только 3 млрд активируется при каждом прямом распространении. За счет этого она способна обеспечить в 4 раза большую пропускную способность (приблизительно 410 токенов в секунду) и на 30 % более быстрое выполнение задач по сравнению с аналогичными моделями. Она представляет собой оптимизированную версию Nemotron 3 Ultra, которая может обрабатывать до 1 млн токенов контекста на основе спекулятивного декодирования DFlash и напрямую интегрироваться с популярными обвязками агентов. Модель обучена исключительно на открытых наборах данных, благодаря чему предприятия могут провести последующее обучение с применением собственных инструментов, рабочих процессов и политик, а затем развернуть целиком принадлежащую им модель на краевых устройствах, в локальной среде или облачной инфраструктуре.
Используя SageMaker JumpStart, клиенты могут развертывать эту модель всего несколькими щелчками мыши для своих рабочих нагрузок ИИ.
Чтобы начать работу с этими моделями, откройте каталог моделей SageMaker JumpStart в консоли SageMaker или воспользуйтесь пакетом средств разработки ПО (SDK) SageMaker для Python, чтобы развернуть модели в своем аккаунте AWS. Подробные инструкции о развертывании и использовании базовых моделей в SageMaker JumpStart см. в документации Amazon SageMaker JumpStart.