Модель Muse Spark Open теперь доступна в Amazon SageMaker JumpStart
Muse Spark Open от Meta теперь доступна в Amazon SageMaker JumpStart, расширяя портфель базовых моделей, доступных клиентам AWS. Эта оптимизированная для кодирования модель с открытыми весами от Meta специально разработана для рабочих процессов агентного кодирования. Она позволяет разрабатывать корпоративное программное обеспечение в инфраструктуре AWS за счет многоэтапных логических рассуждений и вызова инструментов.
Muse Spark Open разработан для долго работающих агентов для разработки кода и рабочих процессов мультимодального проектирования. Созданная на основе архитектуры «смесь экспертов» (MoE) с общим количеством параметров 816 млрд и 42 млрд активных параметров на токен, модель обладает возможностями очень большой нейросети, при этом вычислительные затраты на обработку каждого токена остаются сопоставимыми с затратами значительно меньшей плотной модели. Модель содержит контекстное окно размером 1 млн токенов, что позволяет использовать весь проект, включая зависимости, устаревший код и тысячи файлов, без разбиения задач на более мелкие части. Она принимает текст, изображения, документы, аудио и аудио-видео в качестве входных данных и генерирует текстовый вывод. Обученный реальным рабочим процессам разработчиков, таким как многофайловые рефакторинги и длительные сеансы отладки, она планирует, действует, наблюдает за результатами и самостоятельно исправляет ошибки в течение длительного времени, вместо того чтобы выполнять одиночные вызовы инструментов. SageMaker JumpStart предлагает два варианта: BF16 (Muse-Spark-Open-816B-A42B) и квантованный NVFP4 (Muse-Spark-Open-816B-A42B-NVFP4), причем вариант NVFP4 требует примерно четверти объема памяти для экономичного развертывания.
С помощью SageMaker JumpStart клиенты могут развернуть Muse Spark Open всего несколькими щелчками мыши, а адрес будет запущен в собственном аккаунте AWS, что обеспечивает полный контроль над исходным кодом и промптами.
Чтобы начать работу с этой моделью, откройте каталог моделей SageMaker JumpStart в консоли SageMaker или воспользуйтесь пакетом средств разработки ПО (SDK) SageMaker для Python, чтобы развернуть модель в своем аккаунте AWS. Подробные инструкции о развертывании и использовании базовых моделей в SageMaker JumpStart см. в документации Amazon SageMaker JumpStart.