Доступна модель NVIDIA Nemotron 3 Nano для Amazon Bedrock
Amazon Bedrock теперь поддерживает модель NVIDIA Nemotron 3 Nano 30B A3B – новейший прорыв компании NVIDIA в области эффективного языкового моделирования. Она обеспечивает высококачественные логические рассуждения, поддерживает встроенный вызов инструментов и расширенную обработку контекста с окном размером в 256 тыс. токенов. В этой модели используется эффективная гибридная архитектура Mixture-of-Experts («смесь экспертов», MoE), обеспечивающая более высокую пропускную способность по сравнению с предшественниками для рабочих нагрузок агентов и написания кода при сохранении глубины аргументации, характерной для моделей большего размера. Благодаря непосредственному контролю над рассуждениями и высокой точности, получаемой за счет продвинутых методов обучения с подкреплением и последующего обучения в разнообразных средах в большом масштабе, эта модель идеально подходит для крупных предприятий, стартапов и индивидуальных разработчиков, создающих многоагентные рабочие процессы, инструменты повышения эффективности разработки, автоматизированные процессы, средства анализа научных и математических рассуждений, а также для многих других задач.
Модель NVIDIA Nemotron 3 Nano в Amazon Bedrock работает на базе Project Mantle, нового механизма распределенного логического вывода для поддержки крупномасштабных моделей машинного обучения в этом сервисе. Система Project Mantle упрощает и ускоряет внедрение в Amazon Bedrock новых моделей, обеспечивает высокопроизводительный и надежный бессерверный логический вывод с изощренными средствами контроля качества обслуживания, позволяет использовать более высокие клиентские квоты по умолчанию с автоматическим управлением ресурсами и унифицированными пулами, а также изначально совместима со спецификациями API OpenAI.
Модель NVIDIA Nemotron 3 Nano сегодня доступна для Amazon Bedrock в следующих регионах AWS: Восток США (Северная Вирджиния, Огайо), Запад США (Орегон), Азиатско-Тихоокеанский регион (Токио, Мумбаи), Южная Америка (Сан-Паулу) и Европа (Лондон и Милан). Она поддерживает как унифицированные сервисные адреса Amazon Bedrock, так и совместимые с API OpenAI. Чтобы узнать больше и начать работу, воспользуйтесь консолью Amazon Bedrock или документацией по сервису. Чтобы начать работу с сервисными адресами Amazon Bedrock, совместимыми с API OpenAI, ознакомьтесь с этой документацией.