Приложение Llama 3.3 (70 ГБ) теперь доступно в AWS с помощью Amazon SageMaker JumpStart

Проведено: 26 дек. 2024 г.

Теперь клиенты AWS могут получить доступ к модели Llama 3.3 70B от Meta через Amazon SageMaker JumpStart. Модель Llama 3.3 70B сочетает высокую производительность и вычислительную эффективность. Она также обеспечивает качество вывода, сопоставимое с более крупными версиями Llama, но при этом требует значительно меньшего количества ресурсов, что делает ее отличным выбором для экономичного развертывания искусственного интеллекта.

Llama 3.3 70B оснащена усовершенствованным механизмом внимания, который значительно снижает затраты на логический вывод. Модель, разработанная на основе примерно 15 триллионов токенов, включая контент из Интернета и синтезированные примеры, подверглась тщательной доработке под наблюдением и обучению с подкреплением на основе отзывов человека (RLHF). Этот подход позволяет более точно согласовывать результаты с человеческими предпочтениями при сохранении высоких стандартов производительности. Согласно Meta, такое повышение эффективности приводит к почти в пять раз более экономичным операциям вывода, что делает этот вариант привлекательным для производственных развертываний.

Заказчики могут развернуть Llama 3.3 70B через пользовательский интерфейс SageMaker JumpStart или программно с помощью пакета SDK SageMaker для Python. Передовые возможности логического вывода ИИ SageMaker помогают оптимизировать производительность и экономичность развертываний, позволяя вам в полной мере использовать преимущества эффективности Llama 3.3 70B и при этом получить выгоду упрощенного процесса развертывания.

Модель Llama 3.3 70B доступна во всех регионах AWS, где доступен ИИ Amazon SageMaker. Подробнее о развертывании Llama 3.3 70B в Amazon SageMaker JumpStart см. в документации или блоге.