Настраивайте программное обеспечение и версии драйверов для развертывания моделей Amazon SageMaker
Теперь при развертывании моделей в SageMaker вы можете выбрать версии программного обеспечения и драйверов для инстансов, которые наилучшим образом соответствуют вашим потребностям. Сервис Amazon SageMaker упрощает развертывание моделей машинного обучения, включая базовые модели (FM), для отправки запросов на логические выводы с оптимальным соотношением цены и качества для любых вариантов использования.
В прошлом клиентам приходилось использовать на управляемых инстансах с адресом программное обеспечение и драйверы, версии которых были предустановлены SageMaker. Теперь же клиенты могут при настройке адресов указать параметр InferenceAmVersion, чтобы выбрать сочетание версий программного обеспечения и драйверов (таких как драйвер Nvidia и версия CUDA), которое оптимально подходит для их нужд. Это позволяет настроить среду хостинга в соответствии с требованиями к производительности, совместимости, масштабируемости и эксплуатации для приложений машинного обучения. Используя этот параметр, вы также можете обновлять или откатывать версии драйверов для адресов по собственному графику.
Эта функция доступна во всех регионах, где предоставляется SageMaker. Подробнее о развертывании модели в SageMaker можно узнать здесь, а подробнее об этой функции – в нашей документации.