В логический вывод Amazon SageMaker AI добавлена поддержка разделения GPU для адресов в реальном времени
Логический вывод Amazon SageMaker AI теперь поддерживает разделение GPU. Это позволяет запускать в одном GPU несколько моделей, не выделяя каждой из них целый ускоритель. С помощью технологии NVIDIA Multi-Instance GPU (MIG) SageMaker AI делит GPU на несколько (до семи) изолированных разделов, каждый из которых получает свою область памяти и долю вычислительных ресурсов. Клиентам, работающим с небольшими и средними моделями (например, дообученными вариантами, моделями встраивания, ранжировщиками и классификаторами), ранее приходилось выделять каждой модели целый ускоритель. В результате в инстансе нельзя было разместить больше моделей, чем в нем было GPU, и приходилось платить за ресурсы GPU, которые эти модели никогда не использовали.
Благодаря возможности разделения GPU вы сами выбираете, как делить GPU на вашем адресе, и можете разместить каждую модель в разделе оптимального размера. В результате несколько моделей совместно используют один ускоритель с изоляцией на аппаратном уровне. Таким образом, требовательная модель не сможет отнять память или пропускную способность у других моделей. Подбор оптимального размера ускорителя под рабочую нагрузку дает возможность создавать инстансы нового поколения, мощность которых не превышает потребности одной модели. Разделение GPU настраивается при создании адреса, на котором размещаются компоненты вывода. При этом каждая модель, как и прежде, вызывается по имени – то есть, код приложения не затрагивается.
Разделение GPU доступно в инстансах P4d, P5, G7 и G7e в следующих регионах: Азиатско-Тихоокеанский регион (Сингапур, Токио), Восток США (Огайо, Северная Вирджиния, Европа (Ирландия, Франкфурт) и Запад США (Орегон). Дополнительные сведения см. на странице о развертывании Amazon SageMaker AI и в Руководстве разработчика Amazon SageMaker AI.