Amazon ECS теперь поддерживает совместное использование графических процессоров через многопроцессорный сервис NVIDIA (MPS)
Amazon Elastic Container Service (Amazon ECS) теперь поддерживает совместное использование графических процессоров через многопроцессорный сервис NVIDIA (MPS), что позволяет одновременно выполнять несколько задач Amazon ECS на одном графическом процессоре NVIDIA. Новая функция позволяет активнее использовать ресурсы графических процессоров при одновременном сокращении затрат на инфраструктуру для рабочих нагрузок, использующих лишь часть мощности графического процессора, таких как вывод малых моделей, моделирование AV/ADAS, генерация встраиваний и обслуживание нескольких моделей.
Благодаря совместному использованию графических процессоров вы можете размещать больше рабочих нагрузок на каждый экземпляр графического процессора без изменения кода приложения. Вы определяете объем памяти графического процессора, необходимый для каждого контейнера, и при желании можете установить максимальную долю вычислительных ресурсов графического процессора, а Amazon ECS перекладывает задачи на графические процессоры с доступной емкостью по мере масштабирования и развертывания сервисов. Совместное использование графических процессоров поддерживается в управляемых инстансах Amazon ECS и в Amazon ECS на Amazon EC2. В управляемых инстансах Amazon ECS также ведется мониторинг демона управления MPS, который обеспечивает совместное использование каждого инстанса. Если демон останавливается или выходит из строя, Amazon ECS автоматически заменяет инстанс и переводит задачи на работоспособную емкость, поэтому рабочие нагрузки на графические процессоры продолжают работать, не требуя вмешательства вручную.
Чтобы начать работу, используйте Консоль управления AWS, интерфейс командной строки AWS, AWS SDK, AWS CloudFormation или другие инструменты «инфраструктура как код», чтобы создать поставщика ресурсов с инстансами графических процессоров NVIDIA, задать стратегию совместного использования графического процессора и памяти в определении контейнера в определении задачи и создать сервис на этом поставщике ресурсов. Эта возможность доступна во всех коммерческих регионах AWS и регионах AWS GovCloud (США). Дополнительные сведения см. в документации по совместному использованию графических процессоров в Amazon ECS.