Amazon ECS теперь поддерживает планирование дробных ресурсов графических процессоров с помощью инстансов Amazon EC2 G6f
Amazon Elastic Container Service (Amazon ECS) теперь поддерживает планирование дробных ресурсов графических процессоров с помощью инстансов Amazon EC2 G6f, что позволяет запускать рабочие нагрузки на партициях графического процессора размером всего в одну восьмую часть графического процессора NVIDIA L4 Tensor Core с 3 ГБ памяти. Дробные ресурсы графических процессоров позволяют гибко выбирать размер контейнеров для логического вывода ИИ на малых моделях, экспериментов с моделями, рендеринга графики и других рабочих нагрузок, не требующих использования графического процессора целиком, что позволяет снизить затраты на инфраструктуру по сравнению с выделением инстанса с полным графическим процессором.
Можно запросить дробные ресурсы графического процессора, задав значение GPU=0,125, GPU=0,25 или GPU=0,5 в определении контейнера определения задачи Amazon ECS. Затем Amazon ECS помещает задачу в инстанс G6f, удовлетворяющий запросу. Дробная конфигурация графического процессора поддерживается как в управляемых инстансах Amazon ECS, так и в Amazon ECS на EC2. Используя Управляемые инстансы ECS, вы получаете полностью управляемый интерфейс, в котором ECS автоматически выполняет выделение инстансов, их масштабирование, установку исправлений и управление жизненным циклом, поэтому вы можете сосредоточиться на рабочих нагрузках графического процессора, а не на операциях с инфраструктурой. Управляемые инстансы ECS также включают функции, созданные специально для ускоренных рабочих нагрузок, таких как метрики графических процессоров, использующие Аналитику контейнеров Amazon CloudWatch и автоматический мониторинг работоспособности, который обнаруживает аппаратные сбои графических процессоров и заменяет неисправные инстансы для минимизации сбоев рабочих нагрузок.
Эта возможность доступна во всех регионах AWS, в которых доступны инстансы Amazon EC2 G6f. Для начала работы используйте Консоль управления AWS, интерфейс командной строки AWS, пакет SDK AWS, AWS CloudFormation или другие инструменты, реализующие подход «инфраструктура как код», чтобы настроить поставщик ресурсов с инстансами G6f и указать дробное значение для графического процессора в определении контейнера в определении задачи ECS. Дополнительные сведения см. в документации по дробным ресурсам графического процессора Amazon ECS и на странице инстансов Amazon EC2 G6.