Логический вывод Amazon SageMaker AI теперь поддерживает инстансы G7
Логический вывод Amazon SageMaker AI теперь поддерживает инстансы G7 на базе графических процессоров NVIDIA RTX PRO 4500 Blackwell Server Edition, что позволяет развертывать модели машинного обучения с производительностью логического вывода максимум в 4,6 раза выше по сравнению с инстансами G6 предыдущего поколения. Клиентам, развертывающим модели генеративного искусственного интеллекта для производственного логического вывода, требуется высокая пропускная способность графического процессора и объем памяти для экономически эффективного обслуживания моделей среднего и большого размера. Однако инстансы предыдущего поколения часто требовали избыточного выделения дорогостоящих вычислительных ресурсов или квантования моделей, чтобы уложиться в ограничения по памяти.
Инстансы G7 предоставляют 32 ГБ памяти графического процессора на каждый графический процессор с тензорными ядрами 5-го поколения, сеть с поддержкой EFA максимум до 700 Гбит/с (в 7 раз выше по сравнению с G6) и до 7,6 ТБ локального SSD-хранилища NVMe для хранения больших моделей рядом с вычислительными мощностями. Благодаря этим возможностям инстансы G7 хорошо подходят для обслуживания моделей в диапазоне 7–30 млрд параметров, рабочих нагрузок генерации изображений и видео, а также мультимодельных адресов логического вывода, которые выигрывают от более высокой пропускной способности и производительности памяти. Развертывать модели на инстансах G7 можно с помощью консоли логического вывода, API или пакета SDK SageMaker AI, указав типы инстансов G7 (например, от ml.g7.xlarge до ml.g7.48xlarge) в конфигурации адреса.
Инстансы G7 для логического вывода SageMaker AI доступны на Востоке США (Огайо, Северная Вирджиния) и Западе США (Орегон). Сведения о стоимости этих инстансов см. на нашей странице цен.