Amazon SageMaker AI объявляет о доступности инстансов P5e и G6e для логического вывода
Мы рады объявить о появлении общедоступных инстансов G6e (на базе графических процессоров NVIDIA L40S Tensor Core) и P5e (на базе графических процессоров NVIDIA H200 Tensor Core) с оптимизацией для логического вывода в Amazon SageMaker.
Инстансы ml.p5e.48xlarge обладают 1128 ГБ памяти с высокой пропускной способностью, разделенными между восемью графическими процессорами NVIDIA H200, имеют локальное SSD-хранилище NVMe емкостью 30 ТБ, 192 виртуальных ЦП и 2 ТиБ системной памяти. Они способны обеспечить превосходное быстродействие для рабочих нагрузок искусственного интеллекта, интенсивно использующих вычислительные ресурсы, таких как большие языковые модели (LLM) с более чем 100 млрд параметров, мультимодальные базовые модели и генерация синтетических данных, а также для сложных задач генеративного искусственного интеллекта, таких как ответы на вопросы и генерация кода, видео и изображений.
Инстансы ml.g6e работают на базе восьми графических процессоров NVIDIA L40s Tensor Core c 48 ГБ памяти на каждый, а также процессоров AMD EPYC 3-го поколения. Они способны обеспечить в 2,5 раза большую производительность по сравнению с инстансами ml.g5. Инстансы ml.g6e позволяют клиентам выполнять логический вывод для LLM, имеющих до 13 млрд параметров, и для моделей диффузии, чтобы генерировать изображения, видео и звук.
Использование инстансов ml.p5e и ml.g6e теперь доступно для SageMaker в регионах Восток США (Огайо) и Запад США (Орегон). Для начала просто запросите увеличение лимитов в сервисе Квот на обслуживание AWS. Сведения о стоимости этих инстансов см. на нашей странице цен. Подробнее о развертывании моделей с помощью SageMaker см. в этом обзоре и в документации. Дополнительные общие сведения об этих инстансах см. на страницах продуктов P5e и G6e.