Amazon SageMaker HyperPod теперь поддерживает инстансы G7e и r5d.16xlarge
Amazon SageMaker HyperPod теперь поддерживает инстансы G7e и r5d.16xlarge. SageMaker HyperPod – это специализированная инфраструктура для разработки, обучения и развертывания базовых моделей в любом масштабе. Она служит основой для надежной и высокопроизводительной среды со встроенной отказоустойчивостью, автоматическим восстановлением кластеров и оптимизированными распределенными библиотеками учебных материалов. Все это существенно упрощает управление крупномасштабной инфраструктурой для искусственного интеллекта и машинного обучения.
Инстансы G7e работают на графических процессорах NVIDIA RTX PRO 6000 Blackwell Server Edition и обеспечивают ускорение логических выводов до 2,3 раза по сравнению с инстансами G6e. Благодаря этому можно обрабатывать больше запросов в секунду, сокращая при этом задержку. Инстансы G7e с общим объемом памяти графического процессора до 768 ГБ позволяют развертывать более крупные языковые модели или запускать несколько моделей на одном адресе. Эти инстансы можно использовать для развертывания LLM, агентного ИИ, мультимодального генеративного ИИ и физических моделей ИИ. Инстансы G7e также хорошо подходят для экономичной точной настройки отдельных узлов или обучения моделей NLP, а также для машинного зрения и небольших моделей генеративного искусственного интеллекта. По сравнению с G6e их производительность в терафлопсах в 1,27 раза выше, а пропускная способность между графическими процессорами в 4 раза больше. Кроме того, HyperPod теперь поддерживает r5d.16xlarge. Инстанс r5d.16xlarge имеет 64 виртуального процессора, 512 ГБ памяти и 5 твердотельных накопителей NVMe емкостью 600 ГБ на базе процессоров Intel Xeon Platinum 8000 с постоянной тактовой частотой всех ядер до 3,1 ГГц в турборежиме. Этот инстанс хорошо подходит для распределенной предварительной обработки обучающих данных, особенно с использованием таких платформ как Ray, крупномасштабного конструирования признаков и запуска сервисов оркестрации с интенсивным использованием памяти, а также для вычислений на графических процессорах.
Инстансы G7e доступны в следующих регионах: Восток США (Огайо, Северная Вирджиния), Азиатско-Тихоокеанский регион (Токио) и Запад США (Орегон), а инстанс r5d.16xlarge доступен во всех регионах, где предлагается Amazon SageMaker HyperPod.