Объявление о расширении региона инстансов G7e на основе SageMaker AI
Мы рады объявить о доступности инстансов Amazon EC2 G7e в Азиатско-Тихоокеанском регионе (Сеул, Токио) и Европе (Лондон) в логическом выводе Amazon SageMaker AI. Инстансы G7e оснащены максимум 8 графическими процессорами NVIDIA RTX PRO 6000 Blackwell Server Edition с 96 ГБ памяти на каждый графический процессор, процессорами Intel Xeon 5-го поколения и пропускной способностью сети адаптера Elastic Fabric Adapter до 1600 Гбит/с, что обеспечивает производительность логического вывода максимум в 2,3 раза выше по сравнению с инстансами G6e предыдущего поколения.
Благодаря расширению региона теперь вы можете развертывать адреса логического вывода на инстансах G7e ближе к конечным пользователям в Азии и Европе, сокращая задержки при рабочих нагрузках генеративного искусственного интеллекта. Инстансы G7e обеспечивают до 768 ГБ общей памяти графического процессора на одном инстансе, что позволяет обслуживать языковые модели среднего и большого размера с максимум 70 млрд параметров с точностью FP8 без многоузловых конфигураций. Эти инстансы хорошо подходят для логического вывода LLM, генерации изображений и видео, пространственных вычислений и научных вычислительных рабочих нагрузок, которым требуется высокая емкость и пропускная способность памяти графического процессора.
Инстансы G7e для логического вывода SageMaker AI теперь доступны в Азиатско-Тихоокеанском регионе (Сеул, Токио) и Европе (Лондон), а также в ранее поддерживаемых регионах. Сведения о стоимости этих инстансов см. на нашей странице цен.