Анонс общедоступных инстансов Amazon EC2 G6e
Сегодня мы объявляем о появлении общедоступных инстансов Amazon EC2 G6e на базе графических процессоров NVIDIA L40S с тензорными ядрами. Инстансы G6e подходят для широкого спектра вариантов использования в сфере машинного обучения и пространственных вычислений. Инстансы G6e обеспечивают в 2,5 раза большую производительность по сравнению с инстансами G5 и на 20 % меньшую стоимость вывода по сравнению с инстансами P4d.
Клиенты могут использовать инстансы G6e для развертывания больших языковых моделей (LLM) с параметрами размером до 13B, а также диффузионных моделей для создания изображений, видео и звука. Кроме того, инстансы G6e позволят клиентам создавать более масштабные трехмерные симуляции и цифровые двойники для рабочих нагрузок пространственных вычислений. Инстансы G6e содержат до восьми графических процессоров NVIDIA L40S с тензорными ядрами с общим объемом памяти 384 ГБ (48 ГБ памяти на каждый процессор) и центральные процессоры AMD EPYC третьего поколения. Они поддерживают до 192 виртуальных процессоров, пропускную способность сети до 400 Гбит/с, системную память объемом до 1,536 ТБ и локальные накопители NVMe SSD емкостью до 7,6 ТБ. Разработчики могут запускать на инстансах G6e рабочие нагрузки логического вывода на основе искусственного интеллекта, используя AMI-образы и контейнеры Глубокого обучения AWS или управляемые сервисы, такие как Эластичный сервис Amazon Kubernetes (Amazon EKS) и Пакет AWS. Поддержка Amazon SageMaker ожидается в ближайшее время.
Инстансы Amazon EC2 G6e сегодня доступны в регионах AWS Восток США (Северная Вирджиния, Огайо) и Запад США (Орегон). Клиенты могут приобретать G6e в качестве инстансов по требованию, зарезервированных, спотовых инстансов или в рамках Экономичных планов.
Чтобы начать работу, воспользуйтесь Консолью управления AWS, интерфейсом командной строки AWS (AWS CLI) и пакетами AWS SDK. Подробнее см. на странице инстансов G6e.