Высокопроизводительные вычисления С помощью приложений для высокопроизводительных вычислений ученые и инженеры могут решать сложные задачи, требующие больших вычислительных мощностей и интенсивной обработки данных. Для работы таких приложений часто требуется высокая производительность сети, хранилище с высокой скоростью записи и чтения, большая емкость памяти, огромные вычислительные мощности либо все эти ресурсы одновременно. Платформа AWS позволяет сократить время проведения исследований и получения результатов благодаря запуску высокопроизводительных вычислений в облаке и масштабированию с возможностью параллельного выполнения такого количества заданий высокопроизводительных вычислений, которое недостижимо в обычной локальной HPC-среде. При этом AWS позволяет сократить затраты, предоставляя оптимизированные под определенные приложения серверы с ЦПУ, ГПУ и FPGA по требованию, без необходимости больших капитальных инвестиций. У вас есть доступ к производительной сети с полноценной пропускной способностью для тесно связанных рабочих нагрузок, интенсивно использующих ввод-вывод и ресурсы хранилища, и эта сеть позволяет масштабироваться до нескольких тысяч ядер для быстрого получения результатов.

Создать бесплатный аккаунт
Обратиться в отдел продаж

Этот короткий видеоролик разъясняет преимущества выполнения кластеров заданий высокопроизводительных вычислений в Amazon Web Services. В нем представлены основные преимущества использования облачной инфраструктуры, а также ряд уникальных преимуществ работы в облаке AWS. Вы узнаете, как получить мгновенный доступ к тысячам процессоров Intel Xeon с улучшенной сетевой конфигурацией и к инструментам, помогающим легко создать кластер HPC с моделью оплаты по факту использования, не предусматривающей авансовых платежей.

Ознакомиться с техническим описанием о высокопроизводительных вычислениях на AWS »

Ознакомиться с публикацией «Real World AWS Scalability» в блоге »

 

 

AWS HPC Video
2:30


cfncluster

Ознакомьтесь с возможностями демонстрационной инфраструктуры cfncluster, чтобы узнать, как запускать кластеры HPC в AWS

Рабочие нагрузки, связанные с высокопроизводительными вычислениями, в AWS могут выполняться на нескольких типах инстансов, включая инстансы Compute-Optimized (семейство C), инстансы общего назначения (семейство M) и инстансы Memory-Optimized (семейства R и X), а также инстансы с графическими процессорами (семейство P) и FPGA (семейство F). Эти типы инстансов можно использовать точно так же, как и другие инстансы EC2, однако они разработаны специально для высокопроизводительной передачи данных между узлами и обладают современной высокопроизводительной архитектурой ЦПУ. Они обеспечивают масштабирование до сотен, тысяч или десятков тысяч ядер ЦПУ, ГПУ или FPGA по требованию.

Обзор сервиса Amazon EC2 »

 

 

Инстансы C4 – это последнее поколение инстансов Amazon EC2 типа Compute-Optimized. Инстансы C4 предназначены для рабочих нагрузок, связанных с вычислениями. Например, эти инстансы используются для создания интерфейсных групп с интенсивным трафиком, приложений для высокопроизводительных вычислений (HPC), при обработке и перекодировке медиафайлов, а также в массовых многопользовательских онлайн-играх (MMO).

Доступны инстансы C4 пяти размеров с количеством виртуальных ЦПУ до 36 (18 физических выделенных ядер Intel Xeon V3 Haswell). Инстансы C4 работают на базовой частоте 2,9 ГГц и могут обеспечивать пиковую тактовую частоту до 3,5 ГГц благодаря технологии Intel ® Turbo Boost. В них реализованы передовые возможности процессоров, в том числе инструкции Intel AVX2 и управление P- и C-состояниями процессора. Каждый тип инстанса C4 по умолчанию оптимизирован для использования с сервисом EBS (оптимизация входит в стоимость решения). Эти возможности обеспечивают выделенный объем пропускной способности для обмена данными с EBS на уровне от 500 до 4000 Мбит/с, превышающий возможности стандартных 10-гигабитных сетей.

Инстансы C5 будут доступны в шести размерах на основе ядер Intel Xeon V5 Skylake™. В них реализованы передовые возможности процессоров, в том числе инструкции Intel® Advanced Vector Extensions 512 (Intel® AVX-512). Все типы инстансов C5 поддерживают улучшенную сетевую конфигурацию и эластичный сетевой адаптер (ENA). По сравнению с другими платформами эти возможности обеспечивают пропускную способность сети до 30 Гбит/с, а также более низкую задержку в целом и сокращение показателей остаточной задержки. Инстансы C5 оптимизированы для обмена данными с EBS (до 12 Гбит/с выделенного объема пропускной способности).

Подробнее о типах инстансов Amazon EC2 »

Прочитайте блог Джефа о новом типе инстансов C4 »

Читать о новых типах инстансов в блоге Джеффа »

reinvent_launch-page_illustration_c4-instances

Подробнее о типах инстансов вычислительного кластера EC2

console_ec2_icon

Дополнительные сведения об инстансах P2

 

Инстансы M4 предоставляют сбалансированные вычислительные и сетевые ресурсы, а также ресурсы памяти, поэтому подходят для многих типов приложений, включая высокопроизводительные вычисления. Инстансы M4 доступны в шести размерах, от large до 16xlarge.

Новейшие из инстансов M4, инстансы m4.16xlarge, содержат 64 виртуальных ЦПУ (32 физических выделенных ядер ЦПУ Intel Xeon V4 Broadwell), 256 ГиБ оперативной памяти и обеспечивают пропускную способность сети до 20 Гбит/с благодаря использованию эластичного сетевого адаптера и улучшенной сетевой конфигурации AWS. Инстансы M4.16xlarge идеально подходят для приложений, требующих более высоких значений соотношения ресурсов памяти и ядер, чем инстансы C4/C5, и работающих более производительно при наличии большего числа ядер ЦПУ на одном и том же сервере.

Инстансы C4 – это последнее поколение инстансов Amazon EC2 типа Compute-Optimized. Инстансы C4 предназначены для рабочих нагрузок, связанных с вычислениями. Например, эти инстансы используются для создания интерфейсных групп с интенсивным трафиком, приложений для высокопроизводительных вычислений (HPC), при обработке и перекодировке медиафайлов, а также в массовых многопользовательских онлайн-играх (MMO).

Доступны инстансы C4 пяти размеров с количеством виртуальных ЦПУ до 36 (18 физических выделенных ядер Intel Xeon V3 Haswell). Инстансы C4 работают на базовой частоте 2,9 ГГц и могут обеспечивать пиковую тактовую частоту до 3,5 ГГц благодаря технологии Intel ® Turbo Boost. В них реализованы передовые возможности процессоров, в том числе инструкции Intel AVX2 и управление P- и C-состояниями процессора. Каждый тип инстанса C4 по умолчанию оптимизирован для использования с сервисом EBS (оптимизация входит в стоимость решения). Эти возможности обеспечивают выделенный объем пропускной способности для обмена данными с EBS на уровне от 500 до 4000 Мбит/с, превышающий возможности стандартных 10-гигабитных сетей.

Инстансы C5 будут доступны в шести размерах на основе ядер Intel Xeon V5 Skylake™. В них реализованы передовые возможности процессоров, в том числе инструкции Intel® Advanced Vector Extensions 512 (Intel® AVX-512). Все типы инстансов C5 поддерживают улучшенную сетевую конфигурацию и эластичный сетевой адаптер (ENA). По сравнению с другими платформами эти возможности обеспечивают пропускную способность сети до 30 Гбит/с, а также более низкую задержку в целом и сокращение показателей остаточной задержки. Инстансы C5 оптимизированы для обмена данными с EBS (до 12 Гбит/с выделенного объема пропускной способности).

Подробнее о типах инстансов Amazon EC2 »

Прочитайте блог Джефа о новом типе инстансов C4 »

Читать о новых типах инстансов в блоге Джеффа »

HA_Instance-R4_HERO-ART

Подробнее о типах инстансов вычислительного кластера EC2

HA_P2_GENERAL

Дополнительные сведения об инстансах P2

 

Инстансы P2 идеально подходят для машинного обучения, инженерного моделирования, финансовой инженерии, сейсмического анализа, молекулярного моделирования, геномики, рендеринга, высокопроизводительных баз данных и прочих рабочих нагрузок, требующих наличия графического процессора.

Инстанс P2 предлагает 16 графических процессоров NVIDIA K80 с объемом видеопамяти 192 ГБ, 40 000 ядер параллельной обработки, производительность вычислений с плавающей запятой одиночной точности на уровне 70 терафлопс, производительность вычислений с плавающей запятой двойной точности на уровне более 23 терафлопс и технологию GPUDirect для повышения пропускной способности и снижения задержек при взаимодействии между одноранговыми графическими процессорами. Инстансы P2 также предлагают до 732 ГБ памяти хоста, до 64 виртуальных ЦПУ, работающих на базе персонализированных процессоров Intel Xeon E5-2686 v4 (Broadwell), выделенные сетевые ресурсы для операций ввода/вывода и улучшенную работу в сети благодаря использованию Amazon EC2 Elastic Network Adaptor. Инстансы P2 позволяют клиентам создавать и развертывать приложения, требующие большой вычислительной мощности, за счет платформы параллельных вычислений CUDA или среды OpenCL без предварительных вложений.

Ознакомьтесь с руководством пользователя »

Инстансы G2 идеально подходят для высокопроизводительных графических приложений, включая 3D-моделирование и эмуляцию, обработку медицинских и геопространственных графических данных, а также доставку видеоконтента.

Ознакомьтесь с руководством пользователя »

 

CPU-GPU-RAM-01

Подробнее о типах инстансов с ГПУ

Инстансы кластера можно запускать в группах размещения. Все инстансы, запущенные в группе размещения, имеют низкую задержку и максимальную пропускную способность бисекции 10-гигабитной сети между инстансами. Как и многие другие ресурсы Amazon EC2, группы размещения являются динамическими, при этом их можно эластично масштабировать по мере необходимости. Вы также можете подключить несколько групп размещения для создания очень больших высокопроизводительных вычислительных кластеров для масштабной параллельной обработки.

Подробнее о группах размещения см. в Руководстве пользователя по EC2 »

CPUs

Подробнее о группах размещения

AWS-financial-grid-computing-thumb

Подробнее об улучшенных сетевых возможностях

В настоящее время AWS поддерживает улучшенные сетевые возможности на основе технологии SR-IOV (виртуализация ввода-вывода с единым корнем) для инстансов типов C3 и I2. SR-IOV – это способ виртуализации устройств, обеспечивающий более высокую производительность ввода-вывода и более низкий уровень использования ЦПУ, чем традиционные реализации. В отношении поддерживаемых пакетов Amazon EC2 эта функция обеспечивает более высокое количество пакетов в секунду, более низкий уровень задержки при передаче данных между инстансами и очень низкий джиттер сети.

Подробные сведения об улучшенных сетевых возможностях см. в Руководстве пользователя по EC2 »

У данных есть определенный вес, и по мере увеличения наборов данных становится проще переместить вычисления ближе к данным для уменьшения задержки и увеличения пропускной способности. С помощью хранилищ для больших данных AWS и сервисов баз данных, таких как Amazon S3, Amazon Redshift, Amazon DynamoDB и Amazon RDS, вы получаете отличное место для хранения своих данных для кластера высокопроизводительных вычислений. Кроме того, с помощью сервиса Amazon Elastic Block Store (EBS) вы можете создать крупные параллельные файловые системы для удовлетворения требований к большому объему, производительности и пропускной способности своей нагрузки высокопроизводительных вычислений.

Подробнее о сервисах AWS для работы с большими данными »

cloud-cluster-reinvent
39:14
Параллельная файловая система OrangeFS в AWS
video-thumb-launching-spot
7:50
Узнайте, как запускать кластер на спотовых инстансах, от BioTeam

Сэкономить время и деньги можно при использовании для обработки нагрузок HPC спотовые инстансы. Спотовые инстансы представляют собой модель ценообразования, при которой вы предлагаете свою цену за неиспользуемые ресурсы EC2. Когда ваша ставка превышает спотовую цену, вы получаете доступ к свободным спотовым инстансам и можете использовать их для работы своих приложений до тех пор, пока заявленная цена не окажется ниже спотовой. Обычно спотовая цена бывает на 50 – 93 % ниже по сравнению с ценой по требованию. 

Дополнительные сведения о спотовых инстансах »

Подробнее о том, как оптимизировать расходы на научные вычисления с помощью спотовых инстансов » 

AWS Marketplace – это интернет-магазин, позволяющий разработчикам и профессионалам в области ИТ легко находить и использовать ПО, предназначенное для запуска в облаке AWS. В AWS Marketplace с помощью нескольких щелчков мышью вы сможете найти множество вариантов ПО для высокопроизводительных вычислений, подготовленного к запуску в кластере, например систему управления ресурсами Univa Grid Engine или файловую систему Intel Lustre HPC.

Перейти к категории HPC в AWS Marketplace »

marketplace_logo_square

Найдите ПО для высокопроизводительных вычислений в AWS Marketplace