Amazon FSx для Lustre теперь поддерживает Интерфейс эластичной матрицы и NVIDIA GPUDirect Storage
Сервис Amazon FSx для Lustre, предоставляющий высокопроизводительное, экономичное и масштабируемое файловое хранилище для вычислительных рабочих нагрузок, теперь поддерживает Интерфейс эластичной матрицы (EFA) и NVIDIA GPUDirect Storage (GDS). С запуском этой поддержки Amazon FSx для Lustre теперь обеспечивает самую быструю работу хранилища для GPU-инстансов в облаке и в 12 раз большую пропускную способность на каждый инстанс клиента (до 1200 Гбит/с) по сравнению с предыдущими системами FSx для Lustre. Это позволяет быстрее выполнять задания по машинному обучению и сокращать затраты на рабочие нагрузки.
Интерфейс EFA улучшает производительность рабочих нагрузок благодаря протоколу AWS Scalable Reliable Datagram (SRD), который повышает эффективность использования пропускной способности сети, а также за счет обхода операционной системы при передаче данных. Для приложений, работающих на высокопроизводительных вычислительных инстансах, таких как Trn1 и Hpc7a, интерфейс EFA позволяет повысить пропускную способность для каждого инстанса клиента. Поддержка технологии GDS основана на EFA и дополнительно увеличивает производительность за счет прямой передачи данных между файловой системой и памятью графического процессора. Такой прямой путь устраняет необходимость копирования в памяти и задействования ЦП для операций передачи данных. Благодаря одновременной поддержке EFA и GDS приложения, использующие инстансы на базе GPU P5 и архитектуру NVIDIA Compute Unified Device Architecture (CUDA), могут получать в 12 раз большую пропускную способность (до 1200 Гбит/с) на каждый инстанс клиента.
Поддержка EFA и GDS доступна без дополнительной платы в новых файловых системах FSx для Lustre типа Persistent-2 во всех коммерческих регионах AWS, где доступны файловые системы Persistent-2. Дополнительные сведения об этой новой функции см. в документации Amazon FSx для Lustre и в статье блога AWS News Amazon FSx для Lustre в 12 раз повышает пропускную способность GPU-инстансов.