Amazon SageMaker HyperPod теперь поддерживает драйвер CSI Amazon EBS для постоянного хранения
Amazon SageMaker HyperPod теперь поддерживает драйвер интерфейса контейнерного хранилища (CSI) Эластичного блочного хранилища Amazon (EBS), позволяющий клиентам динамически выделять постоянное хранилище и управлять им для рабочих нагрузок машинного обучения в кластерах SageMaker HyperPod EKS. Эта возможность позволяет клиентам создавать, подключать тома EBS и управлять ими с помощью заявок на постоянные тома Kubernetes, обеспечивая хранение данных при перезапуске пода и замене узлов. Клиентам, развертывающим рабочие нагрузки, связанные с обучением и выводом выводов, необходимо гибкое выделение ресурсов хранилища при сохранении высокой производительности, однако ранее им требовалось ручное управление томами EBS вне рабочих процессов Kubernetes.
Поддержка драйвера CSI EBS позволяет клиентам динамически выделять тома в соответствии с требованиями модели, изменять размеры томов без прерывания обслуживания и создавать снимки для резервного копирования и восстановления. Для рабочих нагрузок обучения это обеспечивает постоянное хранение наборов данных, контрольных точек модели и общих артефактов. Для рабочих нагрузок, связанных со вводом-выводом, клиенты могут выделять хранилище моделей, создавать тома кэширования и вести журнал событий. Интеграция поддерживает статическое и динамическое выделение ресурсов с помощью классов хранилища Kubernetes, оптимизируя производительность и затраты на хранение.
Для начала установите драйвер CSI Amazon EBS в качестве дополнения EKS в свой кластер HyperPod EKS, а затем выделите тома EBS, используя стандартные заявки Kubernetes на постоянные тома и классы хранилища. Драйвер CSI EBS управляет полным жизненным циклом томов EBS, включая создание, вложение, подключение и очистку. Поддерживается шифрование томов с помощью ключей KMS, управляемых клиентами, а также можно изменять размер томов и делать снимки с помощью стандартных операций Kubernetes.
Эта функция доступна во всех регионах AWS, где поддерживаются кластеры SageMaker HyperPod EKS. Подробнее о поддержке драйвера CSI EBS см. в руководстве пользователя Amazon SageMaker HyperPod.