Amazon SageMaker HyperPod prend désormais en charge le pilote CSI Amazon EBS pour le stockage persistant
Amazon SageMaker HyperPod prend désormais en charge le pilote d’interface de stockage de conteneur (CSI) Amazon Elastic Block Store (EBS), permettant aux clients de provisionner et de gérer de manière dynamique le stockage persistant pour les charges de travail de machine learning sur les clusters EKS SageMaker HyperPod. Cette fonctionnalité permet aux clients de créer, de joindre et de gérer des volumes EBS par le biais de demandes de volumes persistants de Kubernetes, fournissant ainsi un stockage persistant pendant les redémarrages de pods et les remplacements de nœuds. Les clients qui déploient des charges de travail d’entraînement et d'inférence ont besoin d'une allocation de stockage flexible tout en maintenant des performances élevées, mais exigeaient auparavant une gestion manuelle des volumes EBS en dehors des flux de travail Kubernetes.
La prise en charge des pilotes CSI EBS permet aux clients de provisionner des volumes de manière dynamique en fonction des exigences du modèle, de redimensionner les volumes sans interruption de service et de créer des instantanés pour la sauvegarde et la restauration. Pour les charges de travail d’entraînement, cela fournit un stockage permanent pour les jeux de données, les points de contrôle des modèles et les artefacts partagés. Pour les charges de travail d'inférence, les clients peuvent provisionner le stockage des modèles, créer des volumes de mise en cache et gérer la journalisation des événements. L'intégration prend en charge le provisionnement statique et dynamique via les classes de stockage Kubernetes, optimisant ainsi les coûts et les performances de stockage.
Pour commencer, installez le pilote Amazon CSI EBS en tant que module complémentaire EKS sur votre cluster HyperPod EKS, puis provisionnez les volumes EBS à l'aide des demandes de volumes persistants et des classes de stockage standard de Kubernetes. Le pilote CSI EBS gère le cycle de vie complet des volumes EBS, y compris la création, la fixation, le montage et le nettoyage. Le chiffrement des volumes à l'aide de clés KMS gérées par le client est pris en charge, et les volumes peuvent être redimensionnés et capturés via les opérations Kubernetes standard.
Cette fonctionnalité est disponible dans toutes les régions AWS où les clusters SageMaker HyperPod EKS sont pris en charge. Pour en savoir plus sur la prise en charge des pilotes CSI EBS, consultez le Guide de l'utilisateur d’Amazon SageMaker HyperPod.