Publié le: Jan 21, 2022
Amazon SageMaker Pipelines est un service entièrement géré qui permet aux clients de définir et d’orchestrer les étapes de création de leurs modèles comme des flux, ce qui leur permet de fixer des limites de concurrence sur le nombre d’étapes qui peuvent être exécutées en parallèle.
SageMaker Pipelines propose plusieurs étapes (par ex. le traitement, l’entraînement, le modèle d’enregistrement, le rappel, etc.). Ces étapes offrent aux clients la flexibilité nécessaire pour définir diverses entités dans leurs flux de création de modèles de ML. Auparavant, SageMaker Pipelines exécutait une étape lorsque les étapes dépendantes se terminaient avec succès, ce qui peut conduire à des scénarios où de nombreuses étapes sont programmées pour être exécutées en parallèle. Le contrôle de concurrence aide les clients à contrôler le nombre d’étapes de pipeline qui peuvent être exécutées en parallèle. Avec cette nouvelle fonction, les clients peuvent choisir de définir une limite de concurrence granulaire pour une étape individuelle ou pour l’ensemble du pipeline. Si la limite de concurrence est atteinte, SageMaker Pipelines place les étapes en attente et les programme lorsque les étapes en cours d’exécution sont terminées avec succès. Les clients peuvent ainsi éviter les échecs dus à la privation de ressources, qui peut survenir lorsque plusieurs étapes nécessitant les mêmes ressources sont programmées pour être exécutées en même temps.
Cette fonction est disponible dans toutes les régions AWS dans lesquelles Amazon SageMaker est proposé. Pour commencer, créez un nouveau SageMaker Pipeline à partir du kit SDK Amazon SageMaker ou Amazon SageMaker Studio et consultez les pages de la documentation sur le contrôle de concurrence.