Avec AWS Batch, vous pouvez simplement compresser le code pour vos tâches de traitement par lots, spécifier leurs dépendances et soumettre ces tâches à l'aide d'AWS Management Console, des interfaces de ligne de commande ou des kits SDK. AWS Batch vous permet de spécifier les paramètres d'exécution et les dépendances entre les tâches, et facilite l'intégration dans de nombreux moteurs de flux de travail et de langages de calcul par lots populaires (par ex., Pegasus WMS, Luigi et AWS Step Functions). AWS Batch met en service et dimensionne efficacement et dynamiquement des instances Amazon EC2 et Spot en fonction des besoins de vos tâches. AWS Batch propose des files d'attente de travail par défaut et des définitions d'environnement de calcul qui vous permettent de démarrer rapidement.

Commencez à utiliser AWS Batch dès aujourd'hui

Démarrage
100x100_benefit_ccontainers

AWS Batch vous permet de spécifier des besoins en ressources, tels que les vCPU et la mémoire, les rôles AWS Identity and Access Management (IAM), les points de montage de volume, les propriétés de conteneur et les variables d'environnement, pour définir le mode d'exécution des tâches. AWS Batch exécute vos tâches sous la forme d'applications conteneurisées lancées sur Amazon ECS.

100x100_benefit_version-control2

AWS Batch vous permet de définir des dépendances entre différentes tâches. Par exemple, votre tâche de traitement par lots peut être composée de trois étapes de traitement différentes auxquelles sont associés divers besoins en ressources. Grâce aux dépendances, vous pouvez créer trois tâches comportant des besoins en ressources différents, chaque tâche successive dépendant de la tâche précédente.

100x100_benefit_ingergration

AWS Batch peut être intégré à des moteurs de flux de travail et langages commerciaux et open source tels que Pegasus WMS et Luigi, ce qui vous permet d'utiliser des langages de flux de travail que vous connaissez pour modéliser vos pipelines de calcul par batch.

100x100_benefit_scalable-instance

AWS Batch propose des environnements de calcul gérés qui mettent en service et dimensionnent de façon dynamique les ressources de calcul en fonction du volume et des besoins en ressources des tâches soumises. Vous pouvez configurer vos environnements de calcul gérés AWS Batch avec des besoins tels que le type d'instances EC2, les configurations de sous-réseau VPC, le nombre minimum, le nombre maximum ou le nombre souhaité de vCPU sur toute les instances, et le tarif de l'offre des instances Spot.

Vous pouvez également mettre en service et gérer vos propres ressources de calcul dans des environnements de calcul non gérés AWS Batch si vous devez utiliser, pour vos instances EC2, des configurations différentes de celles proposées par les environnements de calcul gérés AWS Batch (par ex., de plus grands volumes EBS ou un autre système d'exploitation). Il vous suffit de mettre en service des instances EC2 qui incluent l'agent Amazon ECS et d'exécuter des versions prises en charge de Linux et Docker. AWS Batch exécute alors les tâches de traitement par lots sur les instances EC2 que vous mettez en service.

100x100_benefit_calendar

AWS Batch vous permet de configurer plusieurs files d'attente avec différents niveaux de priorité. Les tâches de traitement par lots sont stockées dans les requêtes jusqu'à ce que les ressources de calcul nécessaires à leur exécution soient disponibles. Le planificateur AWS Batch détermine quand, où et comment exécuter les tâches qui ont été soumises à une file d'attente en fonction des besoins en ressources de chaque tâche. Le planificateur évalue la priorité de chaque file d'attente et exécute les tâches dans l'ordre de priorité sur des ressources de calcul optimales (par ex., des instances optimisées pour la mémoire ou CPU), à condition que les tâches ne possèdent aucune dépendance en suspens.  

100x100_benefit_lowcost-affordable

AWS Batch vous permet d'utiliser facilement les instances Spot Amazon EC2 pour réduire encore plus les coûts d'exécution de vos tâches de traitement par lots. AWS Batch propose des offres de manière dynamique pour vos instances Spot à votre place, en fonction de la quantité et des besoins en ressources nécessaires pour les tâches, ainsi que des paramètres de configuration définis pour vos ressources de calcul.

100x100_benefit_monitoring-logging

AWS Batch affiche des métriques opérationnelles clés pour vos tâches de traitement par lots dans AWS Management Console. Vous pouvez consulter les métriques liées aux capacités de calcul, ainsi que les tâches en cours d'exécution, en attente et terminées. Les journaux de vos tâches (par ex., STDERR et STDOUT) sont disponibles dans AWS Management Console et sont également écrits dans Amazon CloudWatch Logs.

100x100_benefit_privacy1

AWS Batch utilise IAM pour contrôler et surveiller les ressources AWS auxquelles peuvent accéder vos tâches, telles que les tables Amazon DynamoDB. Grâce à IAM, vous pouvez également définir des stratégies pour différents utilisateurs dans votre organisation. Par exemple, les administrateurs peuvent se voir accorder des autorisations d'accès complet à une opération d'API AWS Batch, les développeurs peuvent disposer d'autorisations limitées pour la configuration d'environnements de calcul et l'enregistrement de tâches, et les utilisateurs finaux peuvent être limités aux autorisations nécessaires pour soumettre et supprimer des tâches.