Qu'est-ce que le traitement par lots ?

Le traitement par lots est la méthode utilisée par les ordinateurs pour effectuer périodiquement des tâches de données répétitives et volumineuses. Certaines tâches de traitement des données, telles que les sauvegardes, le filtrage et le tri, peuvent nécessiter des calculs intensifs et être inefficaces lorsqu'elles sont exécutées sur des transactions de données individuelles. Les systèmes de données traitent plutôt ces tâches par lots, souvent en dehors des heures de pointe lorsque les ressources informatiques sont plus couramment disponibles, par exemple en fin de journée ou pendant la nuit. Prenons l'exemple d'un système de commerce électronique qui reçoit des commandes tout au long de la journée. Au lieu de traiter chaque commande lorsqu'elle se présente, le système peut collecter toutes les commandes à la fin de chaque journée et les partager en un seul lot avec l'équipe de traitement des commandes.

Pourquoi le traitement par lots est-il important ?

Les entreprises utilisent le traitement par lots, car il nécessite une interaction humaine minimale et rend l'exécution des tâches répétitives plus efficace. Vous pouvez configurer des lots de tâches composés de millions d'enregistrements à traiter ensemble lorsque la puissance de calcul est la plus facilement disponible, ce qui réduit la pression sur vos systèmes. Le traitement par lots moderne nécessite également une supervision ou une gestion humaine minimale. En cas de problème, le système avertit automatiquement l'équipe concernée pour qu'elle le corrige. Les responsables adoptent une approche directe et accordent leur confiance à leur logiciel de traitement par lots pour faire leur travail. Voici d'autres avantages du traitement par lots.

Quel est l'historique du traitement par lots ?

Le traitement par lots a plus d'un siècle, bien que les détails techniques de son fonctionnement aient constamment évolué. Le premier traitement par lots remonte à 1890, lorsqu'un tabulateur électronique a été utilisé pour enregistrer des informations pour le Bureau du recensement des États-Unis. Les agents du recensement ont marqué les cartes de données, appelées cartes perforées, et les ont traitées par lots à l'aide d'un dispositif électromécanique. Dans les années 1960, les développeurs pouvaient planifier des programmes par lots sur bande magnétique pour que les ordinateurs s'exécutent de manière séquentielle tout au long de la journée. Les tâches par lots sont également devenues monnaie courante à mesure que l'ordinateur central s'améliorait et devenait plus puissant et plus efficace. Les entreprises modernes utilisent des applications de traitement par lots basées sur des logiciels pour les processus métier courants tels que la génération de rapports, l'impression de documents ou la mise à jour des informations en fin de journée.

Quels sont les exemples de tâches que le traitement par lots peut automatiser ?

Les systèmes de traitement par lots sont utilisés pour traiter divers types de données et de demandes. Voici certains des types de tâches de traitement par lots les plus courants :

Facturation hebdomadaire/mensuelle
Paie
Traitement des stocks
Génération de rapports
Conversion des données
Cycles d'abonnement
Exécution de la chaîne d'approvisionnement

Quels sont les cas d'utilisation des systèmes de traitement par lots ?

Il existe de nombreux cas d'utilisation des systèmes de traitement par lots. Voici des exemples clés.

Services financiers

Les organisations de services financiers, qu'il s'agisse d'entreprises de technologies financières agiles ou d'entreprises héritées, utilisent le traitement par lots dans des diverses opérations telles que le calcul hautes performances pour la gestion des risques, le traitement des transactions en fin de journée et la surveillance de la fraude. Elles utilisent le traitement par lots pour minimiser les erreurs humaines, augmenter la vitesse et la précision, mais aussi réduire les coûts grâce à l'automatisation.

Logiciel en tant que service

Les entreprises qui fournissent des applications de logiciel en tant que service (SaaS) rencontrent souvent des problèmes de capacité de mise à l'échelle. Grâce au traitement par lots, vous pouvez mettre à l'échelle la demande des clients tout en automatisant la planification des tâches. La création d'environnements applicatifs conteneurisés pour mettre à l'échelle la demande de traitement de gros volumes est un projet qui peut prendre des mois, voire des années, mais les systèmes de traitement par lots vous aident à obtenir le même résultat dans un délai beaucoup plus court.

Recherche médicale

L'analyse de grandes quantités de données, ou big data, est une exigence courante dans le domaine de la recherche. Vous pouvez appliquer le traitement par lots à des applications d'analytique des données telles que la chimie informatique, la modélisation clinique, la dynamique moléculaire, mais aussi les tests et les analyses de séquençage du génome. Par exemple, les scientifiques utilisent le traitement par lots pour recueillir de meilleures données afin de commencer à concevoir des médicaments et de mieux comprendre le rôle d'un processus biochimique particulier.

Multimédia numérique

Les entreprises du secteur des médias et du divertissement ont besoin de systèmes de traitement par lots hautement évolutifs pour traiter automatiquement les données, telles que les fichiers, les graphiques et les effets visuels, pour le contenu vidéo haute résolution. Vous pouvez utiliser le traitement par lots pour accélérer la création de contenu, mettre à l'échelle de manière dynamique l'assemblage de supports multimédias et automatiser la charge de travail de supports multimédias.

Comment fonctionne le traitement par lots ?

Alors que les applications de traitement par lots varient en fonction du type de tâche à effectuer, les bases de tout traitement par lots restent les mêmes. L'utilisateur peut exécuter des tâches par lots en spécifiant les informations suivantes :

Nom de la personne qui soumet la tâche
Processus par lots ou programmes devant être exécutés
Emplacement système de l'entrée de données
Emplacement du système pour la sortie des données traitées
Heure, ou fenêtre de traitement par lots, pendant laquelle le traitement par lots doit être exécuté

L'utilisateur spécifie également la taille du lot, ou le nombre d'unités de travail que le système doit traiter en une seule opération par lots complète. Voici quelques exemples de taille du lot :

Nombre de lignes de fichiers de commandes à lire et à stocker dans la base de données
Nombre de messages à lire et à traiter à partir d'une file d'attente
Nombre de transactions à trier et à envoyer à la prochaine application

Pendant la fenêtre de traitement par lots, le système de traitement par lots utilise les informations de taille du lot pour allouer les ressources nécessaires à la bonne exécution du traitement par lots. Les systèmes modernes peuvent exécuter des centaines de milliers de tâches par lots sur site ou dans le cloud.

Dépendances

Les tâches de traitement par lots peuvent être exécutées de manière séquentielle ou simultanée. Les séquences peuvent différer selon qu'une tâche précédente est terminée avec succès ou non. Parmi les exemples de dépendances, citons le fait qu'un client passe une commande dans une boutique en ligne ou paie une facture. Une dépendance peut également être configurée pour lancer un cycle de traitement de tâches.

Commandes cron

Une commande cron est une tâche par lots qui s'exécute régulièrement. Vous pouvez configurer des modèles de récurrence pour les tâches par lots, par exemple, configurer une tâche pour facturer les abonnements à la fin de chaque mois.

Comment pouvez-vous contrôler le traitement par lots ?

Bien que les systèmes de traitement par lots fonctionnent avec un minimum d'intervention du personnel, ils nécessitent tout de même une certaine surveillance. Pour surveiller les traitements par lots, vous pouvez configurer des alertes (ou des exceptions) qui sont envoyées lorsque le traitement par lots aboutit, échoue ou a terminé son exécution.

Moniteurs

Les moniteurs des processus par lots recherchent les anomalies, telles qu'une tâche qui prend plus de temps que prévu. Dans ce cas, il arrêterait la prochaine tâche et informerait le personnel concerné de l'exception.

Analyse post-traitement

Vous pouvez consulter l'historique d'une tâche par lots une fois qu'elle a été traitée. La plupart des processus par lots incluent des fichiers journaux qui enregistrent les messages pendant l'exécution de la tâche.

Quelle est la différence entre le traitement par lots et le traitement des flux ?

Alors que les systèmes par lots traitent de grands volumes de données et de demandes dans un ordre séquentiel, le traitement des flux analyse en continu les données qui circulent dans un système ou entre des appareils. Le traitement des flux surveille les données en temps réel et les transmet constamment au réseau. Il nécessite plus de puissance de traitement pour surveiller les grandes quantités de données.

Lorsque la taille des données diffusées en continu est in connue ou infinie, les données de streaming peuvent être préférables au traitement par lots. Par conséquent, le traitement des flux est couramment utilisé pour des fonctions métier telles que la cybersécurité, l'Internet des objets (IoT), les services marketing personnalisés et la surveillance des journaux.

Compte tenu de leurs capacités complémentaires, certaines entreprises ont mis en place un système hybride qui inclut le traitement par lots et le traitement des flux dans leurs opérations quotidiennes.

Comment AWS contribue-t-il au traitement par lots ?

Vous pouvez économiser jusqu'à 90 % sur le traitement par lots entièrement géré grâce à AWS Batch. AWS Batch fournit de façon dynamique la quantité et le type optimaux de ressources de calcul, telles que le processeur ou les instances optimisées pour la mémoire, et évite de devoir installer et gérer l'infrastructure du système de traitement par lots. Vous pouvez allouer moins de temps à gérer l'infrastructure, mais davantage à analyser les résultats et à résoudre les problèmes.

Vous pouvez également exécuter vos charges de travail par lots sur des instances Spot Amazon Elastic Compute Cloud (Amazon EC2). Les instances Spot Amazon EC2 sont votre capacité Amazon EC2 inutilisée disponible avec une remise allant jusqu'à 90 % par rapport aux prix des instances à la demande. Les instances Spot sont idéales pour les applications de traitement par lots, car vous pouvez exécuter des charges de travail à très grande échelle et ainsi réaliser des économies considérables, ou vous pouvez accélérer vos charges de travail en exécutant des tâches parallèles.

Lancez-vous dans le traitement par lots en créant un compte AWS.

Qu'est-ce que le traitement par lots ?