Qu’est-ce que le calcul haute performance AWS ?
Qu’est-ce que le calcul haute performance ?
Le calcul haute performance (HPC) est une stratégie d’infrastructure informatique qui combine des groupes de systèmes informatiques pour effectuer des calculs complexes et simultanés sur des milliards de points de données. La capacité de traitement d’un seul système informatique est limitée par son matériel et est moins utile pour exécuter des simulations dans des domaines tels que la modélisation du climat, la découverte de médicaments, la recherche génomique, etc. Les technologies HPC peuvent utiliser plusieurs systèmes informatiques en parallèle pour augmenter la vitesse de traitement de façon exponentielle.
Ces dernières années, les technologies HPC ont évolué, passant de l’exécution de simulations scientifiques à l’exécution de modèles d’IA et de charges de travail à grande échelle.
Quels sont les cas d’utilisation du HPC ?
Il existe plusieurs cas d’utilisation du calcul haute performance dans les universités, l’industrie et les entreprises.
Multimédia et divertissement
Les clusters haute performance fournissent la puissance de calcul nécessaire au rendu de vidéos et de graphiques 3D, à la diffusion d’événements en direct avec une qualité vidéo élevée et au traitement CGI. Les clusters HPC permettent aux entreprises du secteur des médias de réduire les délais de production, d’accélérer l’encodage vidéo et de réduire les coûts du processus de production.
Santé et génomique
Le secteur de la santé utilise le HPC de nombreuses manières, du séquençage du génome à la prédiction de la structure des protéines, et même dans le cadre d’initiatives de découverte de médicaments. Les modèles alimentés par l’IA et exécutés sur des clusters HPC contribuent à améliorer la recherche et l’adoption de médicaments.
Dans les hôpitaux, l’informatique haute performance s’associe aux logiciels d’IA pour aider à identifier les maladies sur des images numérisées, à créer des plans de traitement médicaux personnalisés et à optimiser la gestion des dossiers médicaux.
Gouvernement et défense
Le calcul haute performance est une technologie de soutien qui fournit des ressources à plusieurs solutions de défense, telles que la cryptographie, la surveillance en temps réel, l’analyse du renseignement et la détection des menaces. L’accès à un système de ressources évolutif permet aux gouvernements de disposer de la puissance informatique dont ils ont besoin pour mener à bien des initiatives de sécurité nationale, des simulations militaires, etc.
Modélisation du climat
La simulation du flux de systèmes fluides à travers la Terre, pour les rapports météorologiques et pour générer des données climatiques, nécessite le traitement simultané d’énormes quantités de données. HPS fournit la puissance de calcul nécessaire pour assimiler et traiter rapidement les données, ce qui permet de fournir des informations aux agences chargées de prévoir les catastrophes naturelles, de surveiller les systèmes météorologiques et de prévoir le changement climatique à long terme.
Services financiers
Les services financiers, tels que les fonds spéculatifs, les compagnies d’assurance et les banques, utilisent le HPC pour traiter les données dont ils ont besoin pour exécuter des modèles de prévision, prévoir le risque de crédit et optimiser les portefeuilles. La puissance de calcul offerte par le HPC améliore l’analytique des données grâce à des informations en temps réel.
Secteur automobile
Le calcul haute performance est une technologie vitale pour les calculs de dynamique des fluides numériques, les essais de matériaux et les tests de simulation de collision pour l’industrie automobile. Le HPC permet un prototypage rapide et des optimisations en temps réel des conceptions, et permet de simuler les flux de travail des usines. Le HPC est également une technologie centrale dans les voitures autonomes et la prise de décision en temps réel basée sur la vision par ordinateur.
Cybersécurité
Le calcul haute performance permet aux administrateurs réseau d’analyser le trafic afin de détecter les anomalies et d’identifier les menaces potentielles avant qu’elles ne surviennent. Le HPC fournit également des ressources informatiques pour le chiffrement, les évaluations à l’échelle du système et la neutralisation des menaces en temps réel.
Comment fonctionne le HPC ?
Le calcul haute performance regroupe la puissance de calcul de plusieurs serveurs, ordinateurs ou postes de travail individuels pour fournir une solution plus puissante. Ce processus de collaboration entre de nombreux nœuds est connu sous le nom de calcul parallèle. Chaque machine individuelle de ce système est appelée nœud, de nombreux nœuds se réunissant pour former un cluster. Chaque nœud du système est responsable de la gestion d’une tâche différente, et tous fonctionnent en parallèle pour augmenter la vitesse de traitement.
Nœuds de cluster
Les solutions HPC incluent quelques types de nœuds
- Les nœuds de contrôleur coordonnent le travail dans l’ensemble du système de cluster.
- Les composants master, ou nœuds de calcul, effectuent tous les traitements.
- Les nœuds interactifs, ou nœuds de connexion, permettent aux utilisateurs de se connecter au système HPC via la ligne de commande ou une interface graphique.
Les clusters HPC peuvent être hétérogènes, lorsque chaque nœud propose un matériel différent, ou homogènes, lorsque chaque nœud possède une capacité de performance similaire.
Structures de clusters HPC
Il existe deux structures de clusters HPC principales.
Cluster computing
Le cluster computing, également connu sous le nom de calcul parallèle, est l’endroit où un ensemble de clusters travaillent ensemble sur une fonction similaire et dans un emplacement similaire. Cette structure minimise la latence entre les nœuds en ayant une topologie de réseau similaire et en étant physiquement proches.
Informatique distribuée
L’informatique distribuée peut utiliser des clusters situés dans un emplacement similaire ou répartis dans le monde entier. Ce format de cluster peut s’appuyer sur du matériel sur site ainsi que sur des ressources cloud, offrant ainsi une approche plus flexible et évolutive du HPC.
Comment fonctionnent les tâches HPC ?
Les systèmes HPC exécutent deux types de processus différents, appelés charges de travail faiblement couplées et étroitement couplées.
Charges de travail faiblement couplées
Les charges de travail faiblement couplées sont des tâches qu’un système HPC exécute indépendamment des autres fonctions pouvant être exécutées en parallèle au sein du système. De nombreuses tâches indépendantes sont exécutées simultanément, c’est pourquoi cette forme de traitement HPC est parfois appelée tâches de charge de travail parallèles.
Par exemple, lors du rendu d’une vidéo, chaque image agit comme une tâche différente. Bien que chaque nœud qui affiche une image puisse puiser dans le même espace de stockage, sa capacité à terminer la tâche ne dépend pas de l’achèvement de la tâche par un autre nœud.
Charges de travail étroitement couplées
Les charges de travail étroitement couplées sont des tâches de traitement HPC qui dépendent les unes des autres pour mener à bien la tâche globale. Ces charges de travail utilisent la mémoire et le stockage partagés d’un cluster pour partager des informations entre tous les nœuds du cluster, ce qui permet à chacun d’accomplir sa tâche simultanément. Les charges de travail étroitement couplées nécessitent souvent une coordination en temps réel, de nombreux nœuds fournissant de petites informations pour effectuer une tâche plus importante. Par exemple, chaque nœud peut être chargé de simuler une composante physique distincte dans une prévision météorologique, et la combinaison des informations provenant de tous les nœuds est nécessaire pour obtenir les prévisions météorologiques finales.
Qu’est-ce que le HPC dans le cloud ?
Le calcul haute performance dans le cloud permet aux entreprises de tirer parti des solutions HPC sans gérer le cluster HPC qu’elles utilisent. Au lieu de construire un centre de données sur site coûteux, le HPC dans le cloud est une solution rentable qui offre aux entreprises la puissance de calcul évolutive dont elles ont besoin.
Trois tendances convergentes ont accéléré l’expansion des services HPC dans le cloud.
Réseau RDMA à faible latence
L’utilisation de l’accès direct à la mémoire à distance (RDMA) a permis aux nœuds de réseau d’accéder à la mémoire sans devoir utiliser leur système d’exploitation. Cette approche veille à ce qu’un nœud puisse interagir avec un autre sans interrompre ses processus, en supprimant les goulots d’étranglement des processus, en minimisant la latence et en maximisant le débit.
Demande accrue de cloud computing
En raison du large éventail de cas d’utilisation du HPC, de nombreuses entreprises de divers secteurs ont désormais besoin de services HPC. Le HPC dans le cloud permet à ces entreprises d’accéder à des services HPC sans devoir construire leurs propres centres de données, ce qui rend cette technologie nettement plus accessible.
Utilisation généralisée de l’IA
Une autre cause de la demande croissante de services HPC dans le cloud est l’utilisation généralisée de logiciels d’IA et de machine learning. Les outils d’IA générative nécessitent une puissance de calcul importante, le HPC fournissant les ressources de calcul et la mise à l’échelle de ces systèmes. Le HPC est une solution efficace pour les entreprises qui souhaitent utiliser des outils d’IA à l’échelle de l’entreprise.
Quels sont les avantages du HPC dans le cloud ?
L’exécution du HPC dans le cloud présente plusieurs avantages.
Gestion unifiée et à distance
Chaque projet HPC possède des exigences d’infrastructure uniques. L’autoachat limite l’organisation à quelques configurations sélectionnées dans lesquelles elle peut investir. Cependant, le cloud HPC permet aux entreprises de choisir et de combiner diverses configurations de stockage, de calcul, de mise en réseau et de nœuds de connexion, de GPU et de postes de travail selon les besoins de leur projet. Elles peuvent utiliser une console de gestion pour interagir avec tous ces systèmes depuis un emplacement central. Cela rationalise les flux de travail et automatise les fonctions du cluster pour plus de facilité.
Provisionnement et mise à l’échelle dynamiques des ressources
Les systèmes de cloud computing haute performance permettent aux entreprises de mettre à l’échelle l’utilisation de leurs ressources de calcul de manière dynamique, en augmentant verticalement ou en réduisant verticalement sans effort pour répondre à la demande. Cette flexibilité améliore l’efficacité et optimise l’utilisation des ressources.
Mises à jour gérées
Les charges de travail HPC gérées par des fournisseurs de cloud computing émettent automatiquement des mises à jour pour maintenir vos systèmes à jour. Cette approche garantit que vos solutions HPC sont toujours à jour et offrent le service le plus efficace possible.
Flexibilité d’utilisation d’applications personnalisées
Les entreprises peuvent transférer leurs applications vers leur fournisseur de cloud. Elles peuvent personnaliser le système d’exploitation et les logiciels préinstallés pour répondre à des exigences de charge de travail spécifiques.
Comment AWS peut-elle répondre à vos besoins en matière de HPC ?
Les services entièrement gérés AWS HPC vous permettent d’accélérer l’innovation grâce à une infrastructure cloud HPC pratiquement illimitée. Par exemple
- AWS Parallel Computing Service propose un service entièrement géré que vous pouvez utiliser pour créer des environnements complets et élastiques capables d’héberger vos charges de travail informatiques haute performance.
- AWS ParallelCluster est un outil de gestion de clusters open source tout-en-un qui simplifie la gestion des clusters HPC sur AWS.
- Amazon Elastic Fabric Adapter aide les utilisateurs à exécuter des applications HPC et ML à l’échelle dont ils ont besoin, en leur offrant la possibilité de se mettre à l’échelle de milliers de GPU ou de processeurs.
- Amazon DCV est un protocole d’affichage à distance qui permet aux clients d’accéder à un moyen sécurisé de proposer des postes de travail distants et de diffuser des applications sur différentes conditions de réseau.
Commencez à utiliser le calcul haute performance sur AWS en créant un compte gratuit dès aujourd’hui.