Amazon EKS prend désormais en charge jusqu'à 100 000 composants master par cluster
Amazon EKS annonce aujourd'hui la prise en charge d'un maximum de 100 000 composants master dans un cluster, ce qui vous permet d'exécuter des charges de travail de formation et d'inférence en matière d'IA et de machine learning à très grande échelle dans un seul cluster. Avec les types d'instances de calcul accéléré de nouvelle génération d'Amazon EC2, 100 000 composants master prennent en charge jusqu'à 1,6 million de puces Trainium avec des instances Trn2 et 800 000 GPU NVIDIA avec des instances P5 et P6 dans un seul cluster. Cela vous permet d'exécuter des charges de travail IA/ML à très grande échelle qui nécessitent la disponibilité de tous les accélérateurs de calcul au sein d'un seul cluster, car ces charges de travail ne peuvent pas être facilement réparties sur plusieurs clusters.
Les modèles d'IA les plus avancés avec des milliards de paramètres démontrent des capacités considérablement améliorées en matière de compréhension du contexte, de raisonnement et de résolution de tâches complexes. Pour créer et exploiter ces modèles de plus en plus puissants, les entreprises ont besoin d'accéder à un grand nombre d'accélérateurs de calcul au sein d'un seul cluster. L'accès consolidé à un parc d'accélérateurs de calcul aussi important présente des avantages essentiels. Il permet aux entreprises de créer et de déployer des modèles d'IA plus puissants que jamais, il réduit les coûts en partageant efficacement les accélérateurs de calcul entre les charges de travail d'entraînement et d'inférence, et il permet une utilisation fluide des outils et infrastructures d'AI/ML existants qui ne sont pas conçus pour fonctionner entre clusters.
Pour en savoir plus, le blog de lancement.