Пакет AWS теперь поддерживает групповое планирование в Amazon EKS с применением многоузловых параллельных заданий
Сегодня AWS анонсирует общую доступность многоузловых параллельных (Multi-Node Parallel, MNP) заданий в Пакете AWS в Эластичном сервисе Amazon Kubernetes (Amazon EKS). С помощью заданий MNP в Пакете AWS можно запускать тесно связанные приложения для высокопроизводительных вычислений (HPC), таких как обучение многослойных моделей искусственного интеллекта и машинного обучения. Пакет AWS помогает запускать, настраивать и контролировать узлы в кластере Amazon EKS без вмешательства пользователя.
Настраивать задания MNP можно с помощью API RegisterJobsDefinition или разделов с описаниями заданий в консоли управления Пакета AWS. Используя задания MNP, можно запускать Пакет AWS на рабочих нагрузках Amazon EKS, охватывающих множество инстансов Эластичного вычислительного облака Amazon (Amazon EC2). Задания MNP в Пакете AWS поддерживают любые платформы обмена данными между инстансами на основе IP, такие как NVIDIA Collective Communications Library (NCCL), Gloo, Message Passing Interface (MPI) и Unified Collective Communication (UCC), а также библиотеки машинного обучения и параллельных вычислений, такие как PyTorch и Dask. Дополнительные сведения см. на странице о многоузловых параллельных заданиях в руководстве пользователя Пакета AWS.
Пакет AWS помогает разработчикам, ученым и инженерам эффективно выполнять пакетную обработку для обучения, моделирования и анализа моделей машинного обучения в любом масштабе. Многоузловые параллельные задания доступны в любом регионе AWS, где предлагается Пакет AWS.