AWS Neuron объявляет о поддержке динамического распределения ресурсов для Amazon EKS
AWS анонсирует драйвер динамического распределения ресурсов Neuron для Amazon Elastic Kubernetes Service (Amazon EKS), который позволяет инстансам на базе AWS Trainium использовать планирование с учетом ресурсов напрямую в Kubernetes. Драйвер динамического распределения ресурсов Neuron публикует подробные данные об атрибутах устройств непосредственно в планировщике Kubernetes, что позволяет принимать решения о размещении с учетом топологии, не прибегая к специальным расширениям планировщика.
Развертывание рабочих нагрузок искусственного интеллекта в Kubernetes требует, чтобы инженеры по машинному обучению принимали решения об инфраструктуре, которые не связанные напрямую с разработкой моделей, например определяли число устройств, анализировали аппаратную и сетевую топологию и писали манифесты для определенных ускорителей. Это создает трудности, замедляет итерацию и тесно связывает рабочие нагрузки с используемой инфраструктурой. При появлении таких примеров использования, как распределенное обучение, логический вывод с длинным контекстом и дезагрегированные архитектуры, вышеуказанные трудности создают проблемы для масштабирования.
Драйвер динамического распределения ресурсов Neuron устраняет эти сложности, отделяя проблемы инфраструктуры от рабочих процессов машинного обучения. Специалисты по инфраструктуре создают шаблоны ResourceClaimTemplates для многократного использования, отражающие топологию устройств, распределение и сетевые политики. Инженеры машинного обучения могут просто ссылаться на эти шаблоны в своих манифестах, не вдаваясь в детали аппаратного обеспечения. Это обеспечивает согласованное развертывание различных типов рабочих нагрузок и позволяет настраивать каждую рабочую нагрузку отдельно, чтобы разные нагрузки могли эффективно использовать одни и те же узлы.
Драйвер динамического распределения ресурсов Neuron поддерживает все типы инстансов AWS Trainium и доступен во всех регионах AWS, где предлагается AWS Trainium.
Информацию, образцы шаблонов и руководства по внедрению см. в документации драйвера динамического распределения ресурсов Neuron.
Подробнее: