Контроль параллельного выполнения заданий в Amazon EMR для EKS
Платформа Amazon EMR для EKS (Elastic Kubernetes Service) позволяет использовать платформы больших данных с открытым исходным кодом, такие как Apache Spark и Flink, на базе кластеров AWS EKS. Вы отправляете задания на виртуальный кластер, который сопоставлен с пространством имен в кластере EKS, а EMR для EKS берет на себя упаковку, планирование и запуск приложений. Сегодня мы рады объявить о возможности контролировать разрешения на запуск заданий в EMR EKS с поддержкой параллельного выполнения и сигналов замедления в API-интерфейсе StartJobRun (Запуск выполнения задания).
С запуском этих возможностей теперь вы можете детально контролировать ограничения на количество одновременно выполняемых заданий в виртуальном кластере и число заданий в очереди. Это логическая очередь, представляющая задания в состоянии PENDING/SUBMITTED (В очереди/Отправлено). Такие средства управления помогают защищать общие кластеры EKS от перегрузки в многопользовательских общих средах и предотвращать сбои планирования из-за помех от соседей, обеспечивая прогнозируемое выполнение критически важных рабочих нагрузок даже в условиях высокого спроса. Для виртуального кластера можно настроить два ограничения: maxConcurrentJobRuns (Максимальное число параллельно выполняемых в любой момент заданий) и maxInQueueJobRuns (Максимальная глубина очереди для заданий, уже принятых в EMR для EKS, но еще не запущенных). Когда очередь заполнена, StartJobRun возвращает исключение HTTP ValidationException, что позволяет постепенно очистить трафик или перенаправить его в другой кластер, чтобы не перегружать какой-то один. Чтобы в любое время просмотреть текущие лимиты и число выполняемых заданий, можно использовать интерфейс DescribeVirtualCluster (Описание виртуального кластера). По умолчанию никакие ограничения не применяются, поэтому уже имеющиеся рабочие нагрузки никак не изменятся, пока вы не подключите новую возможность.
Ограничения для параллельно выполняемых заданий доступны во всех регионах AWS, где предлагается EMR для EKS. Для начала см. сведения об управлении виртуальными кластерами.