Представляем расширенное масштабирование в Управляемом масштабировании Amazon EMR

Проведено: 26 нояб. 2024 г.

Мы рады анонсировать расширенное масштабирование – новую функцию Управляемого масштабирования Amazon EMR, которая предоставляет клиентам повышенную гибкость в управлении производительностью и использовании ресурсов Amazon EMR в кластерах EC2. С помощью расширенного масштабирования клиенты смогут настроить желаемое использование ресурсов или уровни производительности для своего кластера, а Управляемое масштабирование Amazon EMR позволит использовать намерения клиентов для интеллектуального масштабирования кластера и оптимизации его вычислительных ресурсов.

Клиенты ценят простоту Управляемого масштабирования Amazon EMR. Однако бывают случаи, когда используемый по умолчанию алгоритм Управляемого масштабирования Amazon EMR может привести к недоиспользованию кластера при выполнении рабочей нагрузки конкретного клиента. Например, в кластерах, выполняющих несколько задач относительно короткой продолжительности (время выполнения задач не более 10 секунд), Управляемое масштабирование Amazon EMR по умолчанию активно увеличивает масштаб кластера и консервативно уменьшает его масштаб, чтобы избежать негативного влияния на время выполнения заданий. Хотя такой подход подходит для рабочих нагрузок, чувствительных к уровню обслуживания, он может оказаться неоптимальным для рабочих нагрузок, требующих больших затрат. Благодаря расширенному масштабированию клиенты теперь могут настроить поведение Управляемого масштабирования Amazon EMR в соответствии со своим типом рабочей нагрузки, а мы применим индивидуальную оптимизацию для интеллектуального добавления или удаления узлов из кластеров.

Чтобы начать работу с расширенным масштабированием, можно задать параметры ScalingStrategy и UtilizationPerformanceIndex либо при создании новой политики Управляемого масштабирования, либо при обновлении существующей политики Управляемого масштабирования. Расширенное масштабирование имеется в Amazon EMR версии 7.0 и более поздних версиях и доступно во всех регионах, где есть доступ к Управляемому масштабированию Amazon EMR. Дополнительные сведения см. в нашей документации по расширенному масштабированию.