Управляемое масштабирование Amazon EMR теперь поддерживает размещение основных приложений
Сегодня мы рады объявить о новом усовершенствовании Управляемого масштабирования EMR, которое повышает отказоустойчивость приложений и масштабирует кластер в соответствии с требованиями исполнителя и ApplicationMasters за счет добавления поддержки меток узлов Yarn. Amazon EMR по умолчанию гарантирует, что процессы, которые контролируют выполнение заданий и должны работать в течение всего срока действия задания (ApplicationMasters), могут работать как на основном узле, так и на узлах заданий. Однако многие клиенты, особенно использующие спотовые инстансы для запуска узлов заданий, предпочитают запускать ApplicationMasters только на центральных узлах по запросу, чтобы обеспечить бесперебойное выполнение заданий в случае прерывания работы основных приложений на спотовых инстансах. Начиная с сегодняшнего запуска функция «Управляемое масштабирование EMR» будет масштабировать кластеры по требованию для отдельных запросов AM или исполнителей, как определено метками узлов YARN. Интеллектуальное масштабирование кластера по требованию для AM или исполнителей позволяет повысить производительность, эффективность использования и снизить затраты.
В рамках сегодняшнего запуска в версии EMR 7.2 и более поздних версиях Amazon EMR также позволит указывать выражения меток узлов YARN на уровне приложения по типам рынка (например, «по требованию» или «спотовый»). Ранее клиенты могли указывать выражения меток узлов YARN только по уровню типа узла, например «ядро» или «задание». Благодаря этому новому усовершенствованию клиенты получат дополнительную гибкость, позволяющую улучшить выполнение требований кластерных рабочих нагрузок.
Эта функция доступна в Amazon EMR версии 7.2 и выше во всех регионах AWS, где доступно Управляемое масштабирование Amazon EMR. Подробнее см. в нашей документации по управляемому масштабированию.