Динамически обновляйте работающий кластер EMR с помощью переконфигурации для парков инстансов
Amazon EMR на EC2 теперь поддерживает обновление конфигураций приложений для парков инстансов EMR в реальном времени без прерывания работы или перезапуска кластера. Благодаря этой функции клиенты теперь могут без особых усилий динамически настраивать конфигурации приложений, такие как память исполнителей Spark, распределение ресурсов YARN и настройки HDFS, в работающем кластере, сводя к минимуму перерывы в рабочих нагрузках. Это особенно полезно для регулирования распределения ресурсов и настройки приложений в соответствии с требованиями к обработке данных и производительности заданий при одновременном обеспечении оптимального использования ресурсов.
Amazon EMR – это облачная платформа больших данных для обработки данных, интерактивного анализа и машинного обучения на основе платформ с открытым исходным кодом, таких как Apache Spark, Apache Flink и Trino. Ранее приходилось прекращать работу и перезапускать кластеры парка инстансов с новыми конфигурациями. Этот процесс приводил к простоям, увеличению усилий при эксплуатации и задержке корректировки рабочего процесса. Благодаря поддержке переконфигурации EMR динамически применяет обновленные конфигурации к узлам кластера на постоянной основе, обеспечивая стабильность кластера и доступность ресурсов. Он предоставляет клиентам уведомления с помощью событий Amazon CloudWatch и EMR. В случае сбоя или несовместимого обновления EMR отменит изменения, чтобы обеспечить работоспособность кластера. В процессе обновления можно продолжать выполнять рабочие нагрузки на кластере.
Эту функцию можно использовать во всех версиях EMR 5.21 и более поздних, используя интерфейс командной строки или API AWS. Эта возможность доступна во всех регионах AWS, включая регионы AWS GovCloud (США), где предоставляется платформа Amazon EMR для EC2. Дополнительные сведения см. в документации.