Amazon EMR для EC2 улучшает процесс запуска кластеров за счет интеллектуального выбора подсетей
С сегодняшнего дня Amazon EMR для EC2 обеспечивает повышенную надежность и удобство запуска кластеров с парком инстансов за счет улучшенного выбора подсетей. Эта функция уменьшает количество сбоев запуска кластеров EMR для EC2, вызванных нехваткой IP-адресов.
Amazon EMR – это облачная платформа больших данных для обработки данных, интерактивного анализа и машинного обучения на основе платформ с открытым исходным кодом, таких как Apache Spark, Apache Hive и Presto. В прошлом при выборе подсетей для кластеров EMR рассматривались только доступные IP-адреса основного парка инстансов. Теперь при запуске кластера Amazon EMR использует фильтрацию подсетей и выбирает одну из подсетей с достаточным количеством доступных IP-адресов для успешного запуска всех парков инстансов. Если EMR не находит подсеть с достаточным числом IP-адресов для запуска всего кластера, платформа отдает предпочтение той подсети, которая позволит запустить хотя бы основной и первичный парки инстансов. В этом случае EMR также публикует предупреждающее событие CloudWatch для уведомления пользователя. Если ни одну из настроенных подсетей нельзя использовать для подготовки основного и первичного парков, EMR не запускает кластер и выдает событие с критической ошибкой. Такие события CloudWatch позволяют отслеживать кластеры и при необходимости принимать меры по исправлению ситуации.
Заказчики смогут воспользоваться этой функцией во всех версиях EMR, начиная с 5.12.1, при запуске кластеров с парком инстансов EMR на основе стратегий распределения. Никаких дополнительных действий с вашей стороны не требуется. Эта возможность доступна во всех регионах AWS, включая регионы AWS GovCloud (США), где предоставляется платформа Amazon EMR для EC2. Дополнительные сведения см. в документации.