Бессерверная конфигурация Amazon EMR внедряет средства управления параллельным выполнением заданий и организации очередей
Бессерверная конфигурация Amazon EMR — это бессерверная опция в Amazon EMR, которая позволяет инженерам по данным и специалистам по обработке данных легко запускать платформы аналитики больших данных с открытым исходным кодом без настройки, управления и масштабирования кластеров или серверов. Сегодня мы рады объявить о возможности управления разрешениями на запуск заданий в Бессерверной конфигурации Amazon EMR с поддержкой параллельного выполнения заданий и управления очередями.
Параллельное выполнение заданий и организация очередей позволяют задавать максимальное количество одновременно выполняемых заданий для приложения и автоматически ставить все остальные отправленные задания в очередь. Это предотвращает сбои выполнения заданий, вызванные превышением ограничений API из-за резкого увеличения числа отправленных заданий или исчерпания ресурсов, что происходит вследствие превышения лимита на число виртуальных ЦП, одновременно используемых приложением или аккаунтом, или превышения лимита на число IP-адресов в используемой подсети. Очередь выполнения заданий также упрощает управление их запуском, устраняя необходимость в создании сложных систем управления очередью для повторного запуска заданий, которые не были выполнены из-за нарушения ограничений (например, ограничений на максимальное число одновременно задействованных виртуальных ЦП, количество IP-адресов подсети и т. п.). Благодаря этой функции задания автоматически добавляются в очередь и обрабатываются по мере появления параллельных слотов, что обеспечивает эффективное использование ресурсов и предотвращает сбои заданий.
Параллельное выполнение заданий и организация очередей в Бессерверной конфигурации Amazon EMR доступны во всех регионах AWS, где доступна Бессерверная конфигурация Amazon EMR, включая регионы AWS GovCloud (США) и регионы Китая. Дополнительные сведения см. в разделе Параллельное выполнение заданий и организация очередей в документации по Бессерверной конфигурации EMR.