Бессерверное хранилище в Бессерверной конфигурации Amazon EMR теперь поддерживает перемешивание в терабайтном масштабе
Бессерверная конфигурация Amazon EMR теперь предлагает расширенные возможности бессерверного хранилища с поддержкой операций перемешивания объемом до 1 ТБ, увеличивая прежний лимит в 200 ГБ на задание. Бессерверная конфигурация Amazon EMR позволяет инженерам и специалистам по обработке данных легко использовать платформы аналитики больших данных на основе открытого исходного кода без необходимости настройки, контроля и масштабирования кластеров или серверов. Это усовершенствование позволяет корпоративным клиентам выполнять рабочие нагрузки Apache Spark в производственном масштабе, требующие обработки больших объемов данных перемешивания во время сложных операций, таких как объединение, агрегирование и сортировка.
Теперь корпоративные специалисты по обработке данных могут уверенно переносить производственные рабочие нагрузки, регулярно обрабатывающие наборы данных терабайтного масштаба, не беспокоясь об ограничениях хранилища. Это усовершенствование особенно ценно для рабочих нагрузок, связанных с объединением больших таблиц в многотерабайтных наборах данных и сложными агрегациями данных с высокой кардинальностью, требующими интенсивного перемешивания данных. Добавление поддержки выгрузки данных на диск позволяет заданиям беспрепятственно выполнять операции, требующие больших объемов памяти, за счет переноса данных на диск при необходимости, что повышает надежность и успешность выполнения сложных аналитических рабочих нагрузок.
Эта функция доступна в Amazon emr-7.14, emr-spark-8.1 и более поздних версиях в 18 регионах AWS, в которых доступна Бессерверная конфигурация Amazon EMR. Полный список поддерживаемых регионов и применимых ограничений см. в документации по Amazon EMR.
Чтобы узнать больше о Бессерверной конфигурации Amazon EMR и начать использовать поддержку перемешивания в терабайтном масштабе, посетите страницу Бессерверной конфигурации Amazon EMR.