Возможности Amazon EMR

Amazon EMR упрощает создание и эксплуатацию сред больших данных и приложений для них. EMR отличает простота выделения ресурсов, масштабирования и перенастройки кластеров, а также возможность использовать EMR Studio для совместной разработки.

Выделяйте кластеры за считанные минуты: для запуска кластера EMR потребуется несколько минут. Вам не нужно заниматься выделением инфраструктуры, настройкой, конфигурацией или оптимизацией кластера. EMR берет на себя выполнение этих задач, чтобы ваши команды могли сосредоточиться на разработке уникальных приложений для больших данных.

Без труда масштабируйте ресурсы в соответствии с потребностями вашего бизнеса: вы можете легко увеличивать или уменьшать масштаб с помощью политик управляемого масштабирования EMR, и кластер EMR будет автоматически управлять вычислительными ресурсами с учетом ваших требований к использованию и производительности. Это позволяет эффективнее использовать кластер и сократить расходы.

EMR Studio – это интегрированная среда разработки, которая позволяет специалистам по работе с данными и инженерам по обработке данных упрощать процесс разработки, визуализации и отладки приложений для обработки или анализа данных, написанных на R, Python, Scala и PySpark. EMR Studio включает в себя полностью управляемые блокноты Jupyter и такие инструменты, как ИП Spark и сервис YARN Timeline, для упрощения отладки.

Высокая доступность одним щелчком: вы можете легко задать высокую доступность для приложений с несколькими главными узлами, например YARN, HDFS, Apache Spark, Apache HBase и Apache Hive, одним щелчком. После включения в EMR поддержки нескольких главных узлов EMR переведет эти приложения в режим высокой доступности. Тогда в случае отказа нагрузка будет перенесена на резервный основной узел, чтобы кластер продолжал функционировать, а главные узлы будут помещены в отдельные стойки, чтобы минимизировать риск одновременного отказа. Хосты отслеживаются на предмет отказов. В случае обнаружения проблем выделяются новые хосты и автоматически добавляются в кластер.

Управляемое масштабирование EMR: автоматически изменяет размер кластера для достижения максимальной производительности при минимально возможных затратах. Управляемое масштабирование EMR позволяет задавать минимальные и максимальные пределы вычислений для кластеров, а Amazon EMR автоматически изменяет их размер для обеспечения максимальной производительности и эффективного использования ресурсов. Управляемое масштабирование EMR непрерывно выбирает ключевые метрики, связанные с рабочими нагрузками в кластерах.

Без труда перенастраивайте работающие кластеры: теперь, чтобы изменить конфигурацию приложений, работающих на базе кластеров EMR, в том числе Apache Hadoop, Apache Spark, Apache Hive и Hue, не нужно перезапускать кластер. Возможность перенастройки приложений EMR – это возможность в любой момент изменять приложения без необходимости останавливать работу кластера или повторно создавать его. Amazon EMR применит изменения в конфигурации и перезапустит перенастроенное приложение. Применять конфигурации можно посредством консоли, SDK или интерфейса командной строки.

Amazon EMR позволяет просто и быстро выделять необходимое количество ресурсов, а также добавлять или удалять ресурсы автоматически или вручную. Эта возможность чрезвычайно полезна в тех случаях, когда требования по обработке данных постоянно меняются или их невозможно прогнозировать. Например, если основная масса работы приходится на ночное время суток, потребность в ресурсах может составлять 100 инстансов в дневное время и 500 инстансов в ночное. Другой вариант – значительное возрастание потребности в ресурсах на короткий период времени. С помощью Amazon EMR можно выделить сотни или тысячи инстансов, как только они понадобятся, выполнить автоматическое масштабирование для обеспечения требований к вычислительным мощностям и остановить кластер по завершении задания, чтобы не платить за простаивающие ресурсы.

Ресурсы можно добавлять и удалять двумя способами.

Развертывание множества кластеров. Когда требуется больше ресурсов, можно без труда запустить новый кластер и остановить его по завершении использования. Количество кластеров не ограничено. При наличии множества пользователей или приложений можно использовать множество кластеров. Например, можно хранить входные данные в Amazon S3 и запускать по одному кластеру для каждого обрабатывающего их приложения. Один кластер можно оптимизировать для использования ресурсов ЦПУ, другой – для использования ресурсов хранилища и т. д.

Изменение размеров работающего кластера. Amazon EMR позволяет без труда применять к работающему кластеру управляемое масштабирование EMR или автоматическое масштабирование, а также изменять его размер вручную. Кластер можно масштабировать в сторону увеличения, чтобы временно повысить его вычислительную мощность, или в сторону уменьшения, чтобы избежать расходов на неиспользуемые ресурсы. Например, некоторые пользователи добавляют к своим кластерам сотни инстансов для пакетной обработки данных и удаляют лишние инстансы после ее завершения. При добавлении инстансов в кластер EMR теперь можно использовать выделенные ресурсы сразу, как только они становятся доступными. При масштабировании в сторону уменьшения EMR будет заранее выбирать свободные узлы, чтобы уменьшить воздействие на выполняемые задания.

Amazon EMR позволяет снизить стоимость обработки больших объемов данных. Это достигается благодаря таким возможностям сервиса, как низкие посекундные цены, возможность использования спотовых или зарезервированных инстансов Amazon EC2, эластичность и интеграция с Amazon S3.

Низкие посекундные цены. В Amazon EMR плата начисляется на посекундной основе (минимальный уровень составляет одну минуту) и начинается с 0,015 USD в час за инстанс Small (131,40 USD в год). Подробнее см. в разделе цен.

Интеграция спотовых инстансов Amazon EC2. Цена на спотовые инстансы Amazon EC2 изменяется на основании спроса и предложения, но клиенты никогда не платят больше указанной ими максимальной цены. Использование спотовых инстансов в Amazon EMR не представляет никакой сложности и позволяет сэкономить время и деньги. В состав кластеров Amazon EMR входят постоянные узлы с файловой системой HDFS и узлы заданий без нее. Спотовые инстансы лучше всего назначать узлами заданий, потому что в этом случае данные, хранящиеся в файловой системе HDFS, не будут потеряны, если цена спотовых инстансов возрастет и их работа будет прервана. (Подробнее о постоянных узлах и узлах заданий.). Благодаря комбинации группы инстансов, стратегий распределения для спотовых инстансов, управляемого масштабирования EMR и других возможностей диверсификации теперь вы можете оптимизировать EMR для обеспечения отказоустойчивости и сокращения затрат. См. подробные сведения в нашем блоге.

Интеграция с Amazon S3. Благодаря применению файловой системы EMR сервис Amazon S3 эффективно и безопасно используется кластерами EMR в качестве хранилища объектов для Hadoop. Данные можно хранить в Amazon S3 и обрабатывать их множеством кластеров Amazon EMR. Каждый кластер оптимизируется для того или иного вида рабочей нагрузки. Это более эффективно, чем использовать один и тот же кластер для разных видов рабочей нагрузки с разными требованиями. Например, из двух кластеров, обрабатывающих одни и те же данные в Amazon S3, один можно оптимизировать для приложений, интенсивно использующих ресурсы ввода‑вывода, а другой – для использования ресурсов ЦПУ. Кроме того, при хранении входных и выходных данных в Amazon S3 можно останавливать кластеры, которые больше не требуются.

EMRFS обеспечивает высокую производительность операций чтения и записи в среде Amazon S3, поддерживает серверное и клиентское шифрование S3 с использованием AWS Key Management Service (KMS) или клиентских ключей, а также предлагает дополнительное единое представление для проверки согласованности списков и операций чтения после записи для объектов, которые отслеживаются в метаданных. Кластеры Amazon EMR работают как с файловой системой EMRFS, так и с HDFS, поэтому выбирать между хранением данных в кластере и в среде Amazon S3 не требуется.

Интеграция каталога данных AWS Glue. Каталог данных AWS Glue можно использовать в качестве управляемого репозитория метаданных для хранения метаданных внешних таблиц Apache Spark и Apache Hive. Кроме того, он автоматически обнаруживает схемы данных и хранит историю версий. Это позволяет без труда сохранять метаданные внешних таблиц вне кластера в Amazon S3.

С Amazon EMR можно использовать разные хранилища данных, в том числе Amazon S3, распределенную файловую систему Hadoop (HDFS) и Amazon DynamoDB.

Amazon S3. Amazon S3 – это высоконадежный, масштабируемый, безопасный, производительный и недорогой сервис хранения данных. Amazon EMR использует файловую систему EMR (EMRFS) для эффективного и безопасного хранения объектов Hadoop в Amazon S3. Сервис Amazon EMR предлагает ряд значительных усовершенствований Hadoop и обеспечивает эффективную обработку больших объемов данных, хранящихся в Amazon S3. Кроме того, в EMRFS есть дополнительное единое представление для проверки согласованности списков и операций чтения после записи для объектов в Amazon S3. EMRFS поддерживает серверное и клиентское шифрование S3 при работе с зашифрованными объектами в Amazon S3 и позволяет использовать как AWS Key Management Service (KMS), так и собственного поставщика ключей.

При запуске кластера Amazon EMR начинает потоковую передачу данных из Amazon S3 на каждый инстанс кластера и сразу запускает их обработку. Одним из преимуществ хранения данных в Amazon S3 и обработки их с помощью Amazon EMR является возможность обрабатывать одни и те же данные множеством кластеров. Например, кластер разработки Hive, оптимизированный для использования ресурсов памяти, и рабочий кластер Pig, оптимизированный для использования ресурсов ЦПУ, могут работать с одним и тем же набором входных данных.

Распределенная файловая система Hadoop (HDFS). HDFS – это файловая система Hadoop. Текущая топология сервиса Amazon EMR объединяет инстансы в три логических группы: группа Master, исполняющая планировщик ресурсов YARN и сервис узлов имен HDFS; группа Core, исполняющая HDFS DataNode Daemon и планировщик узлов YARN, и группа Task, исполняющая планировщик узлов YARN. Amazon EMR устанавливает HDFS в хранилище, связанное с инстансами в группе Core.

К каждому инстансу EC2 по умолчанию подключен фиксированный объем хранилища, называемого «хранилищем инстанса». Хранилище в инстансе можно изменять путем добавления в инстанс томов Amazon EBS. Amazon EMR позволяет добавлять следующие типы томов: универсальные (SSD), выделенные (SSD) и магнитные. Тома EBS, добавленные к кластеру EMR, не сохраняют данные после остановки кластера. Сервис EMR автоматически очищает тома после завершения работы кластера.

Можно также включить полное шифрование для файловой системы HDFS с помощью конфигураций безопасности Amazon EMR или создать вручную зоны шифрования HDFS с помощью сервера управления ключами Hadoop. Вы можете использовать возможность конфигурации безопасности для шифрования корневого устройства EBS и томов хранилища, если укажете AWS KMS в качестве поставщика ключей. См. подробные сведения в разделе о шифровании локального диска.

Amazon DynamoDB. Amazon DynamoDB – это высокопроизводительный, полностью управляемый сервис баз данных NoSQL. Amazon EMR напрямую интегрируется с Amazon DynamoDB, что обеспечивает быструю и эффективную обработку хранящихся в Amazon DynamoDB данных и обмен данными между Amazon DynamoDB, Amazon S3 и HDFS в Amazon EMR.

Другие хранилища данных AWS. Пользователи Amazon EMR используют также Amazon Relational Database Service (веб‑сервис, позволяющий без труда создавать, обрабатывать и масштабировать реляционные базы данных в облаке и управлять ими), Amazon Glacier (сервис хранения данных, отличающийся очень низкой стоимостью и обеспечивающий безопасное и надежное хранение архивов и резервных копий) и Amazon Redshift (высокопроизводительный, полностью управляемый сервис, позволяющий хранить петабайты данных). AWS Data Pipeline – это веб‑сервис, который позволяет безопасно обрабатывать данные, а также перемещать их между различными вычислительными сервисами и хранилищами AWS (включая Amazon EMR), а также локальными источниками данных в установленный временной промежуток.

Amazon EMR поддерживает использование эффективных и проверенных инструментов Hadoop, таких как Apache Spark, Apache Hive, Presto и Apache HBase. Специалисты по работе с данными применяют EMR для запуска таких инструментов глубокого и машинного обучения, как TensorFlow и Apache MXNet, а используя загрузочные скрипты, можно добавить собственные инструменты и библиотеки, подходящие для конкретного примера использования. Аналитики данных применяют Hue и EMR Notebooks для интерактивной разработки, создания заданий Apache Spark и отправки запросов SQL в Apache Hive и Presto. Инженеры по обработке данных применяют EMR для разработки конвейеров данных и обработки данных, а также используют Apache Hudi для упрощения инкрементного управления данными и случаев, связанных с конфиденциальностью данных, когда требуется вставка на уровне записи, обновления или удаления.

Обработка данных и машинное обучение

Apache Spark – это механизм семейства Hadoop для быстрой обработки больших наборов данных. Он задает преобразование данных с помощью размещенных в оперативной памяти отказоустойчивых распределенных наборов данных (RDD) и направленных ациклических графов (DAG). Spark также включает в себя Spark SQL, Spark Streaming, MLlib и GraphX. Узнайте, что такое Spark и как использовать Spark на EMR.

Apache Flink – это механизм обработки потоковых данных, упрощающий обработку потоков в режиме реального времени для источников данных с высокой пропускной способностью. Он поддерживает семантику времени события для событий с нарушением очередности, семантику «ровно один раз», контроль замедленной обратной реакции и интерфейсы API, оптимизированные под написание приложений как для потоковой, так и для пакетной обработки. Узнайте, что такое Flink и как использовать Flink на EMR.

TensorFlow – это библиотека символьных математических вычислений с открытым исходным кодом для приложений искусственного интеллекта и глубокого обучения. TensorFlow объединяет множество моделей и алгоритмов машинного и глубокого обучения и может обучать и развертывать глубокие нейронные сети для множества различных примеров использования. Подробнее о TensorFlow в EMR.

Управление данными Amazon S3 на уровне записи

Apache Hudi – это платформа с открытым исходным кодом для управления данными, упрощающая их инкрементную обработку и разработку конвейера данных. Apache Hudi позволяет управлять данными в Amazon S3 на уровне записи, упрощая захват меняющихся данных и прием потоковой передачи данных, а также представляет платформу для работы с конфиденциальными данными в случаях, когда требуются обновления и удаления на уровне записи. Подробнее об Apache Hudi в Amazon EMR.

SQL

Apache Hive – это инфраструктура аналитики и хранения данных с открытым исходным кодом, представляющая собой надстройку Hadoop. Hive использует язык Hive QL на основе SQL, обеспечивающий структурирование, систематизацию и выдачу запросов данных. Hive QL – это расширение стандартного языка SQL. Он обеспечивает превосходную поддержку функций map / reduce и сложных расширяемых типов данных, определяемых пользователем, например JSON и Thrift. Это позволяет обрабатывать источники сложных неструктурированных данных, такие как текстовые документы и файлы журналов. Hive поддерживает пользовательские расширения с помощью определяемых пользователем функций на Java. Amazon EMR добавляет к Hive целый ряд возможностей, включая прямую интеграцию с Amazon DynamoDB и Amazon S3. Например, при использовании Amazon EMR можно автоматически загружать разделы таблиц из Amazon S3, записывать данные в таблицы в Amazon S3 без использования временных файлов и получать доступ к таким ресурсам в Amazon S3, как скрипты для пользовательских операций map/reduce и дополнительные библиотеки. Узнайте, что такое Hive и как использовать Hive на EMR.

Presto – это распределенный механизм обработки запросов SQL с открытым исходным кодом, оптимизированный для выполнения спонтанного анализа данных с низкой задержкой. Оно поддерживает стандарт ANSI SQL, включая комплексные запросы, агрегацию, слияние и функции окон. Presto может обрабатывать данные из множества источников, включая распределенную файловую систему Hadoop (HDFS) и Amazon S3. Узнайте, что такое Presto и как использовать Presto на EMR.

Apache Phoenix обеспечивает выполнение SQL‑запросов с низкой задержкой и поддерживает возможность проведения ACID‑транзакций с данными, хранящимися в Apache HBase. Можно без труда создавать вторичные индексы для дополнительного повышения производительности, а также различные представления одной и той же базовой таблицы HBase. Подробнее о Phoenix в EMR.
 

NoSQL

Apache HBase – это нереляционная распределенная база данных с открытым исходным кодом на основе базы данных BigTable от Google. Разработанная в рамках проекта Apache Software Foundation's Hadoop, она представляет собой надстройку распределенной файловой системы Hadoop (HDFS) и обеспечивает аналогичные BigTable возможности для Hadoop. HBase предлагает эффективное отказоустойчивое хранение большого количества разреженных данных благодаря сжатию и хранению по столбцам. Кроме того, HBase обеспечивает быстрый поиск данных, поскольку кэширует данные в памяти. База данных HBase оптимизирована для операций последовательной записи и эффективно выполняет операции пакетной вставки, обновления и удаления данных. HBase эффективно работает с Hadoop, используя его файловую систему и обеспечивая прямой ввод и вывод данных для заданий Hadoop. HBase также интегрируется с Apache Hive, поддерживая SQL‑подобные запросы к таблицам HBase, операции слияния с таблицами Hive и стандарт Java Database Connectivity (JDBC). EMR дает возможность использовать S3 в качестве хранилища данных для HBase, что уменьшает затраты и снижает эксплуатационную сложность. Если файловая система HDFS используется в качестве хранилища данных, то можно создать резервную копию HBase в S3, а затем восстановить данные из ранее созданной резервной копии. Узнайте, что такое HBase и как использовать HBase в EMR.

Интерактивная аналитика

EMR Studio – это интегрированная среда разработки, которая позволяет специалистам по работе с данными и инженерам по обработке данных упрощать процесс разработки, визуализации и отладки приложений для обработки или анализа данных, написанных на R, Python, Scala и PySpark. EMR Studio включает в себя полностью управляемые блокноты Jupyter и такие инструменты, как ИП Spark и сервис YARN Timeline, для упрощения отладки.

Hue – это ИП с открытым исходным кодом для Hadoop, упрощающий запуск и разработку запросов Hive, управление файлами в HDFS, запуск и разработку скриптов Pig и управление таблицами. Hue в EMR также интегрируется с Amazon S3, что позволяет создавать запросы непосредственно к объектам в S3 и без труда осуществлять обмен файлами между HDFS и Amazon S3. Подробнее о Hue и EMR.

Jupyter Notebook – это веб‑приложение с открытым исходным кодом, с помощью которого можно создавать документы, содержащие рабочий код, уравнения, визуализации и описательный текст, и обмениваться ими. JupyterHub позволяет размещать на сервере множество экземпляров однопользовательских блокнотов Jupyter. Когда вы создаете кластер EMR с JupyterHub, EMR создает на ведущем узле кластера контейнер Docker. В этом контейнере запускаются JupyterHub, все компоненты, необходимые для Jupyter, и Sparkmagic.

Apache Zeppelin – это графический пользовательский интерфейс с открытым исходным кодом для создания интерактивных блокнотов с возможностью совместного использования для исследования данных с помощью Spark. Для работы с данными и быстрой визуализации результатов можно использовать языки Scala, Python, SQL (с помощью Spark SQL) или HiveQL. С блокнотами Zeppelin могут совместно работать несколько пользователей, а визуализацию можно публиковать на внешних панелях управления. Подробнее о Zeppelin в EMR.

Планирование и рабочие процессы

Apache Oozie – это планировщик рабочих процессов для Hadoop, позволяющий создавать направленные ациклические графы (DAG) действий. Он также позволяет без труда запускать рабочие процессы Hadoop при выполнении некоторого действия или в определенный момент времени. Подробнее об Oozie для EMR. Интеграция с AWS Step Functions позволяет добавлять в приложения автоматизацию бессерверных рабочих процессов. Этапы рабочего процесса можно выполнять где угодно, в том числе в функциях AWS Lambda, в Amazon Elastic Compute Cloud (EC2) или локально. Подробнее о Step Functions для EMR.

Другие проекты и инструменты

EMR также поддерживает широкий спектр других распространенных приложений и инструментов, таких как R, Apache Pig (обработка данных и извлечение, преобразование и загрузка данных), Apache Tez (выполнение сложных DAG), Apache MXNet (глубокое обучение), Mahout (машинное обучение), Ganglia (мониторинг), Apache Sqoop (модуль подключения реляционных баз данных), HCatalog (управление таблицами и хранилищем) и т. д. Команда Amazon EMR осуществляет поддержку репозитория скриптов начальной загрузки с открытым исходным кодом для установки дополнительного ПО и настройки кластера. Их также можно использовать в качестве примеров для создания собственных скриптов начальной загрузки.

По умолчанию процессы приложения Amazon EMR используют профиль инстанса EC2, вызывая другие сервисы AWS. Для многопользовательских кластеров Amazon EMR предоставляет три варианта управления доступом пользователей к данным Amazon S3.

Интеграция с AWS Lake Formation дает вам возможность определять точно настраиваемые политики авторизации и управлять ими в AWS Lake Formation для доступа к базам данных, таблицам и столбцам в AWS Glue Data Catalog. Вы можете принудительно применить политики авторизации к заданиям, которые отправлены с помощью Amazon EMR Notebooks и Apache Zeppelin для интерактивных рабочих нагрузок EMR Spark, и отправлять события аудита в AWS CloudTrail. Включив эту интеграцию, вы также включаете федеративный единый вход в EMR Notebooks или Apache Zeppelin из систем корпоративных удостоверений, совместимых с Security Assertion Markup Language (SAML) 2.0.

Встроенная интеграция с Apache Ranger дает вам возможность настроить новый или существующий сервер Apache Ranger для настройки точных политик авторизации пользователей и управления этими политиками, чтобы обеспечивать доступ к базам данных, таблицам и столбцам данных Amazon S3 посредством Hive Metastore. Apache Ranger – это инструмент с открытым исходным кодом для включения, мониторинга и управления полнофункциональной защитой данных в масштабах платформы Hadoop.

Такая встроенная интеграция дает возможность определять три типа политик авторизации на сервере администрирования политик Apache Ranger. Для Hive Можно установить авторизацию на уровне таблицы, столбца и строки, для Spark – на уровне таблицы и столбца, а для Amazon S3 – на уровне префикса и объекта. Amazon EMR автоматически устанавливает и настраивает соответствующие плагины Apache Ranger в кластере. Эти плагины Ranger проводят синхронизацию с сервером администрирования политик для политик авторизации, принудительного применения контроля доступа к данным и отправки событий аудита в Amazon CloudWatch logs.

Средство привязки ролей Amazon EMR дает возможность применять разрешения IAM AWS для управления доступом к ресурсам AWS. Можно создавать привязки между пользователями (или группами) и настраиваемыми ролями IAM. Пользователь или группа имеют доступ только к тем данным, к которым им разрешает обращаться настраиваемая роль IAM. Эта функция на данный момент доступна в AWS Labs.

AWS Outposts – это полностью управляемый сервис, который делает инфраструктуру, сервисы, API и инструменты AWS доступными практически для любого центра обработки данных, колокационного центра или локального объекта, а также позволяет создать действительно единообразную гибридную среду. Благодаря Amazon EMR для AWS Outposts можно развертывать кластеры EMR и управлять ими в центре обработки данных с помощью Консоли управления AWS, комплектов средств разработки ПО (SDK) и интерфейса командной строки (CLI), используемых для EMR.