Apache HBase в Amazon EMR

Amazon EMR позволяет применять Amazon S3 в качестве хранилища данных для Apache HBase с использованием файловой системы EMR. Использование Amazon S3 в качестве хранилища данных позволяет отделить вычисления от хранения данных и обеспечивает ряд преимуществ по сравнению с кластерной распределенной файловой системой Hadoop (HDFS) из Apache Hadoop. Вы можете сэкономить средства, определив размер кластера с учетом требований к вычислениям, а не к хранению данных в HDFS, и при этом получить доступность и надежность Amazon S3 для хранения данных. Вы можете масштабировать вычислительные узлы, не влияя на базовое хранилище, прекратить работу кластера по завершении задания, чтобы сэкономить средства, и быстро восстановить кластер, когда это необходимо. Кроме того, можно создать и настроить кластер реплики чтения в зоне доступности Amazon EC2, где находится основной кластер, обеспечивающий доступ к данным только для чтения. Это гарантирует непрерывный доступ к используемым данным, даже если основной кластер становится недоступным. Amazon EMR также сохраняет файлы данных Apache HBase (HFiles) в Amazon S3.

База данных Apache HBase рассчитана на обеспечение высокой производительности при увеличении масштаба до сотен узлов для работы с миллионами столбцов и миллиардами строк в произвольном доступе. Она использует Amazon S3 (с EMRFS) или распределенную файловую систему Hadoop (HDFS) в качестве отказоустойчивого хранилища данных. Сервис Amazon EMR поддерживает множество типов инстансов и томов Amazon EBS, что позволяет индивидуально настраивать аппаратное обеспечение кластера для оптимизации затрат и производительности.

Запустить полностью настроенный кластер Amazon EMR с Apache HBase и другими приложениями семейств Apache Hadoop и Apache Spark можно очень просто, за считанные минуты. Сервис Amazon EMR производит автоматическую замену низкопроизводительных узлов и позволяет без труда изменять размер кластера в соответствии с потребностями. Управлять таблицами и просматривать данные в Apache HBase можно с помощью пользовательского интерфейса Hue, а создавать резервные копии таблиц и восстанавливать их в Amazon S3 очень просто благодаря файловой системе EMRFS и Hadoop MapReduce. Вдобавок хранилище Apache HBase на Amazon EMR поддерживает авторизацию Amazon EMR, аутентификацию по протоколу Kerberos и набор функций шифрования. Нажмите здесь, чтобы получить дополнительные сведения о функциях сервиса Amazon EMR.

Amazon EMR позволяет применять Amazon S3 в качестве хранилища данных для Apache HBase с использованием файловой системы EMR. Разделение хранилища и вычислительных узлов кластера путем использования Amazon S3 в качестве хранилища данных обеспечивает ряд преимуществ по сравнению с файловой системой HDFS на кластере. Можно сэкономить, определив размер кластера на основе требований к вычислительным ресурсам, а не требований к хранилищу данных HDFS, и получить при этом доступное и надежное хранилище на базе S3. Можно масштабировать вычислительные узлы без влияния на базовое хранилище, прекращать работу кластера для сокращения расходов, а затем быстро его восстанавливать. Кроме того, можно создать и настроить кластер реплики чтения в другой зоне доступности Amazon EC2, обеспечивающий доступ только для чтения к тем же данным, что и основной кластер. Это гарантирует непрерывный доступ к используемым данным, даже если основной кластер становится недоступным.