Архивы

Данные в Amazon Glacier хранятся в «архивах». Архив может содержать любые данные, например фотографии, видео или документы. Можно загрузить один файл в виде архива или объединить несколько файлов в файл TAR или ZIP и загрузить его как один архив.

Размер отдельного архива не может превышать 40 ТБ. В Amazon Glacier можно хранить неограниченное количество архивов и неограниченный объем данных. Каждому архиву присваивается уникальный идентификатор архива во время его создания, при этом содержимое архива остается неизменным. Это означает, что после того как архив создан, он не может быть обновлен.

Хранилища

Amazon Glacier использует «хранилища» как контейнеры для хранения архивов. Можно просмотреть список своих хранилищ в Консоли управления AWS и использовать AWS SDK для выполнения различных операций с хранилищем, например создание хранилища, удаление хранилища, блокировка хранилища, отображение списка метаданных хранилища, получение реестра хранилища, назначение тегов хранилищам для фильтрации и настройка оповещений. Можно также настроить политики доступа к каждому хранилищу, чтобы разрешить или запретить пользователям выполнять определенные действия. В каждом аккаунте AWS можно иметь до 1000 хранилищ.

Основные возможности

Возможности извлечения данных

Сервис Amazon Glacier предоставляет три возможности извлечения архивов, отвечающие разным требованиям ко времени доступа и стоимости: ускоренное, стандартное и пакетное извлечение. Архивы, запрашиваемые с использованием ускоренного извлечения, обычно доступны через 1–5 минут, что позволяет быстро получить доступ к данным в том случае, когда периодически требуется срочно запросить подмножество архивов. При стандартном извлечении архивы обычно становятся доступны через 3–5 часов. Для экономичного доступа к значительной части ваших данных (даже нескольким петабайтам) можно использовать пакетное извлечение, стоимость которого составляет 0,0025 USD за 1 ГБ.

Подробнее о возможностях извлечения данных Amazon Glacier » 

Amazon Glacier Select

Amazon Glacier Select позволяет напрямую выполнять запросы к данным, хранящимся в Amazon Glacier, без необходимости извлекать весь архив. Amazon Glacier Select дает возможность находить в архивах и обрабатывать только те данные, которые требуются для анализа, что принципиально меняет ценность архивного хранилища.

Теперь аналитические приложения могут вызывать API сервиса Amazon Glacier Select для извлечения из архива Amazon Glacier только необходимых данных для конкретного запроса. Amazon Glacier Select скоро будет интегрирован с Amazon Athena и Amazon Redshift Spectrum, поэтому архивы Glacier теперь можно считать частью инфраструктуры озера данных.

До появления Glacier Select архивы Amazon Glacier приходилось полностью восстанавливать, прежде чем можно было использовать данные. Теперь, благодаря Glacier Select, клиенты смогут сократить расходы и получать больше аналитической информации из своих архивных данных.

Интеграция с AWS Snowball и Direct Connect

Сервис AWS Snowball помогает ускорить перемещение больших объемов данных как в систему AWS, так и из нее с помощью портативных устройств хранения. AWS осуществляет передачу данных непосредственно на устройства хранения или с них по высокоскоростной внутренней сети Amazon, минуя интернет-подключения. Передача значительных объемов данных с помощью AWS Snowball зачастую выполняется значительно быстрее, чем через Интернет, а стоимость этого сервиса гораздо ниже, чем расходы на обновление оборудования для связи. Сервис AWS Snowball можно использовать для переноса данных в облако, распространения контента клиентам, отправки резервных копий в сервис AWS и аварийного восстановления.

Сервис AWS Direct Connect упрощает настройку высокоскоростного выделенного сетевого соединения между корпоративной сетью и системой AWS. С помощью сервиса AWS Direct Connect можно передавать критически важные для бизнеса данные непосредственно из вашего ЦОД в AWS в обход интернет-провайдера, что позволяет предотвратить перегрузку сети. Кроме того, сервис AWS Direct Connect позволяет легко осуществить масштабирование соединения для удовлетворения ваших потребностей в передаче данных. AWS Direct Connect обеспечивает соединение со скоростью 1 Гбит/c и 10 Гбит/c, при этом вы можете легко использовать несколько соединений, если вам требуется больше ресурсов.

Блокировка хранилища

Блокировка хранилища Amazon Glacier позволяет легко развертывать и применять параметры соответствия политикам к отдельным хранилищам Glacier с помощью блокирующейся политики. Можно настроить параметры, например однократную запись с многократным чтением (WORM), в политике блокировки хранилища и заблокировать политику от дальнейших изменений. После блокировки политика становится неизменной, и Amazon Glacier будет применять заданные средства управления для обеспечения целевого уровня соответствия требованиям. Дополнительную информацию см. в разделе «Блокировка хранилища Amazon Glacier» Руководства разработчика по Amazon Glacier.

Контроль доступа

Amazon Glacier использует сервис AWS Identity and Access Management (IAM), который позволяет безопасно управлять доступом к AWS и вашим данным в Amazon Glacier. Можно создавать пользователей в IAM, назначать индивидуальные данные, подтверждающие права доступа (т. е. ключи доступа, пароли и устройства многофакторной аутентификации), и политики IAM в каждом хранилище Amazon Glacier для предоставления соответствующим пользователям разрешенных действий.

Поддержка тегов

Amazon Glacier позволяет помечать ваши хранилища Glacier с помощью тегов для облегчения управления ресурсами и расходами. Теги – это метки, которые вы можете задать и связать со своими хранилищами, при этом использование тегов добавляет возможности фильтрации при выполнении таких операций, как создание отчетов о расходах на AWS. Например, вы можете использовать теги для распределения использования Glacier и связанных расходов между несколькими отделами своей организации или для любой другой классификации. Дополнительную информацию см. на странице Использование тегов для хранилищ Amazon Glacier.

Журналы аудита

Amazon Glacier поддерживает журналы аудита Amazon CloudTrail, который записывает вызовы API Amazon Glacier для вашего аккаунта и предоставляет вам файлы журналов. Эти файлы журналов позволяют просматривать действия, выполняемые с ресурсами Amazon Glacier. Например, можно определить, какие пользователи обращались к хранилищу в течение последнего месяца, или определить, кто удалил определенный архив и когда. Использование журнала аудита может помочь вам обеспечить соответствие требованиям и управление целями для своей облачной системы архивирования данных. Подробнее см. в разделе «Использование журналов аудита Amazon Glacier».

Политики доступа к хранилищу

Политики доступа к хранилищу позволяют легко управлять доступом к вашим отдельным хранилищам Glacier. Можно определить политику доступа непосредственно к хранилищу, чтобы предоставить доступ к хранилищу пользователям и бизнес-группам внутри организации, а также своим внешним деловым партнерам. Дополнительную информацию см. в разделе «Управление политиками доступа к хранилищу» Руководства разработчика по Amazon Glacier.

Реестр хранилища

Amazon Glacier содержит реестр всех архивов в каждом из ваших хранилищ на случай аварийного восстановления или в целях выборочной сверки данных. Реестр хранилища обновляется примерно раз в день. Можно запросить реестр хранилища в виде файла JSON или CSV, в котором будет содержаться подробная информация об архивах, включая их размер, дату создания, а также описание архива (если вы указывали его при загрузке). В реестре будет представлена информация о состоянии хранилища на момент последнего обновления реестра.

Политики извлечения данных

Политики извлечения данных Amazon Glacier позволяют устанавливать свои собственные ограничения на извлечение данных с помощью всего пары щелчков мыши в Консоли AWS. Вы можете ограничить извлечение данных только до уровня бесплатного пользования (Free Tier Only) или, если вы хотите извлекать объем больший, чем разрешено бесплатным уровнем пользования, то можете задать максимальную скорость извлечения данных (Max Retrieval Rate), чтобы ограничить свою максимальную скорость извлечения данных и установить предел оплаты за извлечение данных. В обоих случаях Amazon Glacier не будет принимать запросы на извлечение данных, объем которых превышает определенные вами пределы извлечения. Для получения дополнительной информации изучите раздел Настройка политик извлечения данных в руководстве разработчика Amazon Glacier.

Консоль управления AWS

Доступ к Amazon Glacier можно получить с помощью Консоли управления AWS, простого в использовании веб-интерфейса, предоставляющего возможности создания хранилищ, настройки прав доступа на уровне хранилищ, а также настройки оповещений SNS для извлечения данных. Консоль представляет сведения об использовании каждого хранилища, а также данные о последнем обновлении реестра хранилища.

Пакеты средств разработки ПО (SDK) AWS

Загрузка и извлечение данных осуществляются с помощью пакетов AWS SDK или лежащего в их основе API Amazon Glacier. Amazon Glacier поддерживает пакеты AWS SDK для Java, .NET, PHP и Python (Boto). Библиотеки SDK являются надстройками над API Amazon Glacier, что облегчает создание программ. Эти пакеты SDK содержат библиотеки, которые связаны с набором базовых API REST и позволяют легко создавать запросы и обрабатывать ответы. Пакеты AWS SDK для Java и .NET и предлагают библиотеки высокоуровневых и низкоуровневых API.

Низкоуровневые API

Низкоуровневые библиотеки-оболочки связаны с лежащими в их основе API Amazon Glacier и обеспечивают наиболее полную реализацию базовых операций Amazon Glacier.

Высокоуровневые API

Высокоуровневые API еще больше упрощают разработку приложений, обеспечивая более высокий уровень абстракции для некоторых операций. Например, при загрузке архива высокоуровневые API будут автоматически вычислять контрольную сумму.

Для получения информации о библиотеках SDK см. разделы Использование пакетов SDK AWS для Java с Amazon Glacier и Использование пакетов SDK для .NET с Amazon Glacier.

Интеграция с Amazon S3 для управления жизненным циклом

Amazon Glacier работает с правилами управления жизненным циклом данных Amazon S3, что позволяет автоматизировать процесс архивации данных Amazon S3 и уменьшить общие расходы на хранение. Можно легко создать правило, при котором все предыдущие версии объектов Amazon S3 будут сохраняться в экономичном хранилище Glacier и удаляться из хранилища Glacier через 100 дней. Приведенный пример обеспечивает 100-дневный интервал, позволяющий выполнить откат изменений, внесенных в ваши данные, и автоматически снизить затраты на хранение. Дополнительные сведения о настройке жизненного цикла и перемещении объектов в Amazon Glacier см. в разделе «Управление жизненным циклом объектов » Руководства разработчика по Amazon Simple Storage Service.

Защита данных

Данные, хранящиеся в Amazon Glacier, защищены по умолчанию; только владельцы хранилища имеют доступ к ресурсам Amazon Glacier, которые они создают. Amazon Glacier по умолчанию шифрует хранящиеся данные и поддерживает безопасную передачу данных с помощью SSL. Сервис также поддерживает механизмы контроля доступа с помощью политик Identity and Access Management (IAM). С помощью возможностей защиты данных, которыми обладает сервис Amazon Glacier, пользователь может обеспечить защиту данных от логических и физических сбоев, а также защитить себя от утраты данных вследствие непреднамеренных действий пользователя, ошибок приложений и инфраструктурных сбоев. При необходимости соблюдения нормативных стандартов, таких как PCI и HIPAA, возможности защиты данных, встроенные в сервис Amazon Glacier, могут применяться в рамках общей стратегии обеспечения соответствия этим стандартам. Различные функции защиты и обеспечения надежности данных, доступные в сервисе Amazon Glacier, описаны ниже.

Шифрование по умолчанию

Amazon Glacier автоматически шифрует хранящиеся данные, используя симметричные ключи Advanced Encryption Standard (AES) длиной 256 бит, и поддерживает безопасную передачу данных посредством протокола Secure Sockets Layer (SSL).

Неизменные архивы

Данные, хранящиеся в Amazon Glacier, являются неизменными; это означает, что после того, как архив создан, он не может быть обновлен. Это гарантирует, что данные, хранящиеся в соответствии с нормативными требованиями, не могут быть изменены после добавления в архив.

Подробнее об архивах Amazon Glacier »

Гибкое управление доступом с помощью политик IAM

Amazon Glacier поддерживает политики AWS Identity and Access Management (IAM), которые позволяют организациям с несколькими сотрудниками создавать несколько пользователей в одном аккаунте AWS и управлять ими. С помощью политик IAM вы можете создавать политики для полного управления доступом к своим хранилищам Amazon Glacier. Можно создавать политики IAM для выборочного предоставления или отмены разрешений, а также действий, которые можно выполнять с каждым хранилищем Amazon Glacier.

Обязательное подписание запроса

Amazon Glacier требует, чтобы все запросы были подписаны для защиты аутентификации. Чтобы подписать запрос, необходимо вычислить цифровую подпись, используя криптографическую хэш-функцию, которая возвращает значение хэша, который необходимо включить в запрос в качестве своей подписи. Получив запрос, Amazon Glacier перед его обработкой пересчитывает подпись, используя ту же хэш-функцию и исходные данные, которые были использованы для подписания запроса.

Подробнее о подписании запросов в Amazon Glacier »

Надежность хранения данных

Инфраструктура Amazon Glacier отличается высокой степенью надежности и является эффективным решением для длительного хранения архивных данных. Сервис обеспечивает среднюю годовую надежность архива на уровне 99,999999999 %. Сервис обеспечивает избыточное хранение данных с использованием нескольких зон доступности (AZ) AWS и на нескольких устройствах в пределах одной AZ. Для повышения надежности Amazon Glacier синхронно сохраняет данные в нескольких AZ перед возвращением сообщения об успешной загрузке.

Для предотвращения повреждения пакетов данных, передаваемых по проводным каналам связи, Amazon Glacier загружает контрольную сумму этих данных во время их загрузки. Сервис сравнивает полученную контрольную сумму с контрольной суммой полученных данных для обнаружения инвертирования разрядов при передаче данных по проводным каналам связи. Кроме того, сервис проверяет подлинность данных с помощью контрольных сумм при извлечении данных. В отличие от традиционных систем, в которых могут применяться сложные механизмы проверки данных и функции ручной коррекции, Amazon Glacier регулярно осуществляет систематическую проверку целостности данных и обладает свойством автоматического самовосстановления.

Подробнее о контрольных суммах данных »

Управление данными

Операции для работы с архивами в Amazon Glacier

Amazon Glacier поддерживает следующие операции для работы с архивами: выгрузку, загрузку и удаление. Архивы неизменны и не могут быть модифицированы.

Загрузка архива в Amazon Glacier

Загрузка архива в Amazon Glacier является синхронной операцией. Можно загружать архив за одну операцию или загружать большие архивы по частям с помощью API MultipartUpload для увеличения пропускной способности и повышения отказоустойчивости. Можно загружать архивы размером от 1 байта и до 40 ТБ. Вы получите уникальный идентификатор архива после того, как архив будет надежно сохранен. Для получения рекомендаций относительно использования загрузки по частям с целью увеличения пропускной способности см. дополнительную информацию на странице Загрузка архива в Amazon Glacier.

Загрузка архива из Amazon Glacier

Загрузка архива из Amazon Glacier является асинхронной операцией. Необходимо сначала инициализировать задание, связанное с извлечением конкретного архива. После получения запроса на создание задания сервис Amazon Glacier готовит архив для загрузки. После выполнения задания у пользователя будет 24 часа, чтобы загрузить данные из обозначенного местоположения.

Удаление архива из Amazon Glacier

Для удаления архива необходимо воспользоваться API REST Amazon Glacier или AWS SDK и указать идентификатор архива. Также можно использовать различные инструменты сторонних разработчиков для удаления архивов. Дополнительную информацию см. на странице Удаление архива в Amazon Glacier.

Надлежащее использование и ограничения

Использование данного сервиса регламентируется пользовательским соглашением об использовании Amazon Web Services.

Подробнее о ценах на Amazon Glacier

Перейти на страницу цен
Готовы приступить к разработке?
Начать работу с Amazon Glacier
Есть вопросы?
Свяжитесь с нами