Архивы

Данные хранятся в Amazon Glacier в папке «архивы». Архив может содержать любые данные, например фотографии, видео или документы. Можно загрузить один файл в качестве архива или объединить несколько файлов в TAR или ZIP-файл и загрузить их как один архив.

Максимальный размер одного архива составляет 40 терабайт. В Amazon Glacier можно хранить неограниченное количество архивов и неограниченный объем данных. Каждому архиву присваивается уникальный идентификатор архива во время его создания. Содержимое архива неизменно, а это означает, что после создания архив не может быть обновлен.

Хранилища

В качестве контейнеров для хранения архивов Amazon Glacier использует так называемые «хранилища». Список своих хранилищ можно просмотреть в Консоли управления AWS, а AWS SDK можно использовать для выполнения различных операций с хранилищами, таких как создание, удаление, блокировка хранилищ, составление списка метаданных хранилищ, получение данных реестра хранилища, назначение тегов хранилищ для настройки фильтров и уведомлений о хранилищах. Кроме того, вы можете установить политику доступа для каждого хранилища с целью разрешить или запретить пользователям совершение определенных действий. В рамках одного AWS-аккаунта можно иметь до 1 000 хранилищ.

Основные возможности

Возможности извлечения данных

Сервис Amazon Glacier предоставляет три возможности извлечения архивов, отвечающие разным требованиям ко времени доступа и стоимости: ускоренное, стандартное и пакетное извлечение. Архивы, запрашиваемые с использованием ускоренного извлечения, обычно доступны через 1–5 минут, что позволяет быстро получить доступ к данным в том случае, когда периодически требуется срочно запросить подмножество архивов. При стандартном извлечении архивы обычно становятся доступны через 3–5 часов. Для экономичного доступа к значительной части ваших данных (даже нескольким петабайтам) можно использовать пакетное извлечение, стоимость которого составляет 0,0025 USD за 1 ГБ.

Подробнее о возможностях извлечения данных Amazon Glacier » 

Amazon Glacier Select

Amazon Glacier Select позволяет напрямую выполнять запросы к данным, хранящимся в Amazon Glacier, без необходимости извлекать весь архив. Amazon Glacier Select дает возможность находить в архивах и обрабатывать только те данные, которые требуются для анализа, что принципиально меняет ценность архивного хранилища.

Теперь аналитические приложения могут вызывать API сервиса Amazon Glacier Select для извлечения из архива Amazon Glacier только необходимых данных для конкретного запроса. Amazon Glacier Select скоро будет интегрирован с Amazon Athena и Amazon Redshift Spectrum, поэтому архивы Glacier теперь можно считать частью инфраструктуры озера данных.

До появления Glacier Select архивы Amazon Glacier приходилось полностью восстанавливать, прежде чем можно было использовать данные. Теперь, благодаря Glacier Select, клиенты смогут сократить расходы и получать больше аналитической информации из своих архивных данных.

Интеграция с AWS Snowball и Direct Connect

Сервис AWS Snowball помогает ускорить перемещение больших объемов данных как в систему AWS, так и из нее с помощью портативных устройств хранения. AWS осуществляет передачу данных непосредственно на устройства хранения или с них по высокоскоростной внутренней сети Amazon, минуя интернет-подключения. Передача значительных объемов данных с помощью AWS Snowball зачастую выполняется значительно быстрее, чем через Интернет, а стоимость этого сервиса гораздо ниже, чем расходы на обновление оборудования для связи. Сервис AWS Snowball можно использовать для переноса данных в облако, распространения контента клиентам, отправки резервных копий в сервис AWS и аварийного восстановления.

Сервис AWS Direct Connect упрощает настройку высокоскоростного выделенного сетевого соединения между корпоративной сетью и платформой AWS. С помощью сервиса AWS Direct Connect можно передавать критически важные для бизнеса данные непосредственно из вашего ЦОД в облако AWS в обход интернет‑провайдера, что позволяет предотвратить перегрузку сети. Кроме того, сервис AWS Direct Connect позволяет легко осуществлять масштабирование соединения для удовлетворения ваших потребностей в передаче данных. AWS Direct Connect обеспечивает соединение со скоростью 1 Гбит/c и 10 Гбит/c, при этом вы можете легко использовать несколько соединений, если вам требуется больше ресурсов.

Блокировка хранилища

Блокировка хранилища Amazon Glacier позволяет легко разворачивать и применять параметры соответствия политикам к отдельным хранилищам Glacier с помощью политики блокировки. Можно установить в политике блокировки хранилища такие параметры, как «Однократная запись с многократным чтением» (WORM), и заблокировать политику от дальнейших изменений. После блокировки политика становится неизменной, и Amazon Glacier будет применять заданные средства управления для обеспечения целевого уровня соответствия требованиям. Дополнительную информацию см. в разделе «Блокировка хранилища Amazon Glacier» Руководства разработчика Amazon Glacier.

Контроль доступа

Amazon Glacier использует систему AWS Identity and Access Management (IAM) для обеспечения надежного контроля доступа к AWS и вашим данным в Amazon Glacier. Вы можете создавать пользователей в IAM, назначать индивидуальные учетные данные безопасности (например, ключи доступа, пароли и многофакторные устройства аутентификации) и устанавливать политику IAM в каждом хранилище Amazon Glacier с целью разрешить предполагаемым пользователям совершение определенных действий.

Поддержка тегов

Amazon Glacier позволяет помечать ваши хранилища Glacier с помощью тегов для облегчения управления ресурсами и расходами. Теги – это метки, которые вы можете задать и связать со своими хранилищами, при этом использование тегов добавляет возможности фильтрации при выполнении таких операций, как создание отчетов о расходах на AWS. Например, вы можете использовать теги для распределения использования Glacier и связанных расходов между несколькими отделами своей организации или для любой другой классификации. Дополнительную информацию см. на странице «Использование тегов для хранилищ Amazon Glacier».

Журналы аудита

Amazon Glacier поддерживает ведение журнала аудита с помощью сервиса AWS CloudTrail, который записывает вызовы API в Amazon Glacier для вашего аккаунта и передает эти файлы журналов вам. Эти файлы журналов дает возможность увидеть действия, выполняемые на ваших ресурсах Amazon Glacier. Например, вы можете определить, какие пользователи обращались к хранилищу за последний месяц, или установить, кто и когда удалил конкретный архив. Ведение журнала аудита может помочь реализовать цели соответствия требованиям и организации управления для вашей облачной системы архивирования. Подробнее см. в разделе «Использование журналов аудита Amazon Glacier».

Политики доступа к хранилищу

Политики доступа к хранилищу облегчают управление доступом к вашим индивидуальным хранилищам Glacier. Вы можете определить политику доступа непосредственно в самом хранилище, чтобы предоставить доступ к хранилищу пользователям и бизнес-группам внутри вашей организации, а также вашим внешним деловым партнерам. Дополнительную информацию см. в разделе «Управление политиками доступа к хранилищу» Руководства разработчика Amazon Glacier.

Реестр хранилища

Amazon Glacier ведет реестр всех архивов в каждом вашем хранилище для аварийного восстановления или в целях выборочной проверки данных. Реестр хранилища обновляется примерно раз в день. Вы можете запросить реестр хранилища в виде либо файла JSON, либо файла CSV, в котором будет содержаться подробная информация об архивах, включая их размер, дату создания, а также описание архива (если вы его указывали при загрузке). В реестре будет представлена информация о состоянии хранилища на момент последнего обновления реестра.

Политики извлечения данных

Политики извлечения данных Amazon Glacier позволяют устанавливать свои собственные ограничения на извлечение данных с помощью всего пары щелчков мыши в Консоли AWS. Вы можете ограничить извлечение данных только до уровня бесплатного пользования (Free Tier Only) или, если вы хотите извлекать объем больший, чем разрешено бесплатным уровнем пользования, то можете задать максимальную скорость извлечения данных (Max Retrieval Rate), чтобы ограничить свою максимальную скорость извлечения данных и установить предел оплаты за извлечение данных. В обоих случаях Amazon Glacier не будет принимать запросы на извлечение данных, объем которых превышает определенные вами пределы извлечения. Дополнительную информацию см. в разделе «Настройка политик извлечения данных» Руководства разработчика Amazon Glacier.

Консоль управления AWS

Доступ к Amazon Glacier осуществляется через консоль управления AWS, которая представляет собой простой в использовании веб-интерфейс, позволяющий создавать хранилища, конфигурировать права доступа на уровне хранилищ и настраивать оповещения SNS для извлечения данных. Консоль представляет сведения об использовании каждого хранилища, а также данные о последнем обновлении реестра хранилища.

Пакеты средств разработки ПО (SDK) AWS

Загрузка и извлечение данных осуществляется с помощью пакетов AWS SDK или базового API Amazon Glacier. Сервис Amazon Glacier поддерживается пакетами AWS SDK для Java, .NET, PHP и Python (Boto). Библиотеки SDK являются надстройками над API Amazon Glacier, что облегчает создание программных решений. Эти пакеты SDK содержат библиотеки, которые связаны с набором базовых API REST и позволяют легко создавать запросы и обрабатывать ответы. AWS SDK для Java и .NET предлагают библиотеки высокоуровневых и низкоуровневых API.

Низкоуровневые API

Низкоуровневые библиотеки-оболочки связаны с лежащими в их основе API Amazon Glacier и обеспечивают наиболее полную реализацию базовых операций Amazon Glacier.

Высокоуровневые API

Высокоуровневые API в большей степени упрощают разработку приложений с более высоким уровнем абстракции для некоторых операций. Например, при загрузке архива высокоуровневый API автоматически вычисляет контрольную сумму.

Дополнительные сведения об этих библиотеках SDK см. в разделах «Использование пакетов AWS SDK для Java с Amazon Glacier» и «Использование пакетов AWS SDK для .NET с Amazon Glacier».

Интегрированное управление жизненным циклом с Amazon S3

Amazon Glacier работает с правилами жизненного цикла Amazon S3, чтобы помочь вам автоматизировать архивирование данных Amazon S3 и снизить общие затраты на хранение. Вы можете легко настроить правило, в соответствии с которым все ваши предыдущие версии объектов Amazon S3 будут храниться в более экономичном классе хранения Glacier и удаляться из хранилища Glacier через 100 дней. В этом случае будет предоставлен 100-дневный период для отмены любых изменений, внесенных в ваши данные, и затраты на хранение автоматически снизятся. Дополнительные сведения о настройке жизненного цикла и перемещении объектов в Amazon Glacier см. в разделе «Управление жизненным циклом объектов» Руководства разработчика Amazon Simple Storage Service

Защита данных

Данные, которые хранятся в Amazon Glacier, обеспечиваются защитой по умолчанию. Доступом к созданным ресурсам Amazon Glacier обладают только владельцы хранилищ. Сервис Amazon Glacier по умолчанию осуществляет шифрование при хранении ваших данных и поддерживает функции безопасной передачи данных посредством протокола SSL. Сервис также поддерживает механизмы контроля доступа с помощью политик Identity and Access Management (IAM). С помощью функций защиты данных, которыми обладает сервис Amazon Glacier, пользователь может обеспечить защиту данных от логических и физических сбоев, а также от утраты данных вследствие непреднамеренных действий пользователя, ошибок приложений и инфраструктурных сбоев. При необходимости соблюдения нормативных стандартов, таких как PCI и HIPAA, возможности защиты данных, встроенные в сервис Amazon Glacier, могут применяться в рамках общей стратегии обеспечения соответствия этим стандартам. Различные функции защиты и обеспечения надежности данных, доступные в сервисе Amazon Glacier, описаны ниже.

Шифрование по умолчанию

Сервис Amazon Glacier автоматически осуществляет шифрование хранимых данных с помощью механизмов, соответствующих симметричным 256-битным ключам стандарта расширенного шифрования (AES), и поддерживает функции безопасной передачи данных посредством протокола Secure Sockets Layer (SSL).

Неизменяемые архивы

Данные, хранящиеся в Amazon Glacier, неизменяемы, а это означает, что после создания архив не может быть обновлен. Это гарантирует, что данные, хранящиеся в соответствии с нормативными требованиями, не могут быть изменены после добавления в архив.

Подробнее об архивах Amazon Glacier »

Гибкий контроль доступа с помощью политик IAM

Amazon Glacier поддерживает политики Identity and Access Management (IAM), что позволяет организациям с большим штатом сотрудников создавать профили множества пользователей и управлять ими через один аккаунт AWS. С помощью политик IAM можно настраивать точные политики для управления хранилищами Amazon Glacier. Можно создавать политики IAM для выборочного предоставления или отмены определенных разрешений и действий по каждому хранилищу Amazon Glacier.

Обязательное подписание запросов

В целях проверки подлинности Amazon Glacier требует, чтобы все запросы были подписаны. Чтобы подписать запрос, вам необходимо рассчитать цифровую подпись с использованием криптографической хэш-функции, имеющей значение хэша, которое было включено в запрос в качестве вашей подписи. Получив запрос, Amazon Glacier перед его обработкой пересчитывает подпись, используя ту же хэш-функцию и исходные данные, которые были использованы для подписания запроса.

Подробнее о подписании запросов в Amazon Glacier »

Надежность хранения данных

Инфраструктура Amazon Glacier отличается высокой степенью надежности и является эффективным решением для длительного хранения архивных данных. Сервис обеспечивает среднюю годовую надежность архива на уровне 99,999999999 %. Сервис обеспечивает избыточное хранение данных с использованием нескольких зон доступности (AZ) AWS и на нескольких устройствах в пределах одной AZ. Для повышения надежности Amazon Glacier синхронно сохраняет данные в нескольких AZ перед возвращением сообщения об успешной загрузке.

Для предотвращения повреждения пакетов данных при передаче по кабелю сервис Amazon Glacier загружает контрольную сумму данных во время загрузки данных. Сервис сравнивает полученную контрольную сумму с контрольной суммой полученных данных с целью обнаружения инвертирования разрядов при передаче по кабелю. Аналогичным образом, с помощью контрольных сумм, сервис проверяет подлинность данных во время извлечения данных. В отличие от традиционных систем, в которых могут применяться сложные механизмы проверки данных и функции ручной коррекции, Amazon Glacier систематически осуществляет проверку целостности данных и обладает свойством автоматического самовосстановления.

Подробнее о контрольных суммах данных »

Управление данными

Операции с архивами в Amazon Glacier

Amazon Glacier поддерживает следующие виды операций: загрузка, скачивание и удаление. Архивы неизменяемы и не могут быть модифицированы.

Загрузка архива на Amazon Glacier

Загрузка архива представляет собой синхронное действие. Вы можете загрузить архив за одно действие; более крупные архивы можно загружать по частям с помощью API MultipartUpload для повышения пропускной способности и отказоустойчивости. Минимальный размер загружаемого архива –– 1 байт, максимальный –– 40 ТБ. Как только архив будет помещен на длительное хранение, вы получите уникальный идентификатор архива. Более подробную информацию и рекомендации по использованию MultipartUpload для повышения пропускной способности см. в разделе «Загрузка архива в Amazon Glacier».

Скачивание архива с Amazon Glacier

Скачивание архива представляет собой асинхронное действие. Сначала необходимо инициировать задание, связанное с извлечением данных из конкретного архива. После получения запроса на создание задания сервис Amazon Glacier готовит архив для загрузки. После выполнения задания у пользователя будет 24 часа, чтобы загрузить данные из обозначенного местоположения.

Удаление архива в Amazon Glacier

Чтобы удалить архив, нужно воспользоваться REST API или пакетами AWS SDK сервиса Amazon Glacier и указать идентификатор архива. Для удаления архивов можно также использовать ряд инструментов сторонних разработчиков. Более подробную информацию см. в разделе «Удаление архива в Amazon Glacier».

Надлежащее использование и ограничения

Использование данного сервиса регламентируется пользовательским соглашением Amazon Web Services.

Подробнее о ценах на Amazon Glacier

Перейти на страницу цен
Готовы приступить к разработке?
Начать работу с Amazon Glacier
Возникли дополнительные вопросы?
Свяжитесь с нами