Архивы

Данные хранятся в Amazon S3 Glacier в виде архивов. Архив может содержать любые данные, например фотографии, видео или документы. Можно загрузить один файл в качестве архива или объединить несколько файлов в TAR или ZIP-файл и загрузить их как один архив.

Максимальный размер одного архива составляет 40 терабайт. В Amazon S3 Glacier можно хранить неограниченное количество архивов и неограниченный объем данных. При создании архива ему присваивается уникальный идентификатор. Содержимое архива неизменяемо: после создания архив не может быть обновлен.

Хранилища

В качестве контейнеров для хранения архивов Amazon S3 Glacier использует так называемые хранилища. Список своих хранилищ можно просмотреть в Консоли управления AWS, а AWS SDK можно использовать для выполнения различных операций с хранилищами, таких как создание, удаление, блокировка хранилищ, составление списка метаданных хранилищ, получение данных реестра хранилища, назначение тегов хранилищ для фильтрации и настройка уведомлений о хранилищах. Кроме того, вы можете установить политику доступа для каждого хранилища с целью разрешить или запретить пользователям совершение определенных действий. В рамках одного AWS-аккаунта можно иметь до 1 000 хранилищ.

Основные возможности

Возможности извлечения данных

Сервис Amazon S3 Glacier предоставляет три возможности извлечения архивов, отвечающие разным требованиям ко времени доступа и стоимости: ускоренное, стандартное и пакетное извлечение. При ускоренном извлечении архивы обычно становятся доступны через 1–5 минут, что позволяет быстро получить доступ к данным в том случае, когда требуется срочно запросить некоторое количество архивов. При стандартном извлечении архивы обычно становятся доступны через 3–5 часов. Для экономичного доступа к большим объемам данных (вплоть до нескольких петабайтов) можно использовать пакетное извлечение, стоимость которого составляет 0,0025 USD за 1 ГБ.

Подробнее о возможностях извлечения данных Amazon S3 Glacier » 

Amazon S3 Glacier Select

Amazon S3 Glacier Select позволяет напрямую выполнять запросы к данным, хранящимся в Amazon S3 Glacier, без необходимости извлекать весь архив. Amazon S3 Glacier Select дает возможность находить в архивах и обрабатывать только те данные, которые требуются для анализа, что принципиально меняет ценность архивного хранилища.

Теперь аналитические приложения могут извлекать из архива Amazon S3 Glacier только необходимые данные для конкретного запроса с использованием вызовов API сервиса Amazon S3 Glacier Select. Amazon S3 Glacier Select скоро будет интегрирован с Amazon Athena и Amazon Redshift Spectrum, поэтому архивы S3 Glacier теперь можно считать частью инфраструктуры озера данных.

До появления S3 Glacier Select приходилось полностью восстанавливать архивы Amazon S3 Glacier, чтобы использовать данные. Благодаря S3 Glacier Select клиенты смогут сократить расходы и получать больше аналитической информации из своих архивных данных.

Интеграция с AWS Snowball и Direct Connect

Сервис AWS Snowball помогает ускорить перемещение больших объемов данных как в систему AWS, так и из нее с помощью портативных устройств хранения. AWS осуществляет передачу данных непосредственно на устройства хранения или с них по высокоскоростной внутренней сети Amazon, минуя интернет-подключения. Передача значительных объемов данных с помощью AWS Snowball зачастую выполняется значительно быстрее, чем через Интернет, а стоимость этого сервиса гораздо ниже, чем расходы на обновление оборудования для связи. Сервис AWS Snowball можно использовать для переноса данных в облако, распространения контента клиентам, отправки резервных копий в сервис AWS и аварийного восстановления.

Сервис AWS Direct Connect упрощает настройку высокоскоростного выделенного сетевого соединения между корпоративной сетью и платформой AWS. С помощью сервиса AWS Direct Connect можно передавать критически важные для бизнеса данные непосредственно из вашего ЦОД в облако AWS в обход интернет‑провайдера, что позволяет предотвратить перегрузку сети. Кроме того, сервис AWS Direct Connect позволяет легко осуществлять масштабирование соединения для удовлетворения ваших потребностей в передаче данных. AWS Direct Connect обеспечивает соединение со скоростью 1 Гбит/c и 10 Гбит/c, при этом вы можете легко использовать несколько соединений, если вам требуется больше ресурсов.

Блокировка хранилища

Блокировка хранилища Amazon S3 Glacier позволяет без труда развертывать и применять к отдельным хранилищам Glacier параметры соответствия политикам с помощью блокирующейся политики. Можно установить в политике блокировки хранилища такие параметры, как «Однократная запись с многократным чтением» (WORM), и заблокировать политику от дальнейших изменений. После блокировки политика становится неизменяемой, и Amazon S3 Glacier будет применять заданные средства управления для обеспечения целевого уровня соответствия требованиям. Дополнительную информацию см. в разделе Amazon S3 Glacier Vault Lock руководства для разработчиков по Amazon S3 Glacier.

Контроль доступа

Amazon S3 Glacier использует AWS Identity and Access Management (IAM) для надежного контроля доступа к AWS и данным в Amazon S3 Glacier. Можно создавать пользователей в IAM, назначать индивидуальные данные для доступа (например, ключи доступа, пароли и устройства многофакторной аутентификации) и устанавливать политики IAM в каждом хранилище Amazon S3 Glacier с целью разрешить заданным пользователям совершение определенных действий.

Поддержка тегов

Amazon S3 Glacier позволяет назначать хранилищам S3 Glacier теги, чтобы упростить управление ресурсами и расходами. Теги – это заданные пользователем метки, которые можно связать с хранилищами. Теги позволяют использовать фильтрацию при выполнении таких операций, как создание отчетов о расходах на AWS. Например, можно использовать теги для распределения ресурсов S3 Glacier и связанных расходов между несколькими отделами организации или для любой другой классификации. Подробнее см. в разделе Tagging Your Amazon S3 Glacier Vaults.

Журналы аудита

Amazon S3 Glacier поддерживает ведение журнала аудита с помощью сервиса AWS CloudTrail, который записывает вызовы API Amazon S3 Glacier для аккаунта и передает эти файлы журналов пользователю. Эти файлы журналов дают возможность увидеть действия, выполняемые с ресурсами Amazon S3 Glacier. Например, можно определить, какие пользователи обращались к хранилищу за последний месяц, или установить, кто и когда удалил конкретный архив. С журналом аудита становится проще организовать управление облачной системой архивирования и обеспечить соответствие требованиям. Подробнее см. в разделе Using Audit Logging with Amazon S3 Glacier.

Политики доступа к хранилищу

Политики доступа к хранилищу упрощают управление доступом к индивидуальным хранилищам S3 Glacier. Можно определить политику доступа непосредственно в самом хранилище, чтобы предоставить доступ к хранилищу пользователям и бизнес‑группам внутри организации, а также внешним деловым партнерам. Дополнительную информацию см. в разделе Managing Vault Access Policies руководства для разработчиков по Amazon S3 Glacier.

Реестр хранилища

Amazon S3 Glacier ведет реестр всех архивов в каждом хранилище для аварийного восстановления или в целях выборочной сверки данных. Реестр хранилища обновляется примерно раз в сутки. Вы можете запросить реестр хранилища в виде либо файла JSON, либо файла CSV, в котором будет содержаться подробная информация об архивах, включая их размер, дату создания, а также описание архива (если вы его указывали при загрузке). В реестре будет представлена информация о состоянии хранилища на момент последнего обновления реестра.

Политики извлечения данных

Политики извлечения данных Amazon S3 Glacier позволяют устанавливать собственные ограничения на извлечение данных за несколько щелчков мышью в консоли AWS. Вы можете ограничить извлечение данных только до уровня бесплатного пользования (Free Tier Only) или, если вы хотите извлекать объем больший, чем разрешено бесплатным уровнем пользования, то можете задать максимальную скорость извлечения данных (Max Retrieval Rate), чтобы ограничить свою максимальную скорость извлечения данных и установить предел оплаты за извлечение данных. В обоих случаях Amazon S3 Glacier не будет принимать запросы на извлечение данных, объем которых превышает заданные пределы извлечения. Подробнее об этом см. в разделе Configuring Data Retrieval Policies руководства для разработчиков по Amazon S3 Glacier.

Консоль управления AWS

Доступ к Amazon S3 Glacier осуществляется через консоль управления AWS, которая представляет собой простой в использовании веб‑интерфейс, позволяющий создавать хранилища, задавать права доступа на уровне хранилищ и настраивать оповещения SNS для извлечения данных. Консоль предоставляет сведения об использовании каждого хранилища, а также информацию о времени последнего обновления реестра хранилища.

Пакеты средств разработки ПО (SDK) AWS

Загрузка и извлечение данных осуществляются с помощью пакетов AWS SDK или базового API сервиса Amazon S3 Glacier. Amazon S3 Glacier поддерживается пакетами AWS SDK для Java, .NET, PHP и Python (Boto). Библиотеки SDK являются надстройками над API сервиса Amazon S3 Glacier, что облегчает программирование. Эти пакеты SDK содержат библиотеки, которые связаны с базовым API REST и позволяют без труда создавать запросы и обрабатывать ответы. AWS SDK для Java и .NET предлагают библиотеки высокоуровневых и низкоуровневых API.

Низкоуровневые API

Низкоуровневые обертки библиотеки связаны с базовым API сервиса Amazon S3 Glacier и обеспечивают наиболее полную реализацию базовых операций Amazon S3 Glacier.

Высокоуровневые API

Высокоуровневые API в большей степени упрощают разработку приложений с более высоким уровнем абстракции для некоторых операций. Например, при загрузке архива высокоуровневый API автоматически вычисляет контрольную сумму.

Дополнительные сведения об этих библиотеках SDK см. в разделах Using the AWS SDK for Java with Amazon S3 Glacier и Using the AWS SDK for .NET with Amazon S3 Glacier.

Интегрированное управление жизненным циклом с помощью Amazon S3

Amazon S3 Glacier работает с правилами жизненного цикла Amazon S3, что позволяет автоматизировать архивирование данных Amazon S3 и снизить общие затраты на хранение. Можно без труда создать правило, в соответствии с которым все предыдущие версии объектов Amazon S3 будут храниться с использованием более экономичного класса хранения S3 Glacier и удаляться из хранилища Glacier через 100 дней. Это позволит в течение 100 дней отменять любые изменения, внесенные в данные, и автоматически снизит затраты на хранение. Подробнее о настройке жизненного цикла и перемещении объектов в Amazon S3 Glacier см. в разделе Object Lifecycle Management руководства для разработчиков по Amazon Simple Storage Service

Защита данных

Данные, которые хранятся в Amazon S3 Glacier, защищены по умолчанию. Доступом к созданным ресурсам Amazon S3 Glacier обладают только владельцы хранилищ. Сервис Amazon S3 Glacier по умолчанию шифрует данные при хранении и поддерживает безопасную передачу данных посредством протокола SSL. Сервис также поддерживает механизмы контроля доступа с помощью политик Identity and Access Management (IAM). Amazon S3 Glacier обеспечивает защиту данных от логических и физических сбоев, а также от утраты данных вследствие непреднамеренных действий пользователя, ошибок приложений и инфраструктурных сбоев. Возможности защиты данных Amazon S3 Glacier могут применяться в рамках общей стратегии обеспечения соответствия требованиям нормативных стандартов, таких как PCI и HIPAA. Различные возможности защиты и обеспечения надежности данных, доступные в сервисе Amazon S3 Glacier, описаны ниже.

Шифрование по умолчанию

Amazon S3 Glacier автоматически шифрует хранимые данные с помощью симметричных 256‑битных ключей стандарта расширенного шифрования (AES) и поддерживает безопасную передачу данных посредством протокола Secure Sockets Layer (SSL).

Неизменяемые архивы

Данные, хранящиеся в Amazon S3 Glacier, неизменяемы: после создания архив не может быть обновлен. Это гарантирует, что данные, хранящиеся в соответствии с нормативными требованиями, не будут изменены после добавления в архив.

Подробнее об архивах Amazon S3 Glacier »

Гибкий контроль доступа с помощью политик IAM

Amazon S3 Glacier поддерживает политики Identity and Access Management (IAM), что позволяет организациям с большим штатом сотрудников создавать профили множества пользователей и управлять ими через один аккаунт AWS. С помощью политик IAM можно настраивать точные политики для управления хранилищами Amazon S3 Glacier. Можно создавать политики IAM для выборочного предоставления или отзыва определенных прав доступа и разрешений на действия по каждому хранилищу Amazon S3 Glacier.

Обязательное подписание запросов

В целях проверки подлинности Amazon S3 Glacier требует, чтобы все запросы были подписаны. Чтобы подписать запрос, необходимо рассчитать цифровую подпись с использованием криптографической хэш‑функции, которая возвращает значение хэша для включения в запрос в качестве подписи. Получив запрос, Amazon S3 Glacier перед его обработкой пересчитывает подпись, используя ту же хэш‑функцию и данные, которые были использованы для подписания запроса.

Подробнее о подписании запросов в Amazon S3 Glacier »

Надежность хранения данных

Инфраструктура Amazon S3 Glacier отличается высокой степенью надежности и является эффективным решением для длительного хранения архивных данных. Сервис гарантирует среднюю годовую надежность архива на уровне 99,999999999 %. Сервис обеспечивает избыточное хранение данных в нескольких зонах доступности (AZ) AWS и на нескольких устройствах в пределах каждой зоны доступности. Для повышения надежности Amazon S3 Glacier синхронно сохраняет данные в нескольких зонах доступности перед возвращением сообщения об успешной загрузке.

Чтобы предотвратить повреждение пакетов данных при передаче по сети, Amazon S3 Glacier загружает контрольную сумму данных во время загрузки данных. Сервис сравнивает полученную контрольную сумму с контрольной суммой полученных данных с целью обнаружения инвертирования разрядов при передаче по кабелю. Аналогичным образом с помощью контрольных сумм сервис проверяет подлинность данных во время извлечения данных. В отличие от традиционных систем, в которых могут применяться сложные механизмы проверки данных и ручной корректировки, Amazon S3 Glacier систематически осуществляет проверку целостности данных и обладает свойством автоматического самовосстановления.

Подробнее о контрольных суммах данных »

Управление данными

Операции с архивами в Amazon S3 Glacier

Amazon S3 Glacier поддерживает следующие виды операций: загрузка, скачивание и удаление. Архивы неизменяемы и не могут быть модифицированы.

Загрузка архива в Amazon S3 Glacier

Загрузка архива представляет собой синхронную операцию. Вы можете загрузить архив за одно действие; более крупные архивы можно загружать по частям с помощью API MultipartUpload для повышения пропускной способности и отказоустойчивости. Минимальный размер загружаемого архива –– 1 байт, максимальный –– 40 ТБ. Как только архив будет помещен на длительное хранение, вы получите уникальный идентификатор архива. Более подробную информацию и рекомендации по использованию MultipartUpload для повышения пропускной способности см. в разделе Uploading an Archive in Amazon S3 Glacier.

Скачивание архива из Amazon S3 Glacier

Скачивание архива представляет собой асинхронную операцию. Сначала необходимо инициировать задание, связанное с извлечением данных из конкретного архива. После получения запроса на создание задания сервис Amazon S3 Glacier начинает подготовку архива для загрузки. После выполнения задания у пользователя будет 24 часа, чтобы загрузить данные из обозначенного местоположения.

Удаление архива из Amazon S3 Glacier

Чтобы удалить архив, нужно воспользоваться API REST сервиса Amazon S3 Glacier или пакетами SDK AWS и указать идентификатор архива. Для удаления архивов можно также использовать ряд инструментов сторонних разработчиков. Подробнее см. в разделе Deleting an Archive in Amazon S3 Glacier.

Надлежащее использование и ограничения

Использование данного сервиса регламентируется пользовательским соглашением Amazon Web Services.

Подробнее о ценах на Amazon S3 Glacier

Перейти на страницу цен
Готовы приступить к разработке?
Начать работу с Amazon S3 Glacier
Есть вопросы?
Свяжитесь с нами