Общие вопросы и ответы по S3

Вопрос: Что такое Amazon S3?

Amazon S3 – это объектное хранилище, рассчитанное на хранение и извлечение любых объемов данных из любого места в Интернете. Это простой сервис хранилища, который обеспечивает чрезвычайно надежную, высокодоступную и бесконечно масштабируемую инфраструктуру для хранения данных по очень низким ценам.

Вопрос: Что можно делать с помощью Amazon S3?

Amazon S3 предоставляет простой интерфейс веб-сервиса, который можно использовать для хранения и извлечения любых объемов данных в любое время из любого места в Интернете. Такой веб-сервис позволяет просто создавать приложения, использующие интернет-хранилище. Поскольку сервис Amazon S3 обеспечивает широкие возможности масштабирования, а плата начисляется только за фактически использованные ресурсы, можно начать работу с небольших масштабов и наращивать приложение по мере необходимости, не жертвуя при этом производительностью или надежностью.

Сервис Amazon S3 спроектирован для максимальной гибкой работы. Вы можете хранить данные любого типа и в любом количестве; считывать те же самые данные миллион раз или только для аварийного восстановления; создавать простое FTP-приложение или сложное веб-приложение, сравнимое с розничным интернет-магазином Amazon.com. Amazon S3 позволяет разработчикам сосредоточить внимание на инновациях, не переживая о том, как хранить данные.

Вопрос: Как начать работу с Amazon S3?

Чтобы зарегистрироваться в сервисе Amazon S3, щелкните эту ссылку. Чтобы получить доступ к этому сервису, требуется аккаунт Amazon Web Services. Если аккаунта еще нет, вам будет предложено создать его в начале процесса регистрации в сервисе Amazon S3. После регистрации обратитесь к документации по Amazon S3 и образцам кода в Центре ресурсов для начала работы с Amazon S3.

Вопрос: Какие преимущества по сравнению с локальными решениями Amazon S3 открывает для разработчиков?

Сервис Amazon S3 позволяет любому разработчику в массовом масштабе использовать преимущества, которыми пользуется сама компания Amazon, без предварительной оплаты или снижения собственной производительности. Теперь разработчики могут свободно вводить новшества, зная, что, независимо от того, насколько успешным будет бизнес, обеспечить быстрый и постоянный доступ к данным и их безопасность будет легко и недорого.

Вопрос: Какие типы данных могут храниться в Amazon S3?

Можно хранить практически любые типы данных в любом формате. Дополнительную информацию см. в Лицензионном соглашении Amazon Web Services.

Вопрос: Какой объем данных может храниться в Amazon S3?

Общий объем хранимых данных, как и количество объектов, ограничений не имеет. Размер отдельных объектов Amazon S3 может составлять от 0 байт до 5 ТБ. Самый крупный объект, который можно загрузить через один запрос PUT – 5 гигабайт. Для объектов крупнее 100 мегабайт клиентам рекомендуется использовать функцию многокомпонентной загрузки.

Вопрос: Какие классы хранилищ предлагает Amazon S3?

Сервис Amazon S3 предлагает несколько классов хранилища, предназначенных для различных примеров использования. Существует четыре класса хранилищ с высокой степенью надежности: это стандартное хранилище Amazon S3 общего назначения (S3 Standard) для часто используемых данных; стандартное хранилище нечастого доступа Amazon S3 (S3 Standard – IA) или хранилище нечастого доступа Amazon S3 в одной зоне доступности (S3 One Zone – IA) для данных, требующих длительного хранения, но менее частого доступа; и Amazon Glacier для длительного хранения архивных данных. Подробнее об этих классах хранилищ см. на странице «Классы хранилищ Amazon S3»

Вопрос: Как Amazon распоряжается моими данными в Amazon S3?

Amazon хранит ваши данные и прослеживает их использование для выставления счета. Amazon не имеет доступа к вашим данным ни с какими целями, не связанными с сервисом Amazon S3, за исключением случаев, когда это требуется законом. Дополнительную информацию см. в Лицензионном соглашении Amazon Web Services.

Вопрос: Хранит ли Amazon в Amazon S3 свои данные?

Да. Разработчики в компании Amazon используют Amazon S3 для самых разнообразных проектов. Многие из этих проектов используют Amazon S3 в качестве надежного хранилища данных, используемых в критически важных для бизнеса процессах.

Вопрос: Как организованы данные в Amazon S3?

Amazon S3 – это простое хранилище объектов на основе ключа. При хранении данных объектам назначается уникальный ключ, который может использоваться впоследствии для доступа к данным. Ключи могут иметь любые строковые значения; их можно создавать так, чтобы имитировать иерархические атрибуты. Кроме того, для организации данных во всех корзинах и/или с любыми префиксами S3 можно воспользоваться функцией S3 Object Tagging.

Вопрос: В каком интерфейсе можно работать с Amazon S3?

Amazon S3 предоставляет простые, стандартизированные интерфейсы веб-сервисов REST и SOAP, предназначенные для работы с любым инструментарием интернет-разработки. Мы намеренно упростили все системные процессы, чтобы позволить просто добавлять новые протоколы раздачи и функциональные уровни.

Вопрос: Насколько надежен Amazon S3?

Amazon S3 предоставляет любому разработчику доступ к той же масштабируемой, высокодоступной, быстрой и недорогой инфраструктуре хранения данных, которую Amazon использует для управления своей собственной глобальной сетью веб-сайтов. Класс хранилища S3 Standard рассчитан на обеспечение доступности на уровне 99,99 %, класс хранилища S3 Standard-IA — на уровне 99,9 %, а класс хранилища S3 One Zone-IA — на уровне 99,5 %. Использование хранилищ всех перечисленных классов регулируется Соглашением об уровне обслуживания Amazon S3.

Вопрос: Как будет работать Amazon S3 в случае внезапного всплеска трафика из приложения клиента?

Amazon S3 с самого начала был создан для обработки трафика из любого интернет-приложения. Оплата по мере использования и неограниченный объем ресурсов предотвращают дополнительные издержки и прерывание сервиса. Огромный масштаб Amazon S3 позволяет нам равномерно распределять нагрузку, чтобы пики трафика не сказывались на отдельных приложениях.

Вопрос: Предлагает ли Amazon S3 Соглашение об уровне обслуживания (SLA)?

Да. Соглашение об уровне обслуживания Amazon S3 предусматривает компенсацию в случае, если уровень бесперебойной работы за любой учетный период был ниже согласованного.

Регионы AWS

Вопрос: Где хранятся мои данные?

При создании корзины Amazon S3 можно выбрать регион AWS. Хранилища классов S3 Standard, S3 Standard – IA и Amazon Glacier обеспечивают автоматическое хранение объектов на нескольких устройствах, расположенных как минимум в трех зонах доступности, расстояние между которыми в пределах региона Amazon S3 составляет несколько километров. Объекты, размещаемые в хранилище класса S3 One Zone – IA, сохраняются с избыточностью в пределах одной зоны доступности в выбранном регионе AWS. Дополнительные сведения о доступности Amazon S3 в конкретных регионах AWS см. на странице «Продукты и сервисы по регионам».

Вопрос: Что такое регион AWS?

Регион AWS – это географическое местоположение, где AWS предоставляет множество физически разделенных и изолированных зон доступности, которые объединены в сеть с низкой задержкой, высокой пропускной способностью и высокой избыточностью.

Вопрос: Что такое зона доступности AWS (AZ)?

Зона доступности AWS – это изолированное местоположение в регионе AWS. В каждом регионе AWS сервис S3 использует как минимум три зоны доступности, расстояние между которыми составляет несколько километров, что обеспечивает защиту от локальных стихийных бедствий, таких как пожары, наводнения и пр.

Хранилища классов Amazon S3 Standard, S3 Standard – IA и Amazon Glacier реплицируют данные как минимум в трех зонах доступности для обеспечения защиты данных в случае полного выхода одной из зон доступности из строя. Это условие остается в силе и в регионах, где публично доступно менее трех зон доступности. Объекты, размещенные в хранилищах этих классов, доступны из всех зон доступности в регионе AWS.

Хранилища класса Amazon S3 One Zone – IA реплицируют данные в пределах одной зоны доступности. Данные, размещаемые в хранилищах этого класса, могут пострадать в случае повреждения зоны доступности.

Вопрос: Как решить, в каком регионе AWS хранить данные?

Следует принять во внимание несколько факторов, исходя из потребностей вашего конкретного приложения. Может иметь смысл хранить данные в регионе, который...

  • ...расположен близко к вашим клиентам, центрам обработки данных или другим ресурсам AWS с целью понижения задержки при доступе к данным.
  • ...удален от других ваших узлов и систем в целях географической избыточности и аварийного восстановления.
  • ...позволяет удовлетворить определенным юридическим и нормативным требованиям.
  • ...позволяет понизить затраты на хранилище. В целях экономии средств можно выбрать менее дорогой регион. Подробней о ценах сервиса см. на странице цен на Amazon S3.

Вопрос: В каких частях света доступен сервис Amazon S3?

Сервис Amazon S3 доступен в регионах AWS по всему миру, и клиенты могут его использовать независимо от своего местоположения. Требуется только решить, в каких регионах AWS вы хотите хранить свои данные в Amazon S3. Список регионов AWS, в которых в настоящее время доступен сервис S3, см. в таблице доступности сервисов AWS по регионам.

Оплата

Вопрос: Сколько стоит Amazon S3?

Используя сервис Amazon S3, вы платите только за то, что реально используете. Минимальный сбор не взимается. Оценить сумму своего ежемесячного счета можно с помощью Калькулятора AWS.

Чем ниже наши расходы, тем меньшую плату мы взимаем. Некоторые цены могут меняться в зависимости от региона Amazon S3. При выставлении счетов цены основываются на местоположении корзины. Плата за передачу данных через запрос COPY внутри региона Amazon S3 не взимается. Плата за передачу данных через запрос COPY между регионами AWS взимается по тарифам, указанным в разделе цен на странице описания Amazon S3. Плата за передачу данных между Amazon EC2 и Amazon S3 внутри одного региона (например, за передачу данных между Amazon EC2 в регионе Северная Вирджиния и Amazon S3 в регионе Восток США (Северная Вирджиния)) не взимается. Плата за передачу данных между Amazon EC2 и Amazon S3 в различных регионах (например, между Amazon EC2 в регионе Северная Калифорния и Amazon S3 в регионе Восток США (Северная Вирджиния)) взимается по тарифам, указанным на странице цен на Amazon S3.

Вопрос: Каков принцип оплаты пользования сервисом Amazon S3?

Для начала работы с сервисом не требуются предоплата или какие-либо обязательства. В конце месяца с вашей кредитной карты будет автоматически снята сумма за пользование сервисом по итогам месяца. Расходы за текущий расчетный период можно просмотреть в любое время на веб-сайте Amazon Web Services, войдя в аккаунт Amazon Web Services и нажав на «Account Activity» под «Your Web Services Account».

Уровень бесплатного пользования AWS позволяет приступить к работе с Amazon S3 бесплатно во всех регионах, кроме региона AWS GovCloud. После регистрации новые клиенты AWS бесплатно получают 5 ГБ хранилища Amazon S3 Standard, 20 000 запросов GET, 2000 запросов PUT, 15 ГБ входящего трафика и 15 ГБ исходящего трафика ежемесячно в течение одного года.

Amazon S3 взимает плату за следующие типы использования. Обратите внимание на то, что приведенные расчеты не учитывают возможность применения уровня бесплатного пользования AWS.

Использованный объем хранилища

Все цены на хранилище Amazon S3 приводятся на странице цен на Amazon S3.

Объем подлежащего оплате за месяц хранилища основан на среднем объеме хранилища, использованном на протяжении месяца. Это включает все данные объектов и метаданные, хранимые в корзинах, созданных под вашим аккаунтом AWS. Мы измеряем использование хранилища по формуле «ПериодХранения-БайтЧасы», которая суммируется в конце месяца для подсчета платы за месяц.

Пример использования хранилища:

Предположим, клиент хранит 100 ГБ (107 374 182 400 байт) данных в хранилище Amazon S3 Standard в своей корзине в течение первых 15 дней в марте и 100 ТБ (109 951 162 777 600 байт) данных в хранилище Amazon S3 Standard в течение последних 16 дней в марте.

К концу марта объем использования в байт-часах будет следующим: всего использовано байт-часов = [107 374 182 400 байт x 15 дней x 24 часа] + [109 951 162 777 600 байт x 16 дней x 24 часа] = 42 259 901 212 262 400 байт-часов.

Переведем в ГБ-месяцы: 42 259 901 212 262 400 байт-часов / 1 073 741 824 байт в 1 ГБ / 744 часа в месяце = 52 900 ГБ-месяцев

Данный объем использования подпадает под три различных уровня пользования. Ежемесячная стоимость ниже вычисляется для региона Восток США (Сев. Вирджиния). Уровень 50 ТБ: 51 200 ГБ x 0,023 USD = 1177,60 USD. Уровень от 50 ТБ до 450 ТБ: 1700 ГБ x 0,022 USD = 37,40 USD

Всего за хранение = 1177,60 USD + 37,40 USD = 1215,00 USD

Передача входящих данных через сеть

Тарифы на передачу входящих данных в Amazon S3 приводятся на странице цен на Amazon S3. Это соответствует объему данных, посылаемых в ваши корзины Amazon S3. 

Передача исходящих данных через сеть

Тарифы на передачу исходящих данных из Amazon S3 приводятся на странице цен на Amazon S3. В Amazon S3 эта плата взимается каждый раз, когда данные считываются с любой из ваших корзин в местоположении за пределами данного региона Amazon S3.

Уровни расценок на передачу исходящих данных учитывают совокупный объем передаваемых вами исходящих данных из данного региона в Интернет через Amazon EC2, Amazon S3, Amazon RDS, Amazon SimpleDB, Amazon SQS, Amazon SNS и Amazon VPC. Данные уровни не применяются при передаче исходящих данных из Amazon S3 в одном регионе AWS в другой регион AWS.

Пример передачи исходящих данных:
Предположим, вы передаете 1 ТБ данных из Amazon S3 в регионе Восток США (Северная Вирджиния) в Интернет каждый день в течение месяца, в котором 31 день. Предположим, вы также передаете 1 TБ данных из инстанса Amazon EC2 из того же региона в Интернет в течение того же 31-дневного месяца.

Совокупный объем передаваемых вами данных будет 62 TБ (31 TБ из Amazon S3 и 31 TБ из Amazon EC2). Это равняется 63 488 ГБ (62 TБ * 1024 ГБ/TБ).

Данный объем использования попадает под три различных уровня пользования. Приведенные ниже расчеты стоимости исходящих данных основаны на предположении, что передача данных происходит в регионе Восток США (Северная Вирджиния).
Уровень 10 TБ: 10 239 ГБ (10 × 1024 ГБ/TБ – 1 (бесплатно)) x 0,09 USD = 921,51 USD
Уровень от 10 TБ до 50 TБ: 40 960 ГБ (40×1024) x 0,085 USD = 3481,60 USD
Уровень от 50 TБ до 150 TБ: 12 288 ГБ (остаток) x 0,070 USD = 860,16 USD

Всего за передачу исходящих данных = 921,51 USD + 3481,60 USD + 860,16 USD= 5263,27 USD

Запрос данных

Цены на запросы в Amazon S3 приводятся в таблице цен на Amazon S3.

Пример запроса:
Предположим, вы передаете 10 000 файлов в Amazon S3 и 20 000 файлов из Amazon S3 каждый день в течение месяца марта. Затем вы удаляете 5 000 файлов 31 марта.
Всего запросов PUT = 10 000 запросов x 31 день = 310 000 запросов
Всего запросов GET = 20 000 запросов x 31 день = 620 000 запросов
Всего запросов DELETE = 5 000 запросов x 1 день = 5 000 запросов

Исходя из предположения, что ваша корзина расположена в регионе Восток США (Северная Вирджиния), цена за запросы рассчитана ниже.
310 000 запросов PUT: 310 000 запросов x 0,005 USD/1 000 = 1,55 USD
620 000 запросов GET: 620 000 запросов x 0,004 USD/10 000 = 0,25 USD
5 000 запросов DELETE = 5 000 запросов x 0,00 USD (бесплатно) = 0,00 USD

Извлечение данных

Цены за извлечение данных из Amazon S3 применяются к классам хранилищ нечастого доступа S3 Standard-IA и S3 One Zone-IA; они приведены на странице цен на Amazon S3.

Пример извлечения данных
Предположим, что в одном месяце вы извлекли 300 ГБ данных из хранилища S3 Standard – IA, из которых 100 ГБ были переданы в Интернет, 100 ГБ были переданы в EC2 в том же регионе AWS и 100 ГБ были переданы в CloudFront в том же регионе AWS.

Стоимость извлечения данных за месяц составит: 300 ГБ х 0,01 USD = 3,00 USD. Обратите внимание, что с вас также будет взиматься плата за передачу данных по сети в отношении той части данных, что вышла в сеть Интернет.

Сведения о ценах на объекты, архивированные в хранилище Amazon Glacier, см. по ссылке.

 * * Использование уровня бесплатного пользования рассчитывается каждый месяц во всех регионах, за исключением региона AWS GovCloud, и автоматически применяется к счету. Неиспользованные в рамках месячного доступа ресурсы не переходят на последующие месяцы. Действуют определенные ограничения. Дополнительные сведения см. в условиях предложения.

Вопрос: Почему цены отличаются в зависимости от выбранного региона Amazon S3?

Чем ниже наши расходы, тем меньшую плату мы взимаем. Например, в регионе Восток США (Северная Вирджиния) наши расходы ниже, чем в регионе Запад США (Северная Калифорния).

Вопрос: Как оплачивается управление версиями?

Каждая помещаемая на хранение или запрашиваемая версия объекта оплачивается по обычным тарифам Amazon S3. Например, рассмотрим следующий сценарий для иллюстрации стоимости хранилища при использовании функции управления версиями (предположим, что в текущем месяце 31 день):

1) 1-й день месяца: вы выполняете операцию PUT в 4 ГБ (4 294 967 296 байт) в своей корзине.
2) 16-й день месяца: вы выполняете операцию PUT в 5 ГБ (5 368 709 120 байт) в той же корзине, используя тот же ключ, что и при первой операции PUT в 1-й день.

Анализируя затраты на хранилище при вышеуказанных операциях, обратите внимание, что объект в 4 ГБ с 1-го дня не удаляется из корзины, когда объект в 5 ГБ записывается на 15-й день. Вместо этого объект в 4 ГБ сохраняется как более старая версия, а объект в 5 ГБ становится последней записанной версией объекта в корзине. В конце месяца:

Всего использованных Байт-Часов
[4 294 967 296 байт x 31 день x (24 часа / день)] + [5 368 709 120 байт x 16 дней x (24 часа / день)] = 5 257 039 970 304 Байт-Часов.

Переводя в ГБ-Месяцы:
5 257 039 970 304 байт-часов x (1 ГБ / 1 073 741 824 байт) x (1 месяц / 744 часа) = 6,581 ГБ-месяцев

Стоимость вычисляется на основе текущего тарифа для конкретного региона, который можно узнать на странице цен на Amazon S3.

Вопрос: Как оплачивается доступ в Amazon S3 через Консоль управления AWS?

При доступе в сервис через консоль управления AWS действуют стандартные цены на Amazon S3. Для оптимизации результатов консоль управления AWS может выполнять запросы заранее. Кроме того, некоторые интерактивные операции посылают более одного запроса в сервис.

Вопрос: Как начисляется плата, если к корзинам Amazon S3 осуществляется доступ из другого аккаунта AWS?

При доступе к данным с другого аккаунта AWS применяются стандартные цены Amazon S3. Кроме того, можно установить для своей корзины настройку «Requester Pays» (Платит инициатор). В этом случае стоимость запросов к данным Amazon S3 и их загрузки будет оплачивать инициатор.

Дополнительную информацию по настройке Requester Pays для корзины см. в документации по Amazon S3.

Вопрос: Ваши цены указаны с учетом налогов?

Если не указано иное, представленные здесь цены не включают применимые налоги и сборы, в том числе НДС и применимый налог с продаж. Для клиентов с платежным адресом в Японии использование сервисов AWS облагается потребительским налогом Японии.

Подробнее о налогах на сервисы AWS »

Безопасность

Вопрос: Насколько безопасно хранить данные в Amazon S3?    

Amazon S3 безопасен по умолчанию. После создания ресурсов Amazon S3 доступ к ним имеют только их владельцы. Amazon S3 поддерживает аутентификацию пользователей для управления доступом к данным. Можно использовать механизмы управления доступом, такие как политики управления корзинами и списки управления доступом (ACL) для выборочного предоставления разрешений пользователям и группам пользователей. Консоль Amazon S3 выделяет общедоступные корзины, указывает на источник общедоступности, а также предупреждает пользователя, если производимые изменения в политиках и списке контроля доступа корзины сделают эту корзину общедоступной.

Существует также возможность загружать данные в сервис Amazon S3 и из него в безопасном режиме через адреса SSL, используя протокол HTTPS. Если требуется дополнительная безопасность, можно использовать вариант шифрования на стороне сервера (SSE) для шифрования данных при хранении. Корзины Amazon S3 можно настроить на автоматическое шифрование объектов перед сохранением, если входящие запросы на хранение не предоставляют никакой информации о шифровании. Кроме того, можно использовать собственные библиотеки шифрования для шифрования данных перед их передачей на хранение в Amazon S3.

Вопрос: Как управлять доступом к своим данным, хранимым в Amazon S3?

Клиенты могут использовать четыре механизма управления доступом к ресурсам Amazon S3: политики Identity and Access Management (IAM), политики на уровне корзин, списки контроля доступа (ACL) и аутентификацию строки запроса. Сервис IAM позволяет организациям с большим штатом сотрудников создавать данные многочисленных пользователей и управлять этими данными, используя единый аккаунт AWS. С помощью политик IAM можно предоставлять пользователям IAM средства точного управления корзинами и объектами Amazon S3, в то же время также сохраняя за собой полный контроль над всем, что делают пользователи. С помощью политик на уровне корзин можно определить правила, которые применяются в целом ко всем запросам на ресурсы в Amazon S3, например предоставление прав на запись на подгруппу ресурсов в Amazon S3. Клиенты также могут ограничить доступ на основании типа запроса, например источник ссылки HTTP или IP – адрес. С помощью ACL клиенты могут предоставлять определенные разрешения (т.е. READ, WRITE, FULL_CONTROL) определенным пользователям на отдельную корзину или объект. С помощью аутентификации строки запроса можно создавать URL-адрес объекта Amazon S3, действующий только в течение ограниченного времени. Подробнее о различных политиках управления доступом к Amazon S3 см. в теме Access Control Руководства разработчика Amazon S3.

Вопрос: Поддерживает ли Amazon S3 аудит доступа к данным?

Да. При необходимости можно настроить корзину Amazon S3 так, чтобы все запросы к ней фиксировались в журнале доступа. Кроме того, если требуется записывать в журналы информацию сервиса IAM и идентификации пользователей, можно настроить AWS CloudTrail для регистрации событий, связанных с данными.

Записи в журналах доступа можно использованы в целях аудита. В них могут фиксироваться такие данные о запросе, как тип запроса, ресурсы, указанные в запросе, а также время и дата обработки запроса.

Вопрос: Какие возможности существуют для шифрования данных, хранимых в Amazon S3?

Можно выбрать механизм шифрования данных с помощью SSE-S3, SSE-C, SSE-KMS или клиентской библиотеки, такой как Amazon S3 Encryption Client. Все четыре метода позволяют хранить зашифрованные данные в покое в Amazon S3.

SSE-S3 предоставляет комплексное решение, в котором Amazon берет на себя управление ключами и их защиту с использованием несколько уровней безопасности. Если вы предпочитаете, чтобы Amazon управлял вашими ключами, рекомендуем выбрать SSE-S3.

SSE-C позволяет использовать преимущества Amazon S3 при шифровании и расшифровке объектов, сохраняя при этом контроль над используемыми для шифрования объектов ключами. При использовании SSE-C отпадает необходимость во внедрении или использовании клиентской версии библиотеки для шифрования и расшифровки хранимых в Amazon S3 объектов, но вам нужно будет управлять ключами, посылаемыми в Amazon S3 для шифрования и расшифровки объектов. Используйте SSE-C, если вы предпочитаете поддерживать свои собственные ключи шифрования, но не желаете внедрять или использовать клиентскую версию библиотеки шифрования.

SSE-KMS позволяет использовать AWS Key Management Service (AWS KMS) для управления ключами шифрования. Использование AWS KMS для управления ключами имеет несколько дополнительных преимуществ. AWS KMS применяет отдельные разрешения на использование главного ключа, обеспечивая таким образом дополнительный уровень контроля, а также защиту от несанкционированного доступа к вашим объектам, хранимым в Amazon S3. AWS KMS предоставляет аудит с информацией о том, кто и когда использовал ваш ключ и к какому объекту, а также о безуспешных попытках получить доступ к данным пользователями, не имеющими прав на расшифровку данных. Кроме того, AWS KMS предоставляет клиенту дополнительные элементы управления безопасностью для соответствия таким требованиям отрасли, как PCI-DSS, HIPAA/HITECH и FedRAMP.

Используя клиентскую библиотеку шифрования, такую как Amazon S3 Encryption Client, вы сохраняете контроль над ключами и завершаете шифрование и расшифровку объектов клиентом с помощью выбираемой вами библиотеки шифрования. Некоторые клиенты предпочитают иметь полный контроль над шифрованием и расшифровкой объектов; таким образом, только зашифрованные объекты передаются через Интернет в Amazon S3. Используйте клиентскую библиотеку шифрования, если вы предпочитаете сохранить контроль над своими ключами шифрования, можете внедрить или использовать клиентскую версию библиотеки шифрования и вам необходимо, чтобы объекты были зашифрованы перед доставкой на хранение в Amazon S3.

Дополнительную информацию о работе с Amazon S3 SSE-S3, SSE-C или SSE-KMS см. в теме Using Encryption Руководства разработчика Amazon S3.

Вопрос: Можно ли соблюдать требования правил ЕС для конфиденциальных данных, используя Amazon S3?

Сервис предоставляет возможность хранить все данные в ЕС, выбрав регион ЕС (Франкфурт), ЕС (Ирландия), ЕС (Лондон) или ЕС (Париж). Ответственность за выполнение законов ЕС о конфиденциальности данных лежит на вас. Подробнее см. на странице центра GDPR на AWS.

Вопрос: Где найти дополнительную информацию о безопасности в AWS?

Дополнительные сведения о безопасности см. в документе Amazon Web Services: обзор процессов обеспечения безопасности.

Вопрос: Что такое адрес Amazon VPC для Amazon S3?

Конечная точка Amazon VPC для Amazon S3 представляет собой логический объект в облаке VPC, который поддерживает связь только с S3. VPC Endpoint направляет запросы к S3, а отклики – обратно к VPC. Подробнее о конечных точках VPC см. в разделе «Использование конечных точек VPC».

Вопрос: Можно ли предоставить доступ к корзине Amazon S3 для определенного адреса Amazon VPC?

С помощью политик Amazon S3 можно ограничить доступ к корзине из определенной конечной точки Amazon VPC или из набора точек. Теперь в политики корзин S3 добавлена поддержка условия aws:sourceVpce, которое можно использовать для ограничения доступа. Дополнительные сведения и образцы политик см. в разделе «Использование конечных точек VPC».

Вопрос: Что такое Amazon Macie?

Amazon Macie — это сервис обеспечения безопасности на базе искусственного интеллекта. Он помогает клиентам предотвращать потерю данных путем автоматического обнаружения, классификации и защиты конфиденциальных данных, хранящихся в Amazon S3. Amazon Macie использует машинное обучение для распознавания конфиденциальных данных, таких как персональная информация (PII) или интеллектуальная собственность, определяет их коммерческую ценность и обеспечивает наглядное представление того, где хранятся эти данные, как к ним осуществляется доступ и как они используются в организации клиента. Amazon Macie непрерывно проводит мониторинг действий по доступу к данным для выявления отклонений от нормы и генерирует подробные предупреждения, если обнаруживает риск несанкционированного доступа или неумышленной утечки данных.

Вопрос: Для чего предназначен сервис Amazon Macie?

Amazon Macie предназначен для защиты от угроз безопасности путем непрерывного контроля за данными для доступа и другими важными данными клиента. Amazon Macie предоставляет автоматизированный, практически не требующий обслуживания способ обнаружения и классификации коммерческих данных клиентов. Он предоставляет элементы управления с помощью созданных по шаблонам функций Lambda, позволяющие отменить доступ или вызвать политику сброса пароля при обнаружении подозрительного поведения систем или несанкционированного доступа к данным сущностей или сторонних приложений. После создания предупреждения можно использовать Amazon Macie для реагирования на инцидент, используя Amazon CloudWatch Events для быстрого принятия мер по защите данных.

Вопрос: Как Amazon Macie защищает данные?

В процессе классификации данных Amazon Macie идентифицирует объекты клиентов в корзинах S3 и передает содержимое объектов в память для анализа. Если для сложных форматов файлов требуется более глубокий анализ, Amazon Macie загружает полную копию объекта. Копия сохраняется только на время полного анализа объекта. Сразу после того, как Amazon Macie проанализировал содержимое файла для классификации данных, он удаляет сохраняемый контент и сохраняет только метаданные, необходимые для будущего анализа. Клиенты могут в любое время отменить разрешение на доступ Amazon Macie к данным в корзине Amazon S3. Подробнее об этом см. в Руководстве пользователя Amazon Macie.

Надежность и защита данных

Вопрос: Насколько надежно хранилище Amazon S3?

Хранилища Amazon S3 Standard, S3 Standard – IA, S3 One Zone – IA и Amazon Glacier обеспечивают надежность хранения объектов на уровне 99,999999999 % в течение расчетного года. Такой уровень надежности соответствует среднегодовым ожидаемым потерям объектов на уровне 0,000000001 %. Например, при хранении 10 000 000 объектов в Amazon S3 можно в среднем ожидать потерю одного объекта раз в 10 000 лет. Кроме того, хранилища Amazon S3 Standard, S3 Standard – IA и Amazon Glacier обеспечивают защиту данных в случае полного выхода из строя зоны доступности S3.

Как и для любой среды, рекомендуется иметь резервную копию и применять меры безопасности, защищающие от умышленного или случайного удаления. Для данных, хранимых в S3, рекомендации включают настройку безопасных прав доступа, межрегиональную репликацию, управление версиями и регулярно проверяемую резервную копию. 

Вопрос: Каким образом в Amazon S3 и Amazon Glacier обеспечена надежность на уровне 99,999999999 %?

Перед подтверждением успешного выполнения операции хранилища классов Amazon S3 Standard, S3 Standard – IA и Amazon Glacier обеспечивают избыточное сохранение объектов на нескольких устройствах, расположенных как минимум в трех зонах доступности в пределах региона Amazon S3. Хранилища класса S3 One Zone – IA обеспечивают избыточное сохранение данных на нескольких устройствах в пределах одной зоны доступности. Эти сервисы устойчивы к одновременным сбоям устройств за счет быстрого обнаружения и устранения любых потерь избыточности. Кроме того, они регулярно проверяют целостность данных с помощью контрольных сумм.

Вопрос: Какие контрольные суммы Amazon S3 использует для обнаружения повреждений данных?

Amazon S3 использует сочетание контрольной суммы Content-MD5 и циклических проверок избыточности (CRC) для выявления повреждения данных. Amazon S3 проверяет эти контрольные суммы на данных в покое и восстанавливает любые повреждения, используя резервную копию данных. Кроме того, при сохранении или извлечении данных сервис вычисляет контрольную сумму всего трафика с тем, чтобы определить поврежденные пакеты.

Вопрос: Что такое управление версиями?

Функция управления версиями позволяет сохранять, извлекать и восстанавливать любую версию любого объекта, сохраненного в корзине сервиса Amazon S3. После включения функции управления версиями для корзины Amazon S3 будет сохранять существующие объекты каждый раз, когда вы выполняете операцию PUT, POST, COPY или DELETE на них. По умолчанию на запросы GET извлекается последняя записанная версия. Более старые версии перезаписанного или удаленного объекта можно извлечь, указав в запросе номер версии.

Вопрос: Почему следует использовать управление версиями?

Amazon S3 предоставляет клиентам инфраструктуру хранилища с высокой степенью надежности. Управление версиями предлагает дополнительный уровень защиты, предоставляя механизм восстановления, когда клиенты случайно переписывают или удаляют объекты. Эта функция позволяет легко восстанавливать систему после непреднамеренных действий пользователей и сбоев приложений. Управление версиями можно также использовать для хранения данных и архивирования.

Вопрос: Как начать использовать управление версиями?

Для начала использования управления версиями необходимо включить параметр настройки корзины Amazon S3. Дополнительные сведения о включении функции управления версиями см. в технической документации по Amazon S3.

Вопрос: Как управление версиями предохраняет меня от случайного удаления объектов?

Когда пользователь выполняет операцию DELETE на объекте, последующие простые (без использования управления версиями) запросы уже не смогут извлекать объект. Однако все версии этого объекта будут по-прежнему сохраняться в корзине Amazon S3 и могут быть извлечены или восстановлены. Только владелец корзины Amazon S3 может окончательно удалить версию. Можно установить правила управления жизненным циклом для управления сроками хранения и расходами на хранение нескольких версий объектов.

Вопрос: Можно ли завести специальную корзину или настроить для объектов Amazon S3 период отката для восстановления после удаления и перезаписи?

Для реализации периода отката для объектов в Amazon S3 можно использовать правила управления жизненным циклом в сочетании с управлением версиями. Например, для корзины с включенным управлением версиями можно установить правило, которое архивирует все предыдущие версии в более экономичный класс хранилища Glacier и удаляет их через 100 дней, что обеспечит 100-дневный период отката любых изменений данных и поможет снизить расходы на хранилище.

Вопрос: Как обеспечить максимальную защиту сохраненных версий?

Для обеспечения дополнительного уровня безопасности можно использовать в системе управления версиями многофакторную аутентификацию (MFA) для выполнения удаления. По умолчанию все запросы к вашей корзине Amazon S3 требуют подтверждения ваших прав доступа к аккаунту AWS. Если на корзине Amazon S3 включено управление версиями с функцией MFA Delete, для окончательного удаления версии объекта требуются два этапа аутентификации: права доступа к аккаунту AWS и действительный шестизначный код и серийный номер устройства аутентификации, находящегося в ваших руках. Дополнительную информацию о включении функции управления версиями с MFA Delete, включая приобретение и активацию устройства аутентификации, см. в технической документации по Amazon S3.

Вопрос: Как оплачивается управление версиями?

Каждая помещаемая на хранение или запрашиваемая версия объекта оплачивается по обычным тарифам Amazon S3. Например, рассмотрим следующий сценарий для иллюстрации стоимости хранилища при использовании функции управления версиями (предположим, что в текущем месяце 31 день):

1) 1-й день месяца: вы выполняете операцию PUT в 4 ГБ (4 294 967 296 байт) в своей корзине.
2) 16-й день месяца: вы выполняете операцию PUT в 5 ГБ (5 368 709 120 байт) в той же корзине, используя тот же ключ, что и при первой операции PUT в 1-й день.

Анализируя затраты на хранилище при вышеуказанных операциях, обратите внимание, что объект в 4 ГБ с 1-го дня не удаляется из корзины, когда объект в 5 ГБ записывается на 15-й день. Вместо этого объект в 4 ГБ сохраняется как более старая версия, а объект в 5 ГБ становится последней записанной версией объекта в корзине. В конце месяца:

Всего использованных Байт-Часов
[4 294 967 296 байт x 31 день x (24 часа / день)] + [5 368 709 120 байт x 16 дней x (24 часа / день)] = 5 257 039 970 304 Байт-Часов.

Переводя в ГБ-Месяцы:
5 257 039 970 304 байт-часов x (1 ГБ / 1 073 741 824 байта) x (1 месяц / 744 часа) = 6,581 ГБ-месяцев

Стоимость вычисляется на основе текущего тарифа для конкретного региона, который можно узнать на странице цен на Amazon S3.

Стандартное хранилище S3 нечастого доступа (S3 Standard – IA)

Вопрос: Что такое стандартное хранилище S3 нечастого доступа?

Стандартное хранилище Amazon S3 нечастого доступа (S3 Standard – IA) – это хранилище Amazon S3 для данных, доступ к которым выполняется относительно редко, но при необходимости должен обеспечиваться быстро. Хранилище S3 Standard – IA обеспечивает такую же высокую надежность, пропускную способность и низкие задержки, как и хранилище класса Amazon S3 Standard, но отличается более низкими ценами за гигабайт сохраняемых и извлекаемых данных. Такое сочетание низкой стоимости и высокой производительности делает S3 Standard – IA идеальным выбором для долгосрочного хранения данных, резервного копирования, а также хранения данных на случай аварийного восстановления. Класс хранилища S3 Standard – IA устанавливается на уровне объекта и может применяться в одной корзине с классами хранилищ S3 Standard или S3 One Zone – IA, что позволяет автоматически переносить объекты между классами хранилищ с помощью политик жизненного цикла S3 без каких-либо изменений в приложении.

Вопрос: В каких случаях следует использовать S3 Standard-IA?

Класс хранилища S3 Standard – IA является идеальным выбором для хранения данных, доступ к которым осуществляется относительно редко, но при этом должен обеспечиваться быстро. S3 Standard – IA идеально подходит для длительного хранения файлов, для устаревающих данных синхронизации, общих данных или других данных, подверженных устареванию.

Вопрос: Какую производительность обеспечивает хранилище S3 Standard-IA?

S3 Standard – IA обеспечивает ту же производительность, что и хранилища классов S3 Standard и S3 One Zone – IA.


Вопрос: Какую надежность и доступность обеспечивает хранилище S3 Standard-IA?

Хранилище S3 Standard – IA обеспечивает надежность на уровне 99,999999999% (аналогично хранилищам классов S3 Standard и Amazon Glacier). S3 Standard-IA обеспечивает доступность на уровне 99,9 %, а Соглашение об уровне обслуживания предусматривает компенсацию в том случае, если уровень бесперебойной работы за любой учетный период был ниже согласованного.

Вопрос: Как поместить данные в хранилище S3 Standard-IA?

Поместить данные в хранилище S3 Standard – IA можно двумя способами. Можно непосредственно выполнить для записи в S3 Standard – IA запрос PUT, указав в заголовке запроса x-amz-storage-class значение STANDARD_IA. Как вариант, можно задать политики жизненного цикла для переноса объектов из класса хранилища S3 Standard в S3 Standard – IA.

Вопрос: Подпадают ли объекты в S3 Standard-IA под действие Соглашения об уровне обслуживания Amazon S3?

Да, хранилище S3 Standard-IA регулируется Соглашением об уровне обслуживания, и клиенты могут рассчитывать на компенсацию, если уровень бесперебойной работы за любой учетный период был ниже согласованного.

Вопрос: Как изменятся задержка и пропускная способность в результате использования хранилища S3 Standard-IA?

При использовании S3 Standard – IA следует ожидать тех же показателей задержки и пропускной способности, что и при использовании хранилищ класса S3 Standard.

Вопрос: Как начисляется плата за использование хранилища S3 Standard-IA?

Общую информацию о ценах на хранилище S3 Standard-IA см. на странице цен на Amazon S3.

Вопрос: Какая плата начисляется за изменение класса хранилища объекта с S3 Standard-IA на S3 Standard с помощью запроса на копирование?

В этом случае начисляется плата за выполнение запроса COPY хранилищем S3 Standard – IA и за извлечение данных из хранилища S3 Standard – IA.

Вопрос: Предусмотрена ли при использовании S3 Standard-IA плата за минимальный срок хранения?

S3 Standard – IA предназначено для продолжительного хранения и нечастого доступа к данным, которые требуется хранить месяцы и годы. Если данные удаляются из S3 Standard – IA в течение первых 30 дней, плата начисляется за полные 30 дней хранения. Общую информацию о ценах на S3 Standard-IA см. на странице цен на Amazon S3.

Вопрос: Предусмотрена ли при использовании S3 Standard-IA плата за минимальный размер хранимого объекта?

Хранилище S3 Standard – IA предназначено для крупных объектов, при этом предусмотрена минимальная плата за хранение объектов на уровне 128 КБ. За объекты размером менее 128 КБ будет взиматься плата как за объекты по 128 КБ. Например, за объект размером 6 КБ в хранилище S3 Standard – IA будет взиматься плата за хранение фактических 6 КБ и дополнительных 122 КБ. Общую информацию о ценах на S3 Standard-IA см. на странице цен на Amazon S3.

Вопрос: Можно ли перемещать объекты из хранилища S3 Standard-IA в хранилище S3 One Zone-IA или Amazon Glacier?

Да. Помимо политик жизненного цикла для миграции объектов из хранилища S3 Standard в S3 Standard – IA можно настроить политики жизненного цикла, позволяющие перемещать объекты из хранилища S3 Standard – IA в хранилище S3 One Zone – IA или Amazon Glacier.

Хранилище S3 нечастого доступа в одной зоне доступности (S3 One Zone – IA)

Вопрос: Что представляет собой класс хранилища нечастого доступа в одной зоне доступности (S3 One Zone-IA)?

S3 One Zone – IA представляет собой класс хранилища Amazon S3, который можно выбрать для хранения объектов в одной зоне доступности. S3 One Zone – IA обеспечивает избыточное хранение данных в пределах одной зоны доступности и стоит на 20 % дешевле, чем географически избыточное хранилище S3 Standard – IA, обеспечивающее избыточное хранение данных в нескольких географически изолированных зонах доступности.

В соответствии с Соглашением об уровне обслуживания (SLA) хранилище S3 One Zone – IA обеспечивает доступность на уровне 99% и надежность на уровне 99,999999999% в пределах зоны доступности. Однако, в отличие от классов хранилища S3 Standard и S3 Standard-IA, при повреждении зоны доступности все данные, хранящиеся в классе хранилища S3 One Zone-IA, будут утеряны.

Хранилище S3 One Zone – IA предоставляет те же возможности Amazon S3, что и хранилища S3 Standard и S3 Standard – IA; его можно использовать посредством API Amazon S3, интерфейса командной строки или консоли сервиса. Класс хранилища S3 One Zone – IA устанавливается на уровне объектов и может применяться в одной корзине с классами хранилищ S3 Standard и S3 Standard – IA. С помощью политик жизненного цикла S3 можно автоматически переносить объекты между классами хранилищ без каких-либо изменений в приложении.

Вопрос: Каковы наиболее подходящие примеры использования хранилища S3 One Zone-IA?

Клиенты могут использовать S3 One Zone – IA в качестве хранилища нечастого доступа для таких данных, как резервные копии, копии для аварийного восстановления, или для других легко восстанавливаемых данных.

Вопрос: Какую производительность обеспечивает хранилище S3 One Zone-IA?

Хранилище класса S3 One Zone – IA обеспечивает производительность, аналогичную хранилищам S3 Standard и S3 Standard – IA.

Вопрос: Насколько надежно хранилище класса S3 One Zone-IA?

Класс хранилищ S3 One Zone – IA обеспечивает надежность на уровне 99,999999999% в пределах зоны доступности. Однако хранилище S3 One Zone-IA не обеспечивает защиту данных в случае потери связи с зоной доступности или ее полного выхода из строя. В этом случае все данные, хранящиеся в классе хранилища S3 One Zone-IA, будут утеряны. Для сравнения: хранилища S3 Standard, S3 Standard – IA и Amazon Glacier спроектированы таким образом, чтобы выдерживать потерю связи с зоной доступности или ее выход из строя. S3 One Zone – IA может обеспечить уровень надежности и доступности, сравнимый с современными физическими ЦОД или выше такового, предоставляя в то же время дополнительные преимущества в виде эластичности хранилища и функциональных возможностей Amazon S3.

Вопрос: Какую доступность обеспечивает хранилище класса S3 One Zone-IA в соответствии с Соглашением об уровне обслуживания (SLA)?

В соответствии с Соглашением об уровне обслуживания (SLA) хранилище S3 One Zone – IA обеспечивает доступность на уровне 99 %. Для сравнения: хранилище S3 Standard по Соглашению об уровне обслуживания обеспечивает доступность на уровне 99,9 %, S3 Standard – IA – также на уровне 99 %. Как и все классы хранилищ S3, хранилище S3 One Zone – IA предоставляется с Соглашением об уровне обслуживания, по которому клиенты получают кредиты на обслуживание, если доступность в любом учетном периоде оказывается ниже заявленных обязательств. См. Соглашение об уровне обслуживания Amazon S3.

Вопрос: Как использование хранилища S3 One Zone-IA повлияет на задержки и пропускную способность?

При использовании хранилища класса S3 One Zone – IA следует ожидать тех же показателей задержек и пропускной способности, что и при использовании хранилищ классов Amazon S3 Standard и S3 Standard – IA.

Вопрос: Как начисляется плата за использование хранилища S3 One Zone-IA?

Как и в случае хранилища S3 Standard – IA, при использовании S3 One Zone – IA плата начисляется за объем сохраненных данных в месяц, пропускную способность, количество выполненных запросов, раннее удаление, хранение мелких объектов, а также извлечение данных. Ежемесячная плата за хранение данных в Amazon S3 One Zone – IA на 20 % ниже соответствующих тарифов Amazon S3 Standard – IA, а плата за пропускную способность, количество выполненных запросов, раннее удаление, хранение мелких объектов и извлечение данных начисляется по тем же тарифам.

Как и в случае использования хранилища S3 Standard – IA, при удалении объекта из S3 One Zone – IA в течение 30 дней с момента создания взимается плата за раннее удаление. Например, если вы выполнили запрос PUT для записи объекта, а через 10 дней решили его удалить, плата будет начислена за 30 дней хранения.

Как и в хранилище S3 Standard – IA, минимальный размер объекта в хранилище класса S3 One Zone – IA составляет 128 КБ. За объекты размером менее 128 КБ будет взиматься плата как за объекты по 128 КБ. Например, за объект размером 6 КБ в хранилище S3 One Zone – IA будет взиматься плата за хранение фактических 6 КБ и дополнительных 122 КБ. Информацию о ценах на S3 One Zone – IA см. на странице цен.

Вопрос: «Zone» в контексте S3 One Zone-IA — это то же самое, что и зона доступности AWS?

Да. Каждый регион AWS представляет собой отдельную географическую область. В каждом регионе имеется несколько изолированных местоположений, называемых зонами доступности. Хранилище класса Amazon S3 One Zone – IA использует одну зону доступности AWS в пределах региона.

Вопрос: Отличаются ли принципы работы сервисов Amazon EC2 и Amazon S3 с ресурсами, специфичными для зоны доступности?

Да. Amazon EC2 предоставляет возможность выбрать зону доступности в пределах региона для размещения таких ресурсов, как вычислительные инстансы. При использовании S3 One Zone – IA зона доступности AWS в регионе назначается автоматически, исходя из доступности ресурсов.

Вопрос: Можно ли создать корзину, в которой разные объекты размещались бы в разных классах хранилища и зонах доступности?

Да. Можно создать корзину, в которой разные объекты будут размещены в хранилищах S3 Standard, S3 Standard – IA и S3 One Zone – IA.

Вопрос: Хранилище S3 One Zone-IA доступно во всех регионах AWS, где работает S3?

Да.

Вопрос: Насколько надежно хранилище S3 One Zone-IA защищено от аварийных ситуаций?

В каждой зоне доступности применяются резервные системы электропитания и сети передачи данных. В пределах региона AWS зоны доступности располагаются в различных поймах и сейсмических районах; они отделены друг от друга географически для обеспечения защиты в случае пожара. Хранилища классов S3 Standard и S3 Standard – IA обеспечивают защиту от аварийных ситуаций путем избыточного хранения данных в нескольких зонах доступности. Хранилище S3 One Zone-IA обеспечивает защиту от сбоев оборудования в пределах зоны доступности, но не от выхода из строя самой зоны доступности. В этом случае все данные, хранящиеся в классе хранилища S3 One Zone-IA, будут утеряны. Среди вариантов S3 One Zone – IA, S3 Standard и S3 Standard – IA клиенты могут выбрать класс хранилища, который наилучшим образом соответствует требованиям, предъявляемым к надежности и доступности хранилища.

Amazon Glacier

Вопрос: Предоставляет ли Amazon S3 возможность архивирования объектов в более дешевые варианты хранилища?

Да, Amazon S3 позволяет использовать очень экономичный сервис Amazon Glacier в качестве хранилища архивных данных. Amazon Glacier позволяет хранить данные по цене всего 0,004 USD за гигабайт в месяц. Чтобы сохранить расходы на низком уровне и удовлетворить различные потребности в извлечении данных, Amazon Glacier предлагает три варианта доступа к архивам с продолжительностью извлечения от нескольких минут до нескольких часов. В качестве примеров использования для архивирования можно указать цифровые мультимедиа-архивы, финансовые и медицинские записи, необработанные данные геномных последовательностей, резервные копии баз данных для длительного хранения, а также данные, которые должны сохраняться согласно нормативным требованиям.

Вопрос: Как сохранить данные в Amazon Glacier?

С помощью правил управления жизненным циклом можно автоматически архивировать наборы объектов из Amazon S3 в хранилище Amazon Glacier на основании срока существования объектов. Для создания правил архивирования используйте консоль управления Amazon S3, AWS SDK или API Amazon S3. Правила определяют префикс и период времени. Поле префикса (например, “logs/”) определяет объект(ы), к которым правило применяется. Промежуток времени указывает или количество дней с даты создания объекта (т. е. 180 дней), или указанную дату, после которой желаема архивация объекта(-ов). Любые объекты в S3 Standard, S3 Standard – IA или S3 IA One Zone – IA, имена которых начинаются с указанного префикса и срок хранения которых превысил указанный период времени, архивируются в Amazon Glacier. Для извлечения данных сервиса Amazon S3, хранимых в Amazon Glacier, необходимо инициировать задание на извлечение с помощью API Amazon S3 или Консоли управления. После завершения задания на извлечение данных доступ к ним можно получить с помощью запроса объектов GET сервиса Amazon S3.

Подробнее о работе с правилами управления жизненным циклом при архивировании в Amazon Glacier см. в теме Object Archival Руководства разработчика Amazon S3.

Вопрос: Можно ли использовать API Amazon S3 или консоль управления для вывода списка объектов, заархивированных в Amazon Glacier?

Да. Как и объекты других классов хранилищ Amazon S3 (S3 Standard, S3 Standard – IA и S3 One Zone – IA), объекты Amazon Glacier, сохраненные с помощью API или консоли управления Amazon S3, имеют соответствующие имена, определенные пользователем. С помощью API LIST сервиса S3 или отчета S3 Inventory можно получить текущий список имен всех объектов Amazon S3 в режиме реального времени, в том числе объектов, размещенных в хранилище класса Amazon Glacier.

Вопрос: Можно ли использовать API Amazon Glacier для доступа к объектам, заархивированным в Amazon Glacier?

Поскольку сервис Amazon S3 поддерживает привязку определенного пользователем имени объекта к присвоенному системой Amazon Glacier идентификатору, доступ к объектам Amazon S3, размещенным в хранилище класса Amazon Glacier, осуществляется с помощью API Amazon S3 или консоли управления Amazon S3.

Вопрос: Как извлекать объекты, заархивированные в Amazon Glacier?

Для извлечения данных сервиса Amazon S3, хранимых в Amazon Glacier, необходимо инициировать запрос на извлечение с помощью API Amazon S3 или консоли управления Amazon S3. В ходе запроса на извлечение создается временная копия данных в хранилище класса S3 Standard или S3 Standard – IA, при этом архивные данные в Amazon Glacier остаются неизменными. Временная копия будет храниться в S3 на протяжении указанного пользователем срока (в днях). После извлечения доступ к временной копии из Amazon S3 можно получить, выполнив запрос GET сервиса Amazon S3 к заархивированному объекту.

Вопрос: Сколько времени требуется на извлечение объектов, заархивированных в Amazon Glacier?

Обрабатывая задание на извлечение данных, Amazon S3 сначала извлекает запрошенные данные из Amazon Glacier, а затем создает временную копию запрашиваемых данных в S3 (что обычно занимает несколько минут). Время доступа к запрашиваемым данным зависит от выбранного пользователем варианта извлечения: ускоренное, стандартное или пакетное. При использовании ускоренного извлечения доступ к данным предоставляется обычно в течение 1–5 минут для любых объектов, кроме самых крупных (более 250 МБ). Извлечение объектов по стандартному варианту обычно занимает 3–5 часов. Пакетное извлечение обычно выполняется за 5–12 часов. Дополнительная информация о вариантах извлечения Glacier приводится в вопросах и ответах по Glacier.  

Вопрос: Какая плата взимается за архивирование объектов в Amazon Glacier?

Плата за хранилище Amazon Glacier начисляется в зависимости от объема хранилища, использованного за месяц, и от количества запросов на перенос объектов в Amazon Glacier, связанных с политиками жизненного цикла. Объекты, архивированные в Amazon Glacier, хранятся не менее 90 дней. При этом плата за объекты, которые удаляются до истечения 90 дней, будет взиматься согласно тарифам на хранение, пропорционально оставшимся дням. Действующие цены см. на странице цен на Amazon S3.

Вопрос: Как рассчитывается стоимость хранилища для объектов Amazon S3, архивируемых в Amazon Glacier?

Объем подлежащего оплате за месяц хранилища основан на среднем объеме хранилища, использованном на протяжении месяца и измеряемом в гигабайт – месяцах (ГБ-Месяцах). Amazon S3 рассчитывает размер объектов как объем хранимых данных плюс дополнительные 32 КБ данных в Amazon Glacier плюс дополнительные 8 КБ данных в хранилище класса S3 Standard. Amazon Glacier занимает дополнительно 32 КБ данных на каждый объект для своего индекса и метаданных, необходимых для идентификации и извлечения данных. Amazon S3 требует 8 КБ для хранения и поддержания определяемого пользователем имени и метаданных объектов, архивируемых в Amazon Glacier. С помощью API LIST сервиса Amazon S3 или отчета S3 Inventory можно получить текущий список всех имен объектов Amazon S3 в режиме реального времени, в том числе объектов, размещенных в хранилище класса Amazon Glacier. Например, если вы заархивировали 100 000 объектов в 1 ГБ каждый, оплачиваемое хранилище было бы:

1,000 032 гигабайт на каждый объект x 100 000 объектов = 100 003,2 гигабайт хранилища Amazon Glacier.
0,000 008 гигабайт на каждый объект x 100 000 объектов = 0,8 гигабайт хранилища Amazon S3 Standard.

Стоимость вычисляется на основе текущего тарифа для конкретного региона AWS, который можно узнать на странице цен на Amazon S3.

Вопрос: Какой объем данных можно извлечь из Amazon Glacier бесплатно?

На уровне бесплатного пользования AWS можно бесплатно извлекать из Amazon Glacier до 10 ГБ данных в месяц. Уровень бесплатного пользования позволяет извлекать данные в любое время в течение месяца, при этом будет использоваться стандартный способ извлечения Amazon Glacier.

Вопрос: Как оплачивается удаление из Amazon Glacier объектов, которые хранились менее 90 дней?

Amazon Glacier разработан для применения в тех случаях, когда данные сохраняются в течение нескольких месяцев, лет или десятилетий. Удаление данных, заархивированных в Amazon Glacier, выполняется бесплатно, если удаляемые объекты хранились в Amazon Glacier 90 дней или дольше. Если заархивированный в Amazon Glacier объект удален или перезаписан в течение 90 дней после архивирования, взимается плата за досрочное удаление. Эта плата пропорциональна. При удалении 30 ГБ данных через 1 месяц после их загрузки взимается плата за досрочное удаление, равная стоимости 60 дней хранения в Amazon Glacier. При удалении 30 ГБ данных через 60 дней после их загрузки взимается плата за досрочное удаление, равная стоимости 1 месяца хранения в Amazon Glacier.

Вопрос: Какова стоимость извлечения данных из Amazon Glacier?

Существует три способа извлечения данных из Amazon Glacier: ускоренное, стандартное и пакетное извлечение. Для каждого способа установлен свой тариф за гигабайт извлекаемых данных и за запрос каждого архива (т. е. запрос одного архива учитывается как один запрос). Подробную информацию о ценах на Glacier по регионам AWS см. на странице цен на Amazon Glacier.

Запросы к данным без извлечения

Вопрос: Что представляет собой возможность запросов к данным без извлечения?

Amazon S3 предоставляет клиентам возможность запуска сложных запросов к хранящимся данным без необходимости их перемещения на отдельную аналитическую платформу. Возможность выполнения запроса к данным без извлечения в Amazon S3 может существенно повысить производительность и снизить стоимость аналитических решений, использующих S3 в качестве озера данных. S3 предлагает разнообразные варианты выполнения запросов к данным без извлечения, в том числе посредством S3 Select, Amazon Athena и Amazon Redshift Spectrum. Можно выбрать вариант, который лучше всего подходит для конкретного примера использования. Amazon S3 Select можно использовать вместе с AWS Lambda для создания бессерверных приложений, использующих возможности обработки на месте на базе S3 Select.

Вопрос: Что такое S3 Select?

S3 Select – это одна из возможностей Amazon S3. Она позволяет извлекать конкретные данные из содержимого объекта с помощью простых SQL-выражений, не извлекая при этом весь объект. S3 Select можно использовать для извлечения подмножества данных из текстовых файлов с разделителями и объектов JSON в Amazon S3 с помощью SQL-операторов (например, SELECT и WHERE). 

Вопрос: Как можно использовать S3 Select?

S3 Select можно использовать для извлечения из объекта меньшего по размеру и целевым образом заданного набора данных с помощью простых SQL-операторов. При совместном использовании S3 Select и AWS Lambda можно создавать бессерверные приложения, в которых данные из Amazon S3 будут просто и эффективно извлекаться с помощью S3 Select, а не путем извлечения и обработки целого объекта. Кроме того, S3 Select можно использовать вместе с инфраструктурами обработки больших данных – Presto, Apache Hive, Apache Spark – для сканирования и фильтрации данных в Amazon S3.

Вопрос: Какие преимущества дает S3 Select?

S3 Select предоставляет новый метод извлечения конкретных данных из содержимого объекта, хранящегося в Amazon S3, без извлечения целого объекта с использованием SQL-операторов. S3 Select упрощает работу и способен до 400 % увеличить производительность сканирования за счет фильтрации содержимого объектов в меньший по размеру и целевым образом заданный набор данных. С помощью S3 Select можно также выполнять рабочий анализ файлов журналов в Amazon S3 без запуска вычислительного кластера или управления им.

Вопрос: Что такое Amazon Athena?

Amazon Athena — это сервис интерактивных запросов, позволяющий анализировать данные в Amazon S3 с помощью стандартных SQL-запросов. Athena – бессерверный сервис, здесь нет инфраструктуры, требующей настройки или управления, поэтому можно сразу же приступить к анализу данных. Не нужно даже загружать данные в Athena, поскольку сервис работает непосредственно с данными, размещенными в хранилище S3 любого класса. Чтобы начать, просто войдите в Консоль управления Athena, задайте свою схему и приступайте к выполнению запросов. Сервис Amazon Athena использует Presto с полной поддержкой стандартных запросов SQL и работает с различными стандартными форматами данных, включая CSV, JSON, ORC и Apache Parquet и Avro. Athena идеально подходит для быстрого выполнения спонтанных запросов, просто интегрируется с Amazon QuickSight, обеспечивая удобную визуализацию, а также может выполнять сложные задачи анализа с использованием масштабных операций объединения, оконных функций и массивов.

Вопрос: Что такое Amazon Redshift Spectrum?

Amazon Redshift Spectrum — это возможность сервиса Amazon Redshift, которая позволяет выполнять запросы к эксабайтам неструктурированных данных в Amazon S3 без загрузки или выполнения ETL-операций. При отправке запроса он поступает на SQL-сервер Amazon Redshift, который генерирует и оптимизирует план запроса. Amazon Redshift определяет, какие данные являются локальными, а какие находятся в Amazon S3, генерирует план минимизации объема данных Amazon S3, которые необходимо прочитать, и запрашивает исполнителей Amazon Redshift Spectrum из общего пула ресурсов, чтобы прочитать и обработать данные из Amazon S3.

Redshift Spectrum при необходимости масштабируется до тысяч инстансов, поэтому запросы выполняются быстро при любых объемах данных. Теперь можно использовать для данных Amazon S3 тот же синтаксис SQL, что и для запросов Amazon Redshift, и подключаться к тому же адресу Amazon Redshift, используя привычные инструменты бизнес-аналитики. Redshift Spectrum позволяет разделить вычислительные ресурсы и хранилища и масштабировать их независимо друг от друга. Можно настроить необходимое количество кластеров Amazon Redshift, чтобы выполнять запросы к озеру данных Amazon S3, обеспечивая высокую доступность и неограниченную параллельную обработку. С Redshift Spectrum можно хранить данные где угодно и в каком угодно формате – они всегда будут под рукой для обработки.

Оповещения о событиях

Вопрос: Что такое оповещения о событиях Amazon S3?

Amazon S3 может посылать оповещения о выполнении в Amazon S3 таких операций, как PUT, POST, COPY или DELETE. Оповещения могут быть посланы через Amazon SNS, Amazon SQS или напрямую в AWS Lambda.

Вопрос: Как можно использовать оповещения о событиях Amazon S3?

Оповещения о событиях в Amazon S3 позволяют запускать рабочие процессы, отправлять предупреждения или выполнять другие действия при изменении объектов, хранимых в корзине S3. Оповещения о событиях S3 можно использовать для настройки триггеров, запускающих выполнение определенных действий, таких как перекодировка мультимедийных файлов по завершению загрузки, обработка файлов данных по мере их поступления или синхронизация объектов S3 с другими хранилищами данных. Также вы можете настроить оповещения о событиях на основе префиксов и суффиксов имени объекта. Например, можно получать оповещения об объектах, имя которых начинается с «images/».

Вопрос: Что включено в оповещения о событиях Amazon S3?

Подробное описание информации, включенной в оповещения о событиях Amazon S3, см. в теме Configuring Amazon S3 Event Notifications Руководства разработчика Amazon S3.

Вопрос: Как настроить оповещения о событиях Amazon S3?

Подробную информацию о настройке оповещений о событиях см. в теме Configuring Amazon S3 Event Notifications Руководства разработчика Amazon S3. Подробнее о сервисах AWS для обмена сообщениями см. в документации по Amazon SNS и документации по Amazon SQS.

Вопрос: Сколько стоит использование оповещений о событиях Amazon S3?

Amazon S3 не взимает дополнительную плату за оповещения о событиях. Оплачивается только использование Amazon SNS или Amazon SQS для доставки оповещений о событиях или стоимость исполнения функции AWS Lambda. Сведения о ценах на Amazon SNS, Amazon SQS или AWS Lambda см. на страницах цен на данные сервисы.

Amazon S3 Transfer Acceleration

Вопрос: Что такое S3 Transfer Acceleration?

Функция Amazon S3 Transfer Acceleration обеспечивает быструю, простую и безопасную передачу файлов на большие расстояния между вашим клиентом и вашей корзиной Amazon S3. В S3 Transfer Acceleration используются распределенные по всему миру периферийные местоположения AWS для сервиса Amazon CloudFront. После того как данные окажутся в периферийном местоположении AWS, они будут направлены в вашу корзину Amazon S3 по оптимизированному сетевому маршруту.

Вопрос: Как начать работу с S3 Transfer Acceleration?

Чтобы начать работу с S3 Transfer Acceleration, включите S3 Transfer Acceleration в корзине S3 с помощью консоли Amazon S3, API Amazon S3 или интерфейса командной строки AWS. После включения S3 Transfer Acceleration можно будет направлять запросы PUT и GET сервиса Amazon S3 на доменное имя s3-accelerate для соответствующего адреса. Для ускоренной передачи данных приложение должно использовать при передаче данных один из следующих адресов для подключения к корзине: .s3-accelerate.amazonaws.com или .s3-accelerate.dualstack.amazonaws.com для адреса «dual-stack». Для стандартной передачи данных можно будет по-прежнему использовать обычные адреса.

Существует ряд условий, которые должны быть выполнены, чтобы корзины поддерживали S3 Transfer Acceleration. Подробную информацию см. в Руководстве разработчика Amazon S3.

Вопрос: Какова скорость работы S3 Transfer Acceleration?

S3 Transfer Acceleration позволяет полностью использовать имеющуюся полосу пропускания и свести к минимуму влияние расстояний на пропускную способность. Это обеспечивает неизменно высокую скорость передачи данных в Amazon S3 независимо от местонахождения клиента. Уровень ускорения зависит главным образом от доступной пропускной способности, расстояния между источником и местом назначения и показателями потери пакетов на сетевом маршруте. В целом ускорение будет тем выше, чем дальше источник от места назначения, чем шире полоса пропускания и/или чем больше размер объекта.

Один из клиентов зафиксировал сокращение среднего времени вдвое при получении файлов размером 300 МБ от глобальной базы пользователей, находящихся в США, Европе и некоторых странах Азии, в корзину в регионе Азия и Тихий океан (Сидней). Другой клиент наблюдал повышение пропускной способности на 500 % для пользователей из Юго-Восточной Азии и Австралии при загрузке файлов размером 250 МБ (часть из них размером 50 МБ) в корзину S3 в регионе Восток США (Северная Вирджиния).

Попробуйте инструмент сравнения скорости для предварительной оценки прироста производительности при передаче от конкретного местоположения.

Вопрос: В каких случаях стоит использовать S3 Transfer Acceleration?

Возможность S3 Transfer Acceleration предназначена для оптимизации скорости передачи данных в корзины S3 по всему миру. При выполнении загрузки в централизованную корзину из географически рассредоточенных местоположений или при регулярной передаче гигабайтов или терабайтов данных через целые континенты функция S3 Transfer Acceleration позволит сэкономить при передаче часы или даже дни.

Вопрос: Безопасно ли использовать S3 Transfer Acceleration?

Возможность S3 Transfer Acceleration так же безопасна, как и обычная передача данных в Amazon S3. Она поддерживает все инструменты безопасности сервиса Amazon S3, например ограничение доступа по IP-адресу клиента. Возможность S3 Transfer Acceleration взаимодействует с клиентами по стандартному протоколу TCP и не требует изменений в настройках брандмауэра. Данные не сохраняются в периферийных местоположениях AWS.

Вопрос: Что произойдет, если передача данных с использованием S3 Transfer Acceleration окажется не быстрее обычной передачи данных с помощью Amazon S3?

Каждый раз, когда для загрузки объекта в корзину используется S3 Transfer Acceleration, мы проверяем, действительно ли передача данных с помощью S3 Transfer Acceleration выполняется быстрее, чем обычная передача данных с помощью Amazon S3. Если передача данных с использованием S3 Transfer Acceleration оказывается не быстрее, чем обычная передача Amazon S3 того же объекта в тот же регион назначения AWS, AWS не начисляет плату за использование функции S3 Transfer Acceleration для этой передачи и игнорирует использование системы S3 Transfer Acceleration для этой загрузки.

Вопрос: Можно ли использовать S3 Transfer Acceleration для многокомпонентных загрузок?

Да, S3 Transfer Acceleration поддерживает все возможности на уровне корзин, включая многокомпонентные загрузки.

Вопрос: В каких случаях стоит выбрать S3 Transfer Acceleration, а в каких — команды PUT/POST сервиса Amazon CloudFront?

Возможность S3 Transfer Acceleration оптимизирует протокол TCP и расширяет логические функции передачи данных между клиентом и корзиной S3, поэтому ее стоит выбрать, когда требуется увеличение пропускной способности. Если размер передаваемых объектов или передаваемого набора данных менее 1 ГБ, для оптимальной скорости передачи данных воспользуйтесь командами PUT/POST сервиса Amazon CloudFront.

Вопрос: В каких случаях стоит выбрать S3 Transfer Acceleration, а в каких — семейство устройств AWS Snow (Snowball, Snowball Edge или Snowmobile)?

Семейство устройств AWS Snow идеально подходит для единовременного перемещения больших пакетов данных. Время перемещения данных с его помощью обычно составляет 5–7 дней. Как правило, S3 Transfer Acceleration при полностью используемой полосе пропускания шириной 1 Гбит/с обеспечивает за такое же время передачу до 75 ТБ. Обычно в тех случаях, когда передача через Интернет может занять более недели, или при необходимости повторных передач и наличии полосы пропускания шириной свыше 25 Мбит/с целесообразно использовать S3 Transfer Acceleration. Можно также использовать обе возможности: сначала переместить основной объем данных с помощью одного или нескольких устройств AWS Snowball, а затем передавать текущие инкрементные изменения с помощью S3 Transfer Acceleration.

Вопрос: Можно ли дополнить подключение AWS Direct Connect возможностью S3 Transfer Acceleration?

AWS Direct Connect подходит клиентам, которым требуется использование частной сети или у которых есть доступ к обмену данными AWS Direct Connect. S3 Transfer Acceleration оптимально подходит для отправки данных от распределенных клиентских местоположений через публичный Интернет или для тех случаев, когда неоднородные условия сети ухудшают пропускную способность. Некоторые клиенты, использующие AWS Direct Connect, используют S3 Transfer Acceleration для передачи данных из удаленных офисов, где скорость передачи данных через Интернет может быть низкой.

Вопрос: Можно ли дополнить сервис AWS Storage Gateway или шлюз стороннего поставщика использованием S3 Transfer Acceleration?

Если вы можете задать адрес корзины назначения в шлюзе стороннего поставщика с использованием доменного имени для адреса сервера в S3 Transfer Acceleration, преимущества будут очевидны.

Подробнее о таком использовании AWS можно узнать в разделе «Файловый шлюз» на странице вопросов и ответов по сервису Storage Gateway.

Вопрос: Можно ли дополнить интегрированное ПО стороннего поставщика возможностью S3 Transfer Acceleration?

Да. Пакеты ПО, которые подключаются непосредственно к Amazon S3, могут использовать преимущества S3 Transfer Acceleration при отправке заданий в Amazon S3.

Подробнее о решениях партнеров в сфере хранения данных »

Вопрос: Соответствует ли S3 Transfer Acceleration требованиям HIPAA?

Да, AWS расширила программу соответствия требованиям HIPAA. Теперь Amazon S3 Transfer Acceleration соответствует требованиям HIPAA. Если вы заключили с AWS договор делового партнерства (BAA), можно использовать Amazon S3 Transfer Acceleration для быстрой, простой и безопасной передачи файлов, включая закрытую медицинскую информацию (PHI), на большие расстояния между клиентом и корзиной Amazon S3.

Подробнее о соответствии требованиям HIPAA »

Управление хранилищем

Назначение тегов объектам S3

Вопрос: Что такое теги объектов S3?

Теги объектов S3 – это пары «ключ-значение», назначаемые объектам S3. Эти пары можно создавать, обновлять и удалять в любое время в течение жизненного цикла объекта. С их помощью можно создавать политики Identity and Access Management (IAM), настраивать политики жизненного цикла сервиса S3, а также настраивать метрики хранилища. Эти теги на уровне объектов могут затем использоваться для управления перемещением данных между хранилищами разных классов и управления объектами, срок действия которых истекает, в фоновом режиме.

Вопрос: Как присваивать теги своим объектам?

Добавлять теги можно для новых объектов при их загрузке или для существующих объектов. Для каждого объекта S3 можно добавить до десяти тегов, при этом для добавления тегов объектов можно использовать Консоль управления AWS, API REST, интерфейс командной строки AWS или AWS SDK.

Вопрос: Почему следует использовать теги объектов?

Теги объектов – это инструмент, который упрощает управление хранилищем S3. Благодаря наличию возможности создавать, обновлять и удалять теги в любое время в течение всего жизненного цикла объекта можно адаптировать хранилище к любым потребностям бизнеса. С помощью этих тегов можно контролировать доступ к объектам, которым присвоены специальные пары «ключ-значение», что позволяет обеспечить дополнительную защиту конфиденциальных данных, предоставив к ним доступ только выбранной группе или пользователю. Теги объектов также можно использовать для обозначения объектов, которые относятся к определенному проекту или подразделению, чтобы применять их в сочетании с политиками жизненного цикла S3 для переноса данных в хранилища уровней S3 Standard – IA, S3 One Zone – IA и Amazon Glacier.

Вопрос: Как обновлять теги у своих объектов?

Теги объектов можно изменять в любое время в течение всего жизненного цикла объекта S3. Для обновления тегов объектов можно использовать Консоль управления AWS, API REST, интерфейс командной строки AWS или AWS SDK. Учтите, что все изменения тегов, которые выполняются без использования Консоли управления AWS, выполняются над полным набором тегов. Если у определенного объекта есть пять тегов и необходимо добавить шестой, в запрос следует включить исходные пять тегов.

Вопрос: Будет ли выполняться репликация тегов объектов при использовании межрегиональной репликации?

Репликация тегов объектов между регионами AWS может выполняться при использовании межрегиональной репликации. Клиентам с включенной межрегиональной репликацией для репликации тегов требуются новые разрешения. Дополнительные сведения о настройке межрегиональной репликации см. в разделе «Настройка межрегиональной репликации» Руководства разработчика Amazon S3.

Вопрос: Какова стоимость тегов объектов?

Плата за теги объектов начисляется по количеству тегов и запросов для их добавления. Плата за запросы, связанные с добавлением и обновлением Тегов объектов, взимается по существующим тарифам на запросы. Подробнее см. на странице цен на Amazon S3.

Storage Class Analysis

Вопрос: Что представляет собой Storage Class Analysis?

С помощью Storage Class Analysis можно анализировать частоту доступа к хранилищу и переносить определенные данные в хранилище более подходящего класса. Эта новая возможность S3 автоматически выявляет данные, к которым редко обращаются, и помогает перенести их в хранилище S3 Standard – IA. Политика Storage Class Analysis позволяет выполнять мониторинг всей корзины либо объектов с определенным префиксом/тегом. После выявления данных, к которым редко обращаются, можно просто создать новую политику S3 для управления жизненным циклом объектов на основании полученных результатов. Storage Class Analysis также обеспечивает ежедневное визуальное представление данных об использовании хранилища в Консоли управления AWS. Соответствующие данные можно экспортировать в корзину S3 для последующего анализа с помощью удобных инструментов бизнес-аналитики, например Amazon QuickSight.

Вопрос: Как начать работу со Storage Class Analysis?

Чтобы выявить редко запрашиваемые данные, которые можно перенести в хранилище класса S3 Standard – IA, S3 One Zone – IA либо заархивировать в хранилище класса Amazon Glacier, можно воспользоваться Консолью управления AWS или API PUT Bucket Analytics сервиса S3 для настройки политик Storage Class Analysis. Для управления метриками Storage Class Analysis, S3 Inventory и S3 CloudWatch требуется перейти на вкладку «Management» (Управление) в консоли S3.

Вопрос: Как начисляется плата за использование Storage Class Analysis?

Общую информацию о ценах на Storage Class Analysis см. на странице цен на Amazon S3.

Вопрос: Как часто обновляются данные Storage Class Analysis?

Данные Storage Class Analysis в консоли управления S3 обновляются ежедневно. Кроме того, можно настроить Storage Class Analysis таким образом, чтобы соответствующие отчеты экспортировались в выбранную корзину S3.

S3 Inventory

Вопрос: Что такое S3 Inventory?

Отчет S3 Inventory предоставляет альтернативу синхронному API Amazon S3 List, позволяющую выполнять задачи по расписанию. Можно настроить S3 Inventory для предоставления выходных данных объектов и соответствующих им метаданных корзины S3 или префикса в формате CSV или ORC на ежедневной или еженедельной основе. С помощью S3 Inventory можно упростить и ускорить рабочие бизнес-процессы и задачи обработки больших данных. S3 Inventory можно также использовать для проверки состояния шифрования и репликации объектов на предмет соответствия требованиям бизнеса и применимых нормативных актов. 

Вопрос: Как начать работу с S3 Inventory?

С помощью консоли управления AWS или вызова API PUT Bucket Inventory можно настроить создание ежедневного или еженедельного отчета по инвентаризации всех объектов в корзине S3 или набора объектов с общим префиксом. При настройке можно указать корзину S3 для сохранения отчета S3 Inventory, формат выходных файлов (CSV или ORC), а также определенные метаданные объектов, актуальные для конкретного бизнес-приложения, такие как имя объекта, размер, дата последнего изменения, класс хранилища, идентификатор версии, маркер удаления, метка устаревшей версии, метка многокомпонентной загрузки, состояние репликации или шифрования.

Вопрос: Можно ли шифровать файлы отчетов S3 Inventory?

Да, можно настроить шифрование всех файлов, записываемых S3 Inventory, с помощью шифрования на стороне сервера в S3 или KMS. Подробнее см. в руководстве пользователя.

Вопрос: Как можно использовать S3 Inventory?

S3 Inventory можно использовать для прямой передачи данных в рабочие процессы приложений или в задания по обработке больших данных. Можно также делать запросы к S3 Inventory с использованием стандартного языка SQL с помощью Amazon Athena, Amazon Redshift Spectrum или других инструментов, например Presto, Hive и Spark.

Подробнее о запросах к S3 Inventory с помощью Athena »

Вопрос: Как начисляется плата за использование S3 Inventory?

Цены на S3 Inventory см. на странице цен на Amazon S3. После настройки шифрования с помощью шифрования на стороне сервера KMS будет взиматься плата за шифрование по тарифам сервиса KMS; подробнее см. на странице цен на KMS.

Метрики CloudWatch для S3

Вопрос: Как начать работу с метриками CloudWatch для S3?

Можно использовать Консоль управления AWS для включения ежеминутных метрик CloudWatch для запросов для корзины S3 или настройки фильтров для метрик на основании префикса или тега объекта. Кроме того, можно выполнить вызов API PUT Bucket Metrics сервиса S3, чтобы включить и настроить публикацию метрик хранилища S3. Метрики CloudWatch для запросов появятся в CloudWatch через 15 минут после включения. Метрики CloudWatch для запросов по умолчанию выключены для всех корзин, а отчет по ним составляется один раз в день.

Вопрос: Можно ли привести метрики CloudWatch для запросов в соответствие с требованиями приложения или организационной структурой бизнеса?

Да. Метрики запросов CloudWatch для S3 можно настроить для создания метрик определенной корзины S3, а также настроить фильтры для метрик, используя префикс или тег объекта.

Вопрос: Какие предупреждения можно установить для метрик своего хранилища?

Можно использовать CloudWatch для задания пороговых значений для всех результатов подсчета, таймеров или измерений метрик хранилища и выполнения определенного действия при превышении порогового значения. Например, можно установить пороговое значение, выраженное в процентах, для ответов, содержащих информацию об ошибке с кодом 4xx, и когда значения хотя бы трех точек данных превысят пороговое значение, CloudWatch выдаст предупреждение ответственному специалисту DevOps.

Вопрос: Как начисляется плата за использование метрик CloudWatch для S3?

Метрики CloudWatch для хранилища предоставляются бесплатно. Плата за запросы к метрикам CloudWatch начисляется по тарифам для пользовательских метрик Amazon CloudWatch. Общую информацию о ценах на метрики CloudWatch для S3 см. на странице цен на Amazon CloudWatch.

Управление жизненным циклом S3

Вопрос: Что такое управление жизненным циклом S3?

Функция управления жизненным циклом сервиса S3 предоставляет возможность определить жизненный цикл вашего объекта посредством предопределенной политики и уменьшить стоимость его хранения. Можно настроить политику жизненного цикла для автоматического переноса объектов, размещенных в хранилище класса S3 Standard, в хранилища S3 Standard – IA, S3 One Zone – IA, и/или Amazon Glacier в зависимости от срока существования данных. Можно также настроить политики окончания жизненного цикла для автоматического удаления объектов на основе срока их хранения. Можно настроить политику окончания срока многокомпонентной загрузки, прекращающую незавершенные многокомпонентные загрузки на основании их продолжительности.

Вопрос: Как создать политику управления жизненным циклом S3?

Создавать политики жизненного цикла и управлять ими можно с помощью Консоли управления AWS, API REST сервиса S3, AWS SDK или интерфейса командной строки AWS. Вы можете определить политику на уровне префикса или корзины.

Вопрос: Какова стоимость использования управления жизненным циклом S3?

За настройку и использование политик управления жизненным циклом плата не взимается. Плата за выполнение запроса на перенос объектов начисляется по количеству объектов, которые начинают соответствовать критериям переноса, указанным в правилах жизненного цикла. Подробную информацию о ценах см. на странице цен на Amazon S3.

Вопрос: Как можно использовать политики управления жизненным циклом?

По мере устаревания данных они становятся менее важными, менее ценными и/или от них уже не требуется соответствие требованиям. Amazon S3 имеет в своем составе обширную библиотеку политик, которая позволяет автоматизировать процессы перемещения данных между классами хранилищ. К примеру, можно настроить перемещение нечасто используемых объектов в классы хранилищ с меньшей стоимостью (например, S3 Standard – IA или S3 One Zone – IA) по истечении некоторого периода времени. По истечении еще какого-то периода времени эти объекты могут перемещаться в хранилище Amazon Glacier для архивации в соответствии с определенными требованиями. Если политика компании это позволяет, можно также задать политику жизненного цикла для удаления объектов. Такие правила могут незаметно для пользователя снизить затраты на хранение данных и упростить управление данными. Эти политики также включают оптимальные рекомендации по удалению ненужных объектов и атрибутов для снижения затрат и оптимизации производительности.

Вопрос: Как использовать управление жизненным циклом Amazon S3 для снижения затрат на хранилище Amazon S3?

С помощью политик жизненного цикла Amazon S3 можно настроить миграцию объектов из хранилища класса S3 Standard в хранилище S3 Standard – IA, S3 One Zone – IA и/или их архивацию в Amazon Glacier. Дополнительно можно задать политику жизненного цикла S3 для удаления объектов по истечении определенного периода времени. С помощью такой определяемой правилами автоматизации можно быстро и легко понизить затраты на хранилище, а также сэкономить время. В каждом правиле можно указать префикс, промежуток времени, перенос в хранилище S3 Standard – IA, S3 One Zone – IA или Amazon Glacier, а также окончание срока хранения. Например, можно создать правило, архивирующее в Amazon Glacier все объекты с общим префиксом logs/ через 30 дней после их создания и прекращающее хранение этих объектов после 365 дней с момента их создания. Можно создать отдельное правило, прекращающее хранение всех объектов с префиксом backups/ через 90 дней с момента их создания. Политики жизненного цикла S3 применяются как к существующим, так и к новым объектам S3, обеспечивая оптимизацию хранилища и максимальную экономию при размещении любых данных в S3 без затрат времени на проверку и перемещение данных вручную. В рамках правила управления жизненным циклом объектов поле префикса определяет объекты, к которым правило применяется. Для того чтобы применить правило к отдельному объекту, необходимо указать имя ключа. Для того чтобы применить правило к набору объектов, необходимо указать их общий префикс (например, “logs/”). Для удаления объектов можно указать действие переноса (архивацию объектов или окончание срока действия). Укажите время: конкретную дату (например, 31 января 2015 года) или количество дней с момента создания (например, 30 дней), по истечении которого следует выполнять архивацию или удаление объектов. Можно создать несколько правил для разных префиксов.

Вопрос: Как настроить объекты, чтобы они были удалены через определенный промежуток времени?

Для удаления объектов из корзин через определенное количество дней можно настроить политику окончания жизненного цикла S3. Можно определить правила окончания срока действия набора объектов в корзине с помощью политики настройки жизненного цикла, которая применяется к корзине.

Подробнее о политиках окончания жизненного цикла S3 »

Вопрос: Почему стоит использовать политику жизненного цикла S3 для прекращения срока действия незавершенных многокомпонентных загрузок?

Политика жизненного цикла S3, прекращающая незавершенные многокомпонентные загрузки, позволяет сократить расходы за счет ограничения времени хранения данных, загруженных в результате таких многокомпонентных загрузок. Например, если приложение загружает несколько частей многокомпонентного объекта и не подтверждает их запись, плата за хранение этих компонентов все-таки будет взиматься. Соответствующая политика позволяет сократить расходы на хранилище S3 за счет удаления незавершенных многокомпонентных загрузок и связанных с ними данных через определенное количество дней.

Подробнее об использовании жизненного цикла S3 для прекращения срока действия незавершенных многокомпонентных загрузок »

Межрегиональная репликация

Вопрос: Что представляет собой межрегиональная репликация в Amazon S3?

Межрегиональная репликация (CRR) – это возможность Amazon S3, которая осуществляет автоматическую репликацию данных между регионами AWS. С помощью CRR каждый объект, загружаемый в корзину S3, автоматически реплицируется в целевую корзину в другом регионе AWS по выбору пользователя. CRR позволяет предоставить доступ к данным с низкой задержкой в разных географических регионах. Функция CRR также полезна в тех случаях, когда для соблюдения правовых норм копии данных требуется хранить в сотнях километров друг от друга.

Вопрос: Как активировать CRR?

CRR настраивается на уровне корзин S3. Чтобы включить CRR для исходной корзины, необходимо задать целевую корзину для репликации в другом регионе. Для активации CRR можно использовать Консоль управления AWS, REST API, AWS CLI или AWS SDK. Управление версиями при использовании CRR должно быть включено и в исходной, и в целевой корзине. Дополнительные сведения см. в разделе Руководства разработчика Amazon S3, посвященном межрегиональной репликации.

Вопрос: Можно ли использовать CRR с правилами управления жизненным циклом S3?

Да. Можно настроить разные правила управления жизненным циклом S3 для исходной и целевой корзин. К примеру, можно настроить правило управления жизненным циклом для миграции данных из хранилища класса S3 Standard в хранилище класса S3 Standard – IA или S3 One Zone – IA либо для архивации данных в Amazon Glacier в целевой корзине.

Вопрос: Можно ли использовать CRR с объектами, зашифрованными с помощью AWS Key Management Service (KMS)?

Да, можно реплицировать объекты, зашифрованные KMS, путем указания ключа KMS назначения в настройках репликации.

Подробнее о репликации объектов, зашифрованных KMS »

Вопрос: Обеспечивается ли в процессе репликации безопасность передаваемых объектов и шифрование?

Да, объекты остаются зашифрованными на всех стадиях процесса CRR. Зашифрованные объекты безопасно передаются из региона источника в регион назначения по протоколу SSL.

Вопрос: Можно ли использовать CRR между разными аккаунтами AWS для защиты от злонамеренного или случайного удаления?

Да, можно настроить CRR между разными аккаунтами, чтобы хранить реплицированные данные в другом аккаунте в целевом регионе. Чтобы обеспечить владение данными источника и получателя разными владельцами и предоставить право собственности на реплицированное хранилище аккаунту назначения, можно установить в настройках репликации перезапись владельца CRR. 

Вопрос: Каковы цены на межрегиональную репликацию S3?

Плата взимается за хранилище Amazon S3 (в соответствии с выбранным классом хранилища S3), за запросы на копирование и за межрегиональную передачу реплицированных копий данных. За запросы на копирование и межрегиональную передачу данных плата начисляется в зависимости от региона источника. За хранение реплицированных данных плата начисляется в зависимости от целевого региона. Подробную информацию о ценах сервиса см. на странице цен на S3.

Если исходный объект загружается с использованием функции многокомпонентной загрузки, то он реплицируется с тем же количеством частей того же размера. Например, за объект размером 100 ГБ, загруженный с использованием многокомпонентной загрузки (800 частей по 128 МБ каждая), при репликации взимается оплата как за 802 запроса (800 запросов на загрузку частей + 1 запрос на начало многокомпонентной загрузки + 1 запрос на окончание многокомпонентной загрузки). Будет взиматься плата за запросы в размере 0,00401 USD (802 запроса x 0,005 USD/1000 запросов) и плата в размере 2 USD (0,020 USD/переданный ГБ x 100 GB) за межрегиональную передачу данных. По окончании репликации, будет взиматься оплата за хранение 100 GB данных по тарифам региона назначения.

Amazon S3 и IPv6

Вопрос: Что такое IPv6?

Каждый сервер и устройство, подключенные к Интернету, должны иметь уникальный адрес. Интернет-протокол версии 4 (IPv4) изначально имел 32-битную адресацию. Непрерывное развитие Интернета приведет к тому, что через некоторое время все доступные IPv4-адреса будут использованы. Интернет-протокол версии 6 (IPv6) использует новую схему адресации, предназначенную для того, чтобы обойти глобальное ограничение адресации протокола IPv4.

Вопрос: Как можно использовать протокол IPv6?

Amazon S3 поддерживает использование протокола IPv6. Приложения могут подключаться к Amazon S3 без необходимости использования программного обеспечения или систем для преобразования адресов IPv4 в адреса IPv6. Это дает возможность обеспечить соответствие требованиям, проще выполнять интеграцию с существующими локальными приложениями на базе IPv6 и устраняет необходимость применения дорогого сетевого оборудования для преобразования адресов. С адресами IPv6 теперь можно использовать существующие возможности фильтрации адресов, имеющиеся в политиках IAM и политиках корзин, расширив возможности обеспечения безопасности приложений, взаимодействующих с Amazon S3.

Вопрос: Как начать использовать протокол IPv6 в Amazon S3?

Вы можете начать работу, указав приложению новый адрес сервера Amazon S3 с «двойным стеком» (поддерживающий доступ по обоим протоколам, IPv4 и IPv6). В большинстве случаев для доступа по IPv6 дополнительных настроек не требуется, так как большинство сетевых клиентов предпочитают по умолчанию использовать адреса IPv6.

Вопрос: Меняется ли производительность Amazon S3 при использовании протокола IPv6?

Нет, качество функционирования сервиса Amazon S3 не зависит от того, будет при работе с ним использоваться протокол IPv4 или протокол IPv6.

Вопрос: Что делать, если мои клиенты сталкиваются с ограничениями политик, сетевыми или другими ограничениями при использовании протокола IPv6 для работы с Amazon S3?

Приложения, на работе которых отражается использование протокола IPv6, можно в любое время переключить на работу со стандартными адресами серверов, работающими только по протоколу IPv4.

Вопрос: Протокол IPv6 работает со всеми возможностями Amazon S3?

Нет, поддержка протокола IPv6 в настоящее время недоступна для хостинга веб-сайтов и доступа через BitTorrent. Все другие возможности при использовании доступа к Amazon S3 по протоколу IPv6 должны работать в штатном режиме.

Вопрос: Во всех ли регионах AWS поддерживается протокол IPv6?

Протокол IPv6 с Amazon S3 можно использовать во всех коммерческих регионах AWS, кроме регионов Китай (Пекин) и Китай (Нинся). Протокол IPv6 также можно использовать в регионе AWS GovCloud (США).

Подробнее о ценах на Amazon S3

Перейти на страницу цен
Готовы приступить к разработке?
Начать работу с Amazon S3
Есть вопросы?
Свяжитесь с нами