Общие вопросы и ответы по S3

Вопрос. Что такое Amazon S3?

Amazon S3 – это объектное хранилище, рассчитанное на хранение и извлечение любых объемов данных из любой точки сети. Это простой сервис хранилища, который отличается самой высокой надежностью, доступностью, производительностью и безопасностью в отрасли, а также практически неограниченной масштабируемостью при очень низких затратах.

Вопрос. Что можно делать с помощью Amazon S3?

Amazon S3 предоставляет простой интерфейс веб-сервиса, который можно использовать для хранения и извлечения любых объемов данных в любое время из любого места. Такой сервис позволяет просто создавать приложения, использующие полностью облачное хранилище. Поскольку сервис Amazon S3 обеспечивает широкие возможности масштабирования, а плата начисляется только за фактически использованные ресурсы, можно начать работу с небольших масштабов и наращивать приложение по мере необходимости, не жертвуя при этом производительностью или надежностью.

Сервис Amazon S3 спроектирован для максимально гибкой работы. Вы можете хранить данные любого типа и в любом количестве; считывать те же самые данные миллион раз или только для аварийного восстановления; создавать простое FTP-приложение или сложное веб-приложение, сравнимое с розничным интернет-магазином Amazon.com. Amazon S3 позволяет разработчикам сосредоточиться на инновациях, не переживая о том, как хранить данные.

Вопрос: Как начать работу с Amazon S3?

Чтобы зарегистрироваться в сервисе Amazon S3, нажмите эту ссылку. Для доступа к сервису требуется аккаунт Amazon Web Services. Если у вас нет аккаунта AWS, вам будет предложено создать его в начале регистрации в сервисе Amazon S3. После регистрации изучите документацию по Amazon S3 и образцы кода в Центре ресурсов, чтобы начать работу с Amazon S3.

Вопрос. Какие преимущества по сравнению с локальными решениями Amazon S3 открывает для разработчиков?

Сервис Amazon S3 позволяет разработчикам использовать преимущества, которые дает Amazon в большом масштабе, без предварительной оплаты или снижения собственной производительности. Теперь разработчики могут свободно вводить новшества, зная, что они смогут без труда обеспечить быстрый, постоянный и безопасный доступ к данным, независимо от того, насколько успешным будет бизнес.

Вопрос: Какие типы данных могут храниться в Amazon S3?

Можно хранить практически любые типы данных в любом формате. Дополнительную информацию см. в Лицензионном соглашении Amazon Web Services.

Вопрос: Какой объем данных может храниться в Amazon S3?

Общий объем хранимых данных и количество объектов не ограничены. Размер отдельных объектов Amazon S3 может составлять от 0 байт до 5 ТБ. Самый крупный объект, который можно загрузить через один запрос PUT – 5 ГБ. Для объектов крупнее 100 МБ клиентам рекомендуется использовать возможность многокомпонентной загрузки.

Вопрос. Можно ли создать корзину, в которой разные объекты размещались бы в хранилищах разных классов?

Да, можно создать корзину S3, в которой разные объекты хранятся в хранилищах S3 Standard, S3 Intelligent-Tiering, S3 Standard – IA, S3 One Zone – IA, S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive.

Вопрос. Как Amazon распоряжается данными клиентов в Amazon S3?

Amazon хранит данные клиентов и прослеживает их использование для выставления счета. Amazon не имеет доступа к вашим данным ни с какими целями, не связанными с сервисом Amazon S3, за исключением случаев, когда это требуется законом. Дополнительную информацию см. в Лицензионном соглашении Amazon Web Services.

Вопрос: Хранит ли Amazon в Amazon S3 свои данные?

Да. Разработчики в компании Amazon используют Amazon S3 для самых разнообразных проектов. Многие из этих проектов используют Amazon S3 в качестве надежного хранилища данных в критически важных для бизнеса процессах.

Вопрос: Как организованы данные в Amazon S3?

Amazon S3 – это простое хранилище объектов на основе ключа. При хранении данных объектам назначается уникальный ключ, который может использоваться впоследствии для доступа к данным. Ключи могут иметь любые строковые значения; их можно создавать так, чтобы имитировать иерархические атрибуты. Кроме того, для организации данных во всех корзинах и (или) с любыми префиксами S3 можно воспользоваться возможностью назначения тегов объектам S3.

Вопрос. В каком интерфейсе можно работать с Amazon S3?

Amazon S3 предоставляет простые стандартизированные интерфейсы веб-сервисов REST и SOAP, предназначенные для работы с любым инструментарием интернет-разработки. Мы намеренно упростили все системные процессы, чтобы сделать проще добавление новых протоколов раздачи и функциональных уровней.

Вопрос: Насколько надежен Amazon S3?

Amazon S3 предоставляет любому разработчику доступ к той же высокомасштабируемой, высокодоступной, быстрой и недорогой инфраструктуре хранения данных, которую Amazon использует для управления своей собственной глобальной сетью веб-сайтов. Класс хранилища S3 Standard обеспечивает доступность на уровне 99,99 %, классы S3 Standard – IA, S3 Intelligent-Tiering и S3 Glacier Instant Retrieval – на уровне 99,9 %, класс S3 One Zone – IA – на уровне 99,5 %, а классы S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive обеспечивают доступность на уровне 99,99 % и сопровождаются SLA на уровне 99,9 %. Использование хранилищ всех перечисленных классов регулируется Соглашением об уровне обслуживания Amazon S3.

Вопрос. Как будет работать Amazon S3 в случае внезапного всплеска трафика из приложения клиента?

Amazon S3 с самого начала был создан для обработки трафика из любого интернет-приложения. Оплата по мере использования и неограниченный объем ресурсов предотвращают дополнительные издержки и прерывание сервиса. Огромный масштаб Amazon S3 позволяет равномерно распределять нагрузку, чтобы пики трафика не сказывались на отдельных приложениях.

Вопрос. Предлагает ли Amazon S3 Соглашение об уровне обслуживания (SLA)?

Да. Соглашение об уровне обслуживания Amazon S3 предусматривает компенсацию в случае, если уровень бесперебойной работы за любой учетный период окажется ниже согласованного.

Вопрос. Какая модель непротиворечивости действует для Amazon S3?

Amazon S3 автоматически тщательно проверяет согласованность операций чтения после записи. Этот процесс не влияет на производительность или доступность и региональную изолированность приложений, а также абсолютно бесплатный.

После успешной записи нового объекта или повторной записи существующего все последующие запросы на чтение незамедлительно получают последнюю версию объекта. S3 также тщательно проверяет согласованность операций получения списка, благодаря чему сразу после записи вы сможете создать список объектов в корзине со всеми внесенными изменениями.

Вопрос. Почему важна тщательная проверка согласованности операций чтения после записи?

Тщательная проверка согласованности операций чтения после записи помогает в тех случаях, когда требуется чтение объектов сразу после их записи. Например, если вы часто считываете объекты и составляете списки непосредственно после записи. Высокопроизводительные вычислительные рабочие нагрузки также получают преимущества, когда объект повторно записывается, после чего многократно одновременно считывается: тщательная проверка согласованности операций чтения после записи обеспечивает считывание объекта во время каждой попытки. Эти приложения автоматически и мгновенно получают преимущества от тщательной проверки согласованности операций чтения после записи. Инструмент тщательной проверки согласованности операций чтения после записи в S3 также устраняет потребность в дополнительной инфраструктуре.  

Регионы AWS

Вопрос: Где хранятся мои данные?

При создании корзины Amazon S3 можно выбрать регион AWS. Хранилища классов S3 Standard, S3 Standard – IA, S3 Intelligent-Tiering, S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive обеспечивают автоматическое хранение объектов на нескольких устройствах, расположенных как минимум в трех зонах доступности, расстояние между которыми в пределах региона AWS составляет несколько километров. Объекты, размещаемые в хранилище класса S3 One Zone – IA, сохраняются с избыточностью в пределах одной зоны доступности в выбранном регионе AWS. При использовании S3 on Outposts данные размещаются в локальной среде Outpost, однако вы можете вручную переместить их в регион AWS. Дополнительные сведения о доступности Amazon S3 в конкретных регионах AWS см. на странице «Продукты и сервисы по регионам».

Вопрос: Что такое регион AWS?

Регион AWS – это географическое местоположение, где AWS предоставляет множество физически разделенных и изолированных зон доступности, которые объединены в сеть с низкой задержкой, высокой пропускной способностью и высокой избыточностью.

Вопрос: Что такое зона доступности AWS?

Зона доступности AWS – это физически изолированное местоположение в регионе AWS. В каждом регионе AWS сервис S3 использует как минимум три зоны доступности, расстояние между которыми составляет несколько километров, что обеспечивает защиту от локальных стихийных бедствий, таких как пожары, наводнения и пр.

Хранилища классов Amazon S3 Standard, S3 Standard – Infrequent Access, S3 Intelligent-Tiering, S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive реплицируют данные как минимум в трех зонах доступности для обеспечения защиты данных в случае полного выхода одной из зон доступности из строя. Это условие остается в силе и в регионах, где публично доступно менее трех зон доступности. Объекты, размещенные в хранилищах этих классов, доступны из всех зон доступности в регионе AWS.

Хранилища класса Amazon S3 One Zone – IA реплицируют данные в пределах одной зоны доступности. Данные, размещаемые в хранилище класса S3 One Zone – IA, не являются устойчивыми к физическому выходу из строя зоны доступности вследствие серьезных стихийных бедствий, таких как землетрясение или наводнение.

Вопрос. Как решить, в каком регионе AWS хранить данные?

Следует принять во внимание несколько факторов, исходя из потребностей вашего конкретного приложения. Например, можно сократить задержку при доступе к данным, если хранить их в регионе, расположенном рядом с клиентами, центрами обработки данных или другими ресурсами AWS. Вам также, возможно, потребуется хранить данные в регионе, удаленном от других узлов и систем в целях географической избыточности и аварийного восстановления. Следует рассмотреть и те регионы, которые позволяют соблюдать определенные нормативные требования и (или) снижать затраты на хранение. В целях экономии средств можно выбрать менее дорогой регион. Подробности см. на странице цен на Amazon S3.

Вопрос. В каких частях света доступен сервис Amazon S3?

Сервис Amazon S3 доступен в регионах AWS по всему миру, и клиенты могут его использовать независимо от своего местоположения. Требуется только решить, в каких регионах AWS вы хотите хранить свои данные в Amazon S3. Список регионов AWS, в которых в настоящее время доступен сервис S3, см. в таблице доступности сервисов AWS по регионам.

Оплата

Вопрос: Сколько стоит Amazon S3?

Используя сервис Amazon S3, вы платите только за то, что реально используете. Минимальные платежи отсутствуют. Вы можете оценить ежемесячные расходы с помощью Калькулятора цен AWS.

Чем ниже наши расходы, тем меньшую плату мы взимаем. Некоторые цены могут меняться в зависимости от региона Amazon S3. При выставлении счетов цены основываются на местоположении корзины S3. Плата за передачу данных через запрос COPY внутри региона Amazon S3 не взимается. Плата за передачу данных через запрос COPY между регионами AWS взимается по тарифам, указанным в разделе цен на странице описания Amazon S3. Плата за передачу данных между Amazon EC2 (или любым сервисом AWS) и Amazon S3 внутри одного региона (например в регионе Восток США (Северная Вирджиния)), не взимается. Плата за передачу данных между Amazon EC2 (или любым сервисом AWS) и Amazon S3 в различных регионах (например, между Amazon EC2 в регионе Восток США (Северная Вирджиния) и Amazon S3 в регионе Запад США (Северная Калифорния)) взимается по тарифам, указанным на странице цен на Amazon S3. Для ознакомления с ценами на S3 on Outposts посетите страницу цен на Outposts.

Вопрос. Каков принцип оплаты пользования сервисом Amazon S3?

Для начала работы с сервисом не требуются предоплата или какие-либо обязательства. В конце месяца с вас будет автоматически снята сумма за пользование сервисом по итогам месяца. Расходы за текущий расчетный период можно просмотреть в любое время на веб-сайте Amazon Web Services, войдя в аккаунт Amazon Web Services и нажав на «Billing and Cost Management console» под «Your Web Services Account».

Уровень бесплатного пользования AWS* позволяет приступить к работе с Amazon S3 бесплатно во всех регионах, кроме регионов AWS GovCloud. После регистрации новые клиенты AWS получают 5 ГБ хранилища Amazon S3 Standard, 20 000 запросов GET и 2000 запросов PUT, а также 100 ГБ исходящего трафика (в Интернет, регионы AWS или CloudFront) каждый месяц в течение одного года. Неиспользованные за этот месяц ресурсы на следующий месяц не переносятся.

Amazon S3 взимает плату за следующие типы использования. Обратите внимание на то, что приведенные расчеты не учитывают возможность применения уровня бесплатного пользования AWS.

Использованный объем хранилища

Цены на хранилище Amazon S3 можно посмотреть на странице цен на Amazon S3.

Объем подлежащего оплате за месяц хранилища основан на среднем объеме хранилища, использованном на протяжении месяца. Это включает все данные объектов и метаданные, хранимые в корзинах, созданных под вашим аккаунтом AWS. Мы измеряем использование хранилища по формуле «ПериодХранения-БайтЧасы», которая суммируется в конце месяца для подсчета платы за месяц.

Пример использования хранилища:

Предположим, клиент хранит 100 ГБ (107 374 182 400 байт) данных в хранилище Amazon S3 Standard в своей корзине в течение первых 15 дней в марте и 100 ТБ (109 951 162 777 600 байт) данных в хранилище Amazon S3 Standard в течение последних 16 дней в марте.

К концу марта объем использования в байт-часах будет следующим: всего использовано байт-часов = [107 374 182 400 байт x 15 дней x 24 часа] + [109 951 162 777 600 байт x 16 дней x 24 часа] = 42 259 901 212 262 400 байт-часов. Вычисляйте количество часов в соответствии с фактическим количеством дней в каждом месяце. Например, в нашем примере мы используем март, в котором 31 день или 744 часа.

Переведем в ГБ-месяцы: 42 259 901 212 262 400 байт-часов / 1 073 741 824 байт в 1 ГБ / 744 часа в месяце = 52 900 ГБ-месяцев

Данный объем использования подпадает под три различных уровня пользования. Ежемесячная стоимость ниже вычисляется для региона Восток США (Северная Вирджиния). Уровень 50 ТБ: 51 200 ГБ x 0,023 USD = 1177,60 USD. Уровень от 50 ТБ до 450 ТБ: 1700 ГБ x 0,022 USD = 37,40 USD

Всего за хранение = 1177,60 USD + 37,40 USD = 1215,00 USD

Передача входящих данных через сеть

С ценами на передачу данных в Amazon S3 можно ознакомиться на странице цен на Amazon S3. Это соответствует объему данных, посылаемых в ваши корзины Amazon S3. 

Передача исходящих данных через сеть

Тарифы на передачу исходящих данных из Amazon S3 приводятся на странице цен на Amazon S3. В Amazon S3 эта плата взимается каждый раз, когда данные считываются с любой из ваших корзин в местоположении за пределами данного региона Amazon S3.

Уровни расценок на передачу исходящих данных учитывают совокупный объем передаваемых вами исходящих данных из данного региона в Интернет через Amazon EC2, Amazon S3, Amazon RDS, Amazon SimpleDB, Amazon SQS, Amazon SNS и Amazon VPC. Данные уровни не применяются при передаче исходящих данных из Amazon S3 в одном регионе AWS в другой регион AWS.

Пример передачи исходящих данных:
Предположим, вы передаете 1 ТБ данных из Amazon S3 в регионе Восток США (Северная Вирджиния) в Интернет каждый день в течение месяца, в котором 31 день. Предположим, вы также передаете 1 TБ данных из инстанса Amazon EC2 из того же региона в Интернет в течение того же 31-дневного месяца.

Совокупный объем передаваемых вами данных будет 62 TБ (31 TБ из Amazon S3 и 31 TБ из Amazon EC2). Это равняется 63 488 ГБ (62 TБ * 1024 ГБ/TБ).

Данный объем использования попадает под три различных уровня пользования. Приведенная ниже ежемесячная плата за исходящие данные вычисляется для передачи данных в регионе Восток США (Северная Вирджиния).
Уровень 10 ТБ: 10 239 ГБ (10 × 1024 ГБ/TБ – 1 (бесплатно)) x 0,09 USD = 921,51 USD
Уровень от 10 TБ до 50 TБ: 40 960 ГБ (40×1024) x 0,085 USD = 3481,60 USD
Уровень от 50 ТБ до 150 TБ: 12 288 ГБ (остаток) x 0,070 USD = 860,16 USD

Всего за передачу исходящих данных = 921,51 USD + 3481,60 USD + 860,16 USD = 5263,27 USD

Запрос данных

Цены на запросы в Amazon S3 приводятся в таблице цен на Amazon S3.

Пример запроса:
Предположим, вы передаете 10 000 файлов в Amazon S3 и 20 000 файлов из Amazon S3 каждый день в течение месяца марта. Затем вы удаляете 5 000 файлов 31 марта.
Всего запросов PUT = 10 000 запросов x 31 день = 310 000 запросов
Всего запросов GET = 20 000 запросов x 31 день = 620 000 запросов
Всего запросов DELETE = 5 000 запросов x 1 день = 5 000 запросов

Приведенная ниже цена вычисляется для корзины, расположенной в регионе Восток США (Северная Вирджиния).
310 000 запросов PUT: 310 000 запросов x 0,005 USD/1000 = 1,55 USD
620 000 запросов GET: 620 000 запросов x 0,004 USD/10 000 = 0,25 USD
5 000 запросов DELETE = 5 000 запросов x 0,00 USD (бесплатно) = 0,00 USD

Извлечение данных

Цены за извлечение данных из Amazon S3 применяются к классам хранилищ S3 Standard-Infrequent Access (S3 Standard-IA) и хранилищ S3 One Zone – IA; их можно посмотреть на странице цен на Amazon S3.

Пример извлечения данных
Предположим, что в одном месяце вы извлекли 300 ГБ данных из хранилища EC2 S3 Standard-IA, из которых 100 ГБ были переданы в Интернет, 100 ГБ – в EC2 в том же регионе AWS и 100 ГБ – в CloudFront в том же регионе AWS.

Стоимость извлечения данных за месяц составит: 300 ГБ x 0,01 USD за ГБ = 3,00 USD. Обратите внимание, что с вас также будет взиматься плата за передачу данных по сети в отношении той части данных, что вышла в сеть Интернет.

Сведения о ценах на объекты, архивированные в хранилище Amazon S3 Glacier, см. по ссылке.

 * * Использование уровня бесплатного пользования рассчитывается каждый месяц во всех регионах, за исключением региона AWS GovCloud, и автоматически применяется к счету. Неиспользованные в рамках месячного доступа ресурсы не переходят на последующие месяцы. Применяются ограничения. Дополнительные сведения см. в условиях предложения.

Вопрос. Почему цены отличаются в зависимости от выбранного региона Amazon S3?

Чем ниже наши расходы, тем меньшую плату мы взимаем. Например, в регионе Восток США (Северная Вирджиния) наши расходы ниже, чем в регионе Запад США (Северная Калифорния).

Вопрос: Как оплачивается управление версиями?

Каждая помещаемая на хранение или запрашиваемая версия объекта оплачивается по обычным тарифам Amazon S3. Например, рассмотрим следующий сценарий для иллюстрации стоимости хранилища при использовании функции управления версиями (предположим, что в текущем месяце 31 день):

1) 1-й день месяца: вы выполняете операцию PUT в 4 ГБ (4 294 967 296 байт) в своей корзине.
2) 16-й день месяца: вы выполняете операцию PUT в 5 ГБ (5 368 709 120 байт) в той же корзине, используя тот же ключ, что и при первой операции PUT в 1-й день.

Анализируя затраты на хранилище при вышеуказанных операциях, обратите внимание, что объект в 4 ГБ с 1-го дня не удаляется из корзины, когда объект в 5 ГБ записывается на 15-й день. Вместо этого объект в 4 ГБ сохраняется как более старая версия, а объект в 5 ГБ становится последней записанной версией объекта в корзине. В конце месяца:

Всего использованных Байт-Часов
[4 294 967 296 байт x 31 день x (24 часа / день)] + [5 368 709 120 байт x 16 дней x (24 часа / день)] = 5 257 039 970 304 Байт-Часов.

Переводя в ГБ-Месяцы:
5 257 039 970 304 байт-часа x (1 ГБ / 1 073 741 824 байт) x (1 месяц / 744 часа) = 6,581 ГБ-месяца

Стоимость вычисляется с учетом текущего тарифа для конкретного региона, указанного на странице цен на Amazon S3.

Вопрос. Как оплачивается доступ в Amazon S3 через Консоль управления AWS?

При доступе в сервис через консоль управления AWS действуют стандартные цены на Amazon S3. Для оптимизации результатов консоль управления AWS может выполнять запросы заранее. Кроме того, некоторые интерактивные операции посылают более одного запроса в сервис.

Вопрос: Как начисляется плата, если к корзинам Amazon S3 осуществляется доступ из другого аккаунта AWS?

При доступе к данным с другого аккаунта AWS применяются стандартные цены Amazon S3. Кроме того, можно установить для своей корзины настройку «Requester Pays» (Платит инициатор). В этом случае стоимость запросов к данным Amazon S3 и их загрузки будет оплачивать инициатор.

Дополнительную информацию по настройке Requester Pays для корзины см. в документации по Amazon S3.

Вопрос: Ваши цены указаны с учетом налогов?

Если не указано иное, представленные здесь цены не включают применимые налоги и сборы, в том числе НДС и применимый налог с продаж. Для клиентов с платежным адресом в Японии использование сервисов AWS облагается потребительским налогом Японии.

Подробнее о налогах на сервисы AWS »

Amazon S3 и IPv6

Вопрос. Что такое IPv6?

Каждый сервер и устройство, подключенные к Интернету, должны иметь уникальный адрес. Интернет-протокол версии 4 (IPv4) изначально имел 32-битную адресацию. Непрерывное развитие Интернета приведет к тому, что через некоторое время все доступные IPv4-адреса будут использованы. Интернет-протокол версии 6 (IPv6) использует схему адресации, предназначенную для того, чтобы обойти глобальное ограничение адресации протокола IPv4.

Вопрос. Как можно использовать протокол IPv6?

Amazon S3 поддерживает использование протокола IPv6. Приложения могут подключаться к Amazon S3 без необходимости использования программного обеспечения или систем для преобразования адресов IPv4 в адреса IPv6. Это дает возможность обеспечить соответствие требованиям, проще выполнять интеграцию с существующими локальными приложениями на базе IPv6 и устраняет необходимость применения дорогого сетевого оборудования для преобразования адресов. С адресами IPv6 теперь можно использовать существующие возможности фильтрации адресов, имеющиеся в политиках IAM и политиках корзин, расширив возможности обеспечения безопасности приложений, взаимодействующих с Amazon S3.

Вопрос: Как начать использовать протокол IPv6 в Amazon S3?

Вы можете начать работу, указав приложению новый адрес сервера Amazon S3 с «двойным стеком» (поддерживающий доступ по обоим протоколам, IPv4 и IPv6). В большинстве случаев для доступа по IPv6 дополнительных настроек не требуется, так как большинство сетевых клиентов предпочитают по умолчанию использовать адреса IPv6. Приложения, на работе которых отражается использование протокола IPv6, можно в любое время переключить на работу со стандартными адресами серверов, работающими только по протоколу IPv4. Протокол IPv6 для работы с Amazon S3 поддерживается во всех коммерческих регионах AWS, включая AWS GovCoud (США), Amazon Web Services Китай (Пекин), управляемый Sinnet, и Amazon Web Services Китай (Нинся), управляемый NWCD. 

Вопрос. Меняется ли производительность Amazon S3 при использовании протокола IPv6?

Нет, качество функционирования сервиса Amazon S3 не зависит от того, будет при работе с ним использоваться протокол IPv4 или протокол IPv6.

Оповещения о событиях S3

Вопрос: Что такое оповещения о событиях Amazon S3?

Оповещения о событиях Amazon S3 можно подключить, чтобы получать уведомления при наступлении определенных событий, таких как PUT, POST, COPY и DELETE, в корзине S3. Доступна публикация оповещений в Amazon EventBridgeAmazon SNS, Amazon SQS или напрямую в AWS Lambda.

Вопрос. Как можно использовать оповещения о событиях Amazon S3?

Оповещения о событиях в Amazon S3 позволяют запускать рабочие процессы, отправлять предупреждения или выполнять другие действия при изменении объектов, хранимых в корзине S3. Оповещения о событиях S3 можно использовать для настройки триггеров, запускающих выполнение определенных действий, таких как перекодировка мультимедийных файлов по завершении загрузки, обработка файлов данных по мере их поступления или синхронизация объектов S3 с другими хранилищами данных. Также вы можете настроить оповещения о событиях на основе префиксов и суффиксов имени объекта. Например, можно получать оповещения об объектах, имя которых начинается с «images/».

Вопрос: Что включено в оповещения о событиях Amazon S3?

Подробное описание информации, включенной в оповещения о событиях Amazon S3, см. в теме Configuring Amazon S3 Event Notifications Руководства разработчика Amazon S3.

Вопрос. Как настроить оповещения о событиях Amazon S3?

Подробную информацию о настройке оповещений о событиях см. в теме Configuring Amazon S3 Event Notifications Руководства разработчика Amazon S3. Подробнее о сервисах AWS для обмена сообщениями см. в документации по Amazon SNS и документации по Amazon SQS.

Вопрос: Сколько стоит использование оповещений о событиях Amazon S3?

Amazon S3 не взимает дополнительную плату за оповещения о событиях. Оплачивается только использование Amazon SNS или Amazon SQS для доставки оповещений о событиях или стоимость исполнения функции AWS Lambda. Сведения о ценах на Amazon SNS, Amazon SQS или AWS Lambda см. на страницах цен на данные сервисы.

Amazon S3 Transfer Acceleration

Вопрос. Что такое S3 Transfer Acceleration?

Функция Amazon S3 Transfer Acceleration выполняет быструю, простую и безопасную передачу файлов на большие расстояния между вашим клиентом и корзиной Amazon S3. В S3 Transfer Acceleration используются распределенные по всему миру периферийные местоположения AWS для сервиса Amazon CloudFront. После того как данные окажутся в периферийном местоположении AWS, они будут направлены в вашу корзину Amazon S3 по оптимизированному сетевому маршруту.

Вопрос: Как начать работу с S3 Transfer Acceleration?

Чтобы начать работу с S3 Transfer Acceleration, включите S3 Transfer Acceleration в корзине S3 с помощью консоли Amazon S3, API Amazon S3 или интерфейса командной строки AWS. После включения S3 Transfer Acceleration можно будет направлять запросы PUT и GET сервиса Amazon S3 на доменное имя s3-accelerate для соответствующего адреса. Для ускоренной передачи данных приложение должно использовать при передаче данных один из следующих адресов для подключения к корзине: .s3-accelerate.amazonaws.com или .s3-accelerate.dualstack.amazonaws.com для адреса «dual-stack». Для стандартной передачи данных можно будет по-прежнему использовать обычные адреса.

Существует ряд условий, которые должны быть выполнены, чтобы корзины поддерживали S3 Transfer Acceleration. Подробную информацию см. в Руководстве разработчика Amazon S3.

Вопрос. Какова скорость работы S3 Transfer Acceleration?

S3 Transfer Acceleration помогает полностью использовать имеющуюся полосу пропускания и свести к минимуму влияние расстояний на пропускную способность. Это обеспечивает неизменно высокую скорость передачи данных в Amazon S3 независимо от местонахождения клиента. Уровень ускорения зависит главным образом от доступной пропускной способности, расстояния между источником и местом назначения и показателями потери пакетов на сетевом маршруте. В целом ускорение будет тем выше, чем дальше источник от места назначения, чем шире полоса пропускания и/или чем больше размер объекта.

Один из клиентов зафиксировал сокращение среднего времени вдвое при получении файлов размером 300 МБ от глобальной базы пользователей, находящихся в США, Европе и некоторых странах Азии, в корзину в регионе Азия и Тихий океан (Сидней). Другой клиент наблюдал повышение пропускной способности на 500 % для пользователей из Юго-Восточной Азии и Австралии при загрузке файлов размером 250 МБ (часть из них размером 50 МБ) в корзину S3 в регионе Восток США (Северная Вирджиния).

Попробуйте инструмент сравнения скорости для предварительной оценки прироста производительности при передаче от конкретного местоположения.

Вопрос. В каких случаях стоит использовать S3 Transfer Acceleration?

Возможность S3 Transfer Acceleration предназначена для оптимизации скорости передачи данных в корзины S3 по всему миру. Во время выполнении загрузки в централизованную корзину из географически рассредоточенных местоположений или во время регулярной передачи гигабайтов или терабайтов данных через целые континенты функция S3 Transfer Acceleration позволит сэкономить при передаче часы или даже дни.

Вопрос. Безопасно ли использовать S3 Transfer Acceleration?

Возможность S3 Transfer Acceleration так же безопасна, как и обычная передача данных в Amazon S3. Она поддерживает все инструменты безопасности сервиса Amazon S3, например ограничение доступа по IP-адресу клиента. Возможность S3 Transfer Acceleration взаимодействует с клиентами по стандартному протоколу TCP и не требует изменений в настройках брандмауэра. Данные не сохраняются в периферийных местоположениях AWS.

Вопрос: Что произойдет, если передача данных с использованием S3 Transfer Acceleration окажется не быстрее обычной передачи данных с помощью Amazon S3?

Каждый раз, когда для загрузки объекта в корзину используется S3 Transfer Acceleration, мы проверяем, действительно ли передача данных с помощью S3 Transfer Acceleration выполняется быстрее, чем обычная передача данных с помощью Amazon S3. Если передача данных с использованием S3 Transfer Acceleration оказывается не быстрее, чем обычная передача Amazon S3 того же объекта в тот же регион назначения AWS, AWS не начисляет плату за использование функции S3 Transfer Acceleration для этой передачи и игнорирует использование системы S3 Transfer Acceleration для этой загрузки.

Вопрос: Можно ли использовать S3 Transfer Acceleration для многокомпонентных загрузок?

Да, S3 Transfer Acceleration поддерживает все возможности на уровне корзин, включая многокомпонентные загрузки.

Вопрос. В каких случаях стоит выбрать S3 Transfer Acceleration, а в каких – команды PUT/POST сервиса Amazon CloudFront?

Возможность S3 Transfer Acceleration оптимизирует протокол TCP и расширяет логические функции передачи данных между клиентом и корзиной S3, поэтому ее стоит выбрать, когда требуется увеличение пропускной способности. Если размер передаваемых объектов или передаваемого набора данных менее 1 ГБ, для оптимальной производительности воспользуйтесь командами PUT/POST сервиса Amazon CloudFront.

Вопрос. В каких случаях стоит выбрать S3 Transfer Acceleration, а в каких – семейство устройств AWS Snow (Snowball, Snowball Edge или Snowmobile)?

Семейство устройств AWS Snow идеально подходит для единовременного перемещения больших пакетов данных. Время перемещения данных с помощью AWS Snowball обычно составляет 5–7 дней. Как правило, S3 Transfer Acceleration при полностью используемой полосе пропускания шириной 1 Гбит/с обеспечивает за такое же время передачу до 75 ТБ. Обычно в тех случаях, когда передача через Интернет может занять более недели, или при необходимости повторных передач и наличии полосы пропускания шириной свыше 25 Мбит/с целесообразно использовать S3 Transfer Acceleration. Можно также использовать обе возможности: сначала переместить основной объем данных с помощью одного или нескольких устройств AWS Snowball, а затем передавать текущие инкрементные изменения с помощью S3 Transfer Acceleration.

Вопрос. Можно ли дополнить подключение AWS Direct Connect возможностью S3 Transfer Acceleration?

AWS Direct Connect подходит клиентам, которым требуется использование частной сети или у которых есть доступ к обмену данными AWS Direct Connect. S3 Transfer Acceleration оптимально подходит для отправки данных от распределенных клиентских местоположений через публичный Интернет или для тех случаев, когда неоднородные условия сети ухудшают пропускную способность. Некоторые клиенты, использующие AWS Direct Connect, используют S3 Transfer Acceleration для передачи данных из удаленных офисов, где скорость передачи данных через Интернет может быть низкой.

Вопрос. Можно ли дополнить сервис AWS Storage Gateway или шлюз стороннего поставщика использованием S3 Transfer Acceleration?

Вы получите преимущество, задав адрес корзины назначения в шлюзе стороннего поставщика с использованием домена адреса S3 Transfer Acceleration.

Подробнее о таком использовании AWS можно узнать в разделе «Файловый шлюз» на странице вопросов и ответов по сервису Storage Gateway.

Вопрос. Можно ли дополнить интегрированное ПО стороннего поставщика возможностью S3 Transfer Acceleration?

Да. Пакеты ПО, которые подключаются непосредственно к Amazon S3, могут использовать преимущества S3 Transfer Acceleration при отправке заданий в Amazon S3.

Подробнее о решениях партнеров в сфере хранения данных »

Вопрос. Соответствует ли S3 Transfer Acceleration требованиям HIPAA?

Да, AWS расширила программу соответствия требованиям HIPAA. Теперь Amazon S3 Transfer Acceleration соответствует требованиям HIPAA. Если вы заключили с AWS договор делового партнерства (BAA), можно использовать Amazon S3 Transfer Acceleration для быстрой, простой и безопасной передачи файлов, включая закрытую медицинскую информацию (PHI), на большие расстояния между клиентом и корзиной Amazon S3.

Подробнее о соответствии требованиям HIPAA »

Безопасность

Вопрос: Насколько безопасно хранить данные в Amazon S3?    

Amazon S3 безопасен по умолчанию. Сразу после создания корзин Amazon S3 доступ к ним имеет только владелец. Он же полностью контролирует доступ других пользователей. Amazon S3 поддерживает аутентификацию пользователей для управления доступом к данным. Можно использовать механизмы управления доступом, такие как политики управления корзинами, для выборочного предоставления разрешений пользователям и группам пользователей. Консоль Amazon S3 выделяет общедоступные корзины, указывает на источник общедоступности, а также предупреждает пользователя, если производимые изменения в политиках и списке контроля доступа корзины сделают эту корзину общедоступной. Необходимо включить Block Public Access для всех учетных записей и корзин, которые не должны быть общедоступными. 

Существует также возможность загружать данные в сервис Amazon S3 и из него в безопасном режиме через адреса SSL, используя протокол HTTPS. Если требуется дополнительная безопасность, можно использовать вариант шифрования на стороне сервера (SSE) для шифрования данных при хранении. Корзины Amazon S3 можно настроить на автоматическое шифрование объектов перед сохранением, если входящие запросы на хранение не предоставляют никакой информации о шифровании. Кроме того, можно использовать собственные библиотеки шифрования для шифрования данных перед их передачей на хранение в Amazon S3.

Дополнительные сведения о безопасности в AWS см. на странице по безопасности AWS, а сведения о безопасности в S3 − на странице по безопасности S3 или в руководстве с рекомендациями по безопасности S3.

Вопрос. Как управлять доступом к своим данным, хранимым в Amazon S3?

У клиентов есть несколько способов управления доступом к ресурсам Amazon S3, включая политики AWS Identity and Access Management (IAM), политики корзины и точек доступа, списки контроля доступа, аутентификацию строки запроса, политики адресов Amazon Virtual Private Cloud (Amazon VPC), политики управления сервисами (SCP) в AWS Organizations и блокирование публичного доступа к Amazon S3

IAM
Сервис IAM позволяет организациям с большим штатом сотрудников создавать данные многочисленных пользователей и управлять этими данными, используя единый аккаунт AWS. С помощью политик IAM можно предоставлять пользователям IAM средства точного управления корзинами и объектами Amazon S3, в то же время также сохраняя за собой полный контроль над всем, что делают пользователи. 

Политики на уровне корзины и точки доступа
С помощью политик на уровне корзин и политик точек доступа можно определить правила, которые применяются в целом ко всем запросам на ресурсы в Amazon S3, например предоставление прав на запись на подгруппу ресурсов в Amazon S3. Клиенты также могут ограничить доступ на основании типа запроса, например источник ссылки HTTP или IP-адрес. 

ACL
Amazon S3 поддерживает наш оригинальный метод управления доступом – списки контроля доступа (ACL). С помощью ACL клиенты могут предоставлять определенные разрешения (т.е. READ, WRITE, FULL_CONTROL) определенным пользователям на отдельную корзину или объект. Клиентам, которые предпочитают использовать только политики контроля доступа, Amazon S3 предлагает функцию Object Ownership для отключения ACL. 

Аутентификация строки запроса
С помощью аутентификации строки запроса можно создавать URL-адрес объекта Amazon S3, действующий только в течение ограниченного времени. Подробнее о различных политиках управления доступом к Amazon S3 см. в теме
Контроль доступа Руководства разработчика Amazon S3.

Amazon VPC
При создании адреса Amazon VPC пользователи могут подключить политику адреса, чтобы контролировать доступ к используемым ресурсам Amazon S3. Управлять доступом к корзинам с определенных адресов или VPC можно также с помощью политики корзины Amazon S3.

Политики управления сервисами
Политики управления сервисами (SCP) – это вид политики AWS Organizations, с помощью которой пользователи могут контролировать разрешения в рамках собственной организации. SCP позволяет централизованно управлять наибольшим количеством разрешений для всех аккаунтов организации. SCP гарантирует, что аккаунты пользователей соответствуют нормативам организации по контролю доступа.

Блокирование публичного доступа к S3
Блокирование публичного доступа к Amazon S3 позволяет настраивать адреса, корзины и аккаунты и контролировать публичный доступ к ресурсам Amazon S3. Благодаря блокированию общего доступа к S3 администраторы аккаунтов и владельцы корзин могут с легкостью задавать централизованные средства управления и ограничивать публичный доступ к ресурсам Amazon S3, вне зависимости от способа их создания.

Подробнее о политиках и разрешениях см. в Руководстве пользователя AWS IAM.

Вопрос: Поддерживает ли Amazon S3 аудит доступа к данным?

Да. При необходимости можно настроить корзину Amazon S3 так, чтобы все запросы к ней фиксировались в журнале доступа. Кроме того, если требуется записывать в журналы информацию сервиса IAM и идентификации пользователей, можно настроить AWS CloudTrail для регистрации событий, связанных с данными.

Записи в журналах доступа можно использовать в целях аудита. В них могут фиксироваться такие сведения о запросе, как тип запроса, ресурсы, указанные в запросе, а также время и дата обработки запроса.

Вопрос: Какие возможности существуют для шифрования данных, хранимых в Amazon S3?

Можно выбрать механизм шифрования данных с помощью SSE-S3, SSE-C, SSE-KMS или клиентской библиотеки, например Amazon S3 Encryption Client. Все четыре метода позволяют хранить зашифрованные данные в покое в Amazon S3.

SSE-S3 предоставляет комплексное решение, в котором Amazon берет на себя управление ключами и их защиту с использованием несколько уровней безопасности. Если вы предпочитаете, чтобы Amazon управлял вашими ключами, рекомендуем выбрать SSE-S3.

SSE-C позволяет Amazon S3 выполнять шифрование и расшифровку объектов, сохраняя при этом контроль над используемыми для шифрования объектов ключами. При использовании SSE-C отпадает необходимость во внедрении или использовании клиентской версии библиотеки для шифрования и расшифровки хранимых в Amazon S3 объектов, но вам нужно будет управлять ключами, посылаемыми в Amazon S3 для шифрования и расшифровки объектов. Используйте SSE-C, если вы предпочитаете поддерживать свои собственные ключи шифрования, но не желаете внедрять или использовать клиентскую версию библиотеки шифрования.

SSE-KMS позволяет AWS Key Management Service (AWS KMS) управлять ключами шифрования. Использование AWS KMS для управления ключами имеет несколько дополнительных преимуществ. AWS KMS применяет отдельные разрешения на использование ключа KMS, обеспечивая таким образом дополнительный уровень контроля, а также защиту от несанкционированного доступа к хранилищу ваших объектов в Amazon S3. AWS KMS предоставляет аудит с информацией о том, кто и когда использовал ваш ключ и к какому объекту, а также о безуспешных попытках пользователей, не имеющих прав на расшифровку данных, получить к ним доступ. Кроме того, AWS KMS предоставляет клиенту дополнительные элементы управления безопасностью для соответствия таким требованиям отрасли, как PCI-DSS, HIPAA/HITECH и FedRAMP.

Используя клиентскую библиотеку шифрования, например Amazon S3 Encryption Client, вы сохраняете контроль над ключами и завершаете шифрование и расшифровку объектов клиентом с помощью выбираемой вами библиотеки шифрования. Некоторые клиенты предпочитают иметь полный контроль над шифрованием и расшифровкой объектов; таким образом, только зашифрованные объекты передаются через Интернет в Amazon S3. Используйте клиентскую библиотеку шифрования, если вы предпочитаете сохранить контроль над своими ключами шифрования, можете внедрить или использовать клиентскую версию библиотеки шифрования и вам необходимо, чтобы объекты были зашифрованы перед доставкой на хранение в Amazon S3.

Дополнительную информацию о работе с Amazon S3 SSE-S3, SSE-C или SSE-KMS см. в теме Использование шифрования Руководства разработчика Amazon S3.

Вопрос. Можно ли соблюдать требования правил ЕС для конфиденциальных данных, используя Amazon S3?

Сервис предоставляет возможность хранить все данные в ЕС, выбрав регион ЕС (Франкфурт), ЕС (Ирландия), ЕС (Лондон) или ЕС (Париж). Кроме того, вы можете использовать S3 on Outposts для хранения всех данных на локальной основе в Outpost, а также у вас есть возможность переместить данные из одного экземпляра Outposts в другой либо в регион AWS. Ответственность за выполнение законов ЕС о конфиденциальности данных лежит на вас. Подробнее см. на странице центра GDPR на AWS. Если у вас есть более специфические требования к расположению данных либо вы должны выполнять некоторые альтернативные нормы конфиденциальности данных, для чего необходимо хранить данные в таком расположении, для которого не подходят регионы AWS, вы можете использовать S3 on Outposts.

Вопрос. Что такое адрес Amazon VPC для Amazon S3?

Адрес Amazon VPC для Amazon S3 представляет собой логический объект в облаке VPC, который поддерживает связь с S3 по глобальной сети Amazon. Существует два типа адресов VPC для S3: шлюзный и интерфейсный. Шлюзные адреса являются шлюзом, который вы указываете в таблице маршрутизации для получения доступа к S3 из VPC по сети Amazon. Интерфейсные адреса расширяют функциональность шлюзных адресов путем использования частных IP-адресов для маршрутизации запросов к S3 из VPC, локальных сетей или других регионов AWS. Дополнительные сведения см. в документации.

Вопрос. Можно ли предоставить доступ к корзине Amazon S3 для определенного адреса Amazon VPC?

С помощью политик Amazon S3 можно ограничить доступ к корзине из определенной конечной точки Amazon VPC или из набора точек. Теперь в политики корзин S3 добавлена поддержка условия aws:sourceVpce, которое можно использовать для ограничения доступа. Дополнительные сведения и образцы политик см. в разделе Использование адресов VPC.

Вопрос. Что такое AWS PrivateLink для Amazon S3?

AWS PrivateLink для S3 предоставляет частное подключение между Amazon S3 и локальной сетью. Вы можете предоставить интерфейсные адреса VPC для S3 в VPC для подключения локальных приложений непосредственно к S3 по AWS Direct Connect или AWS VPN. Для получения доступа к S3 из локальной сети больше не нужно использовать публичные IP-адреса, изменять правила брандмауэра или настраивать шлюз Интернета. Подробнее см. в документации.

Вопрос. Как начать работу с интерфейсными адресами VPC для S3?

Интерфейсный адрес VPC можно создать с помощью консоли управления AWS VPC, AWS Command Line Interface (AWS CLI), AWS SDK или API. Подробнее см. в документации.

Вопрос. Когда следует использовать шлюзные адреса VPC, а не интерфейсные адреса VPC на основе AWS PrivateLink?

Мы рекомендуем использовать интерфейсные адреса VPC для получения доступа к S3 из локальных сетей или из VPC в другом регионе AWS. Для ресурсов, которые получают доступ к S3 из VPC, расположенного в том же регионе AWS, что и S3, мы рекомендуем использовать шлюзные адреса VPC, поскольку плата за их использование не взимается. Подробнее см. в документации.

Вопрос. Можно ли одновременно использовать интерфейсные и шлюзные адреса для S3 в одном VPC?

Да. Если у вас уже есть шлюзный адрес VPC, создайте интерфейсный адрес VPC и добавьте в клиенты названия необходимых адресов VPC. Например, если идентификатор адреса VPC интерфейсного адреса в регионе Восток США 1 такой: vpce-0fe5b17a0707d6abc-29p5708s, то конкретное имя DNS адреса будет: vpce-0fe5b17a0707d6abc-29p5708s.s3.us-east-1.vpce.amazonaws.com. В таком случае только запросы к конкретному имени адреса VPC будут направляться к S3 через интерфейсные адреса VPC, а все остальные запросы – и далее через шлюзный адрес VPC. Подробнее см. в документации.

Вопрос. Что такое Amazon Macie и как его использовать для обеспечения безопасности данных?

Amazon Macie – это сервис обеспечения безопасности на базе искусственного интеллекта. Он помогает клиентам предотвращать потерю данных путем автоматического обнаружения, классификации и защиты конфиденциальных данных, хранящихся в Amazon S3. Amazon Macie использует машинное обучение для распознавания конфиденциальных данных, таких как персональная информация (PII) или интеллектуальная собственность, определяет их коммерческую ценность и обеспечивает наглядное представление того, где хранятся эти данные, как к ним осуществляется доступ и как они используются в организации клиента. Amazon Macie непрерывно проводит мониторинг действий по доступу к данным для выявления отклонений от нормы и генерирует подробные предупреждения, если обнаруживает риск несанкционированного доступа или неумышленной утечки данных.

Amazon Macie предназначен для защиты от угроз безопасности путем непрерывного контроля за данными для доступа и другими важными данными клиента. Amazon Macie предоставляет автоматизированный, практически не требующий обслуживания способ обнаружения и классификации коммерческих данных клиентов. Он предоставляет элементы управления с помощью созданных по шаблонам функций Lambda, позволяющие отменить доступ или вызвать политику сброса пароля при обнаружении подозрительного поведения систем, несанкционированного доступа к данным сущностей или во время работы сторонних приложений. После создания предупреждения можно использовать Amazon Macie для реагирования на инцидент, используя Amazon CloudWatch Events для быстрого принятия мер по защите данных. Подробнее об этом см. в Руководстве пользователя Amazon Macie.

Вопрос. Что такое IAM Access Analyzer для Amazon S3 и как он работает?

Access Analyzer для S3 – это возможность, которая упрощает управление разрешениями по мере назначения, проверки и уточнения политик для точек доступа и корзин S3. 

Access Analyzer для S3 выполняет мониторинг существующих политик доступа и предоставляет к ресурсам S3 исключительно требуемый доступ. Сервис Access Analyzer для S3 оценивает ваши политики доступа к корзине, а также помогает обнаруживать и оперативно вносить изменения в тех корзинах, доступ к которым не требуется.

Access Analyzer для S3 отправляет вам оповещение при наличии корзины с настройками, разрешающими доступ для всех в Интернете, или корзины, доступной из других аккаунтов AWS. Вы получаете результаты с информацией об источниках и уровне публичного или общего доступа. Например, Access Analyzer для S3 заблаговременно сообщит, если нежелательный доступ для чтения или записи был предоставлен посредством списка контроля доступа или политики корзин. Получив такие результаты, вы сможете немедленно задать или восстановить требуемую политику доступа.

При проверке результатов, указывающих на возможный общий доступ к корзине, можно заблокировать публичный доступ к корзине одним нажатием в консоли S3. Можно также перейти к настройкам разрешений на уровне корзины, чтобы точно указать уровни доступа. В целях аудита результаты работы сервиса Access Analyzer для S3 можно загрузить в виде CSV‑отчета. 

Кроме того, по мере авторизации политик S3 на консоли S3 отображаются предупреждения, ошибки и предложения в разрезе безопасности от IAM Access Analyzer. Консоль автоматически проводит более 100 проверок политик для подтверждения ваших политик. Эти проверки экономят ваше время, а также предоставляют возможность исправить ошибки и применить рекомендации в отношении безопасности.

Дополнительные сведения см. в документации IAM Access Analyzer.

S3 Access Points

Вопрос. Что такое Amazon S3 Access Points?

Сегодня клиенты управляют доступом к своим корзинам S3 с помощью единой политики корзин. Такая политика может контролировать доступ для сотен приложений с разными уровнями разрешений.

Amazon S3 Access Points при любом масштабе упрощает управление доступом к данным для приложений, использующих общие наборы данных в S3. С помощью S3 Access Points можно запросто создавать сотни точек доступа для каждой корзины и по-новому инициализировать доступ к общим наборам данных. Компонент Access Points обеспечивает настраиваемую схему доступа к корзине с помощью уникального имени хоста и политики доступа, которая применяет определенные разрешения и средства контроля сети к любому запросу через точку доступа. Подробнее см. настранице S3 Access Points и в руководстве пользователя.

Вопрос. Зачем использовать точку доступа?

S3 Access Points упрощает управление доступом к данным для вашего приложения, настроенного для общих наборов данных в S3. Больше не нужно управлять единой комплексной политикой корзин с сотнями различных правил разрешений, которые необходимо записывать, читать, отслеживать и проверять. S3 Access Points позволяет создавать для конкретных приложений точки доступа, которые разрешают доступ к общим наборам данных с помощью политик, соответствующих конкретным приложениям.

С помощью Access Points можно разделить большую политику корзин на отдельные политики точек доступа для каждого приложения, которому требуется доступ к общим наборам данных. Это позволяет сосредоточиться на создании правильной политики доступа для приложения и не беспокоиться о нарушениях, вызванных работой других приложений с общими наборами данных. Можно также создать политику управления сервисами (SCP) и сделать обязательным требованием для всех точек доступа получение запросов только из Virtual Private Cloud (VPC). Это позволит защитить данные в частных сетях. 

Вопрос. Как работает S3 Access Points?

Каждый компонент S3 Access Point настраивается с особой политикой для каждого примера использования и приложения, при этом для корзины могут быть предусмотрены сотни точек доступа. Например, можно создать точку доступа к корзине S3, которая предоставляет доступ группам пользователей или приложений к озеру данных. Компонент Access Point поддерживает как одного пользователя или приложение, так и группы пользователей и приложений в рамках одного или нескольких аккаунтов, что позволяет раздельно управлять каждой точкой доступа. 

Каждая точка доступа связана с одной корзиной и содержит средство контроля сетевого источника и средство контроля Block Public Access. Можно создать точку доступа со средством контроля сетевого источника, которое разрешает доступ к хранилищу только из Virtual Private Cloud, логически изолированного раздела облака AWS. Кроме того, существует возможность создать точку доступа и настроить политику доступа для нее так, чтобы разрешить доступ только к объектам с определенными префиксами или с конкретными тегами.

Есть два способа получить данные из общих корзин через точку доступа. Для операций с объектами S3 можно использовать точку доступа ARN вместо имени корзины. Для запросов, требующих имя корзины в стандартном формате S3, можно использовать псевдоним точки доступа. Псевдонимы точек доступа S3 генерируются автоматически и взаимозаменяемы с именами корзин S3 везде, где это имя используется для доступа к данным. Каждый раз при создании точки доступа для корзины, S3 автоматически создает новый псевдоним. Полный список совместимых операций и сервисов AWS см. в документации S3.

Вопрос. Существует ли квота на количество создаваемых точек доступа?

По умолчанию для каждого аккаунта можно создать 1000 точек доступа на регион. В отличие от сегментов S3, жесткого ограничения на количество точек доступа на один аккаунт AWS не существует. Чтобы отправить запрос на увеличение этой квоты, посетите AWS Service Quotas.

Вопрос. Как выполняется авторизация запросов при использовании точки доступа?

Для точек доступа S3 предусмотрена специальная политика точек доступа IAM. Вы записываете политики точек доступа так же, как политику корзин, используя в качестве ресурса ARN точки доступа. В соответствии с политиками точек доступа разрешается или запрещается доступ к данным S3 через точку доступа. Сервис Amazon S3 оценивает все релевантные политики, в том числе те, которые касаются пользователя, корзины, точки доступа, адреса VPC, и политики управления сервисами (SCP), а также списки контроля доступа. На основании оценки он определяет, необходимо ли выполнить авторизацию запроса.

Вопрос. Как записать политики точек доступа?

Можно записать политику точек доступа так же, как и политику корзин, используя правила IAM для управления разрешениями и ARN точки доступа в документе политики.

Вопрос. Чем использование средств контроля сетевого источника в точках доступа отличается от использования политики корзин при получении доступа к VPC?

Вы можете продолжать использовать политики корзин, чтобы ограничить доступ к корзинам, разрешив его только из определенных VPC. Точки доступа обеспечивают более легкий и проверяемый способ разрешить для общего набора данных (всего или части) трафик только из VPC в отношении всех приложений организации с использованием средств контроля API. С помощью политики управления сервисами (SCP) AWS Organizations можно сделать обязательным требованием для любой точки доступа, созданной в организации, установку значения «vpc» для параметра API «network origin control» (средство контроля сетевого источника). После этого любая новая созданная точка доступа автоматически ограничивает доступ к данным, разрешая его только для трафика из VPC. Нет необходимости указывать дополнительную политику доступа, чтобы запросы на получение данных обрабатывались только от указанных VPC.

Вопрос. Можно ли применить политику запрета доступа к данным через Интернет для всех точек доступа в моей организации?

Да. Чтобы применить политику запрета доступа к данным через Интернет для точек доступа в организации, вам нужно для всех точек доступа разрешить доступ только из VPC. Для этого необходимо написать SCP AWS, которая поддерживает только значение «vpc» в параметре «network origin control» (средство контроля сетевого источника) в API «create_access_point()». Если у вас были ранее созданные точки доступа, взаимодействующие с Интернетом, их можно удалить. Вам также потребуется изменить политику корзин для каждой из корзин, чтобы дополнительно ограничить доступ по Интернету непосредственно к этим корзинам с использованием их имен хостов. Поскольку другие сервисы AWS могут напрямую получать доступ к вашей корзине, настройте политику так, чтобы разрешить доступ для нужных сервисов AWS. Примеры выполнения такой задачи показаны в документации к S3.

Вопрос. Как полностью отключить прямой доступ к корзине с использованием имени хоста корзины?

В настоящее время это невозможно, но вы можете подключить политику корзин, которая отклоняет запросы, сделанные без применения точки доступа. Дополнительные сведение приведены в документации к S3.

Вопрос. Можно ли заменить или удалить точку доступа из корзины?

Да. Если удалить точку доступа, доступ к связанной с нею корзине с использованием других точек доступа и имени хоста корзины не будет запрещен.

Вопрос. Какова стоимость Amazon S3 Access Points?

За точки доступа и за корзины, использующие точки доступа, дополнительная плата не взимается. Применяются обычные тарифы на запросы Amazon S3.

Вопрос. Как начать работу с S3 Access Points?

Вы можете начать создавать точки доступа S3 для новых и существующих корзин, используя Консоль управления AWS, интерфейс командной строки AWS (CLI), интерфейс прикладного программирования (API) и клиент комплекта средств разработки ПО AWS (SDK). Подробнее об S3 Access Points см. в руководстве пользователя.

Надежность и защита данных

Вопрос. Насколько надежно хранилище Amazon S3?

Хранилища Amazon S3 Standard, S3 Standard – IA, S3 Intelligent-Tiering, S3 One Zone – IA, S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive обеспечивают надежность хранения объектов на уровне 99,999999999 % (11 девяток) в течение расчетного года. Такой уровень надежности соответствует среднегодовым ожидаемым потерям объектов на уровне 0,000000001 %. Например, при хранении 10 000 000 объектов в Amazon S3 можно в среднем ожидать потерю одного объекта раз в 10 000 лет. Архитектура хранилища S3 on Outposts предназначена для надежного хранения данных с избыточностью сразу на нескольких устройствах и серверах вашего экземпляра Outpost. Кроме того, хранилища Amazon S3 Standard, S3 Standard – IA, S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive обеспечивают защиту данных в случае полного выхода из строя зоны доступности S3.

Как и для любой среды, рекомендуется иметь резервную копию и применять меры безопасности, защищающие от умышленного или случайного удаления. Для данных, хранимых в S3, рекомендации включают настройку безопасных прав доступа, межрегиональную репликацию, управление версиями и регулярно проверяемую резервную копию. 

Вопрос. Каким образом Amazon S3 обеспечивает надежность на уровне 99,999999999 %?

Перед подтверждением успешного выполнения операции хранилища классов Amazon S3 Standard, S3 Standard – IA, S3 Intelligent-Tiering, S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive обеспечивают избыточное сохранение объектов на нескольких устройствах как минимум в трех зонах доступности в пределах региона Amazon S3. Хранилища класса S3 One Zone – IA обеспечивают избыточное сохранение данных на нескольких устройствах в пределах одной зоны доступности. Эти сервисы устойчивы к единовременным сбоям устройств за счет быстрого обнаружения и устранения любых потерь избыточности. Кроме того, они регулярно проверяют целостность данных с помощью контрольных сумм.

Вопрос. Какие контрольные суммы поддерживает Amazon S3 для проверки целостности данных?

Amazon S3 использует сочетание контрольной суммы Content-MD5, алгоритмы безопасного хэширования (SHA) и циклических проверок избыточности (CRC) для проверки целостности данных. Amazon S3 проверяет эти контрольные суммы на данных при хранении и восстанавливает любые повреждения, используя резервную копию данных. Кроме того, S3 вычисляет контрольную сумму всего сетевого трафика для выявления изменений в пакетах данных при хранении или получении данных. Вы можете выбрать один из четырех поддерживаемых алгоритмов контрольных сумм для проверки целостности данных в запросах на передачу и загрузку. В зависимости от потребностей вашего приложения можно выбрать алгоритм контрольных сумм SHA-1, SHA-256, CRC32 или CRC32C. Вы можете автоматически вычислять и проверять контрольные суммы при сохранении или извлечении данных из S3, а также получать информацию о контрольных суммах в любой момент с помощью API S3 GetObjectAttributes или отчета S3 Inventory. Вычисление контрольной суммы при потоковой передаче данных в S3 экономит время, потому что вы можете и проверять, и передавать данные за один проход, а не в ходе двух последовательных операций. Использование контрольных сумм для проверки данных – это рекомендуемая практика обеспечения надежности данных. Такие возможности повышают производительность и сокращают затраты.

Вопрос. Что такое управление версиями?

Функция управления версиями позволяет сохранять, извлекать и восстанавливать любую версию любого объекта, сохраненного в корзине сервиса Amazon S3. После включения функции управления версиями для корзины Amazon S3 будет сохранять существующие объекты каждый раз, когда вы выполняете операцию PUT, POST, COPY или DELETE на них. По умолчанию на запросы GET извлекается последняя записанная версия. Более старые версии перезаписанного или удаленного объекта можно извлечь, указав в запросе номер версии.

Вопрос: Почему следует использовать управление версиями?

Amazon S3 предоставляет клиентам инфраструктуру хранилища с высокой степенью надежности. Управление версиями предлагает дополнительный уровень защиты, предоставляя механизм восстановления, когда клиенты случайно переписывают или удаляют объекты. Эта функция позволяет легко восстанавливать систему после непреднамеренных действий пользователей и сбоев приложений. Управление версиями можно также использовать для хранения данных и архивирования.

Вопрос: Как начать использовать управление версиями?

Для начала использования управления версиями необходимо включить параметр настройки корзины Amazon S3. Дополнительные сведения о включении функции управления версиями см. в технической документации по Amazon S3.

Вопрос: Как управление версиями предохраняет меня от случайного удаления объектов?

Когда пользователь выполняет операцию DELETE на объекте, последующие простые (без использования управления версиями) запросы уже не смогут извлекать объект. Однако все версии этого объекта будут по-прежнему сохраняться в корзине Amazon S3 и могут быть извлечены или восстановлены. Только владелец корзины Amazon S3 может окончательно удалить версию. Можно установить правила управления жизненным циклом для управления сроками хранения и расходами на хранение нескольких версий объектов.

Вопрос. Можно ли завести специальную корзину или настроить для объектов Amazon S3 период отката для восстановления после удаления и перезаписи?

Для реализации периода отката для объектов в S3 можно использовать правила управления жизненным циклом Amazon S3 в сочетании с управлением версиями S3. Например, для корзины с включенным управлением версиями можно установить правило, которое архивирует все предыдущие версии в более экономичный класс хранилища S3 Glacier Flexible Retrieval и удаляет их через 100 дней, что обеспечит 100-дневный период отката любых изменений данных и поможет снизить расходы на хранилище. Кроме того, вы можете экономить, удаляя устаревшие (не текущие) версии объекта по истечении пяти дней при наличии как минимум двух новых версий объекта. Количество дней или более новых версий можно менять в зависимости от требуемой оптимизации затрат. Это позволяет при необходимости сохранять дополнительные версии объектов, но сокращает расходы за счет их перемещения или удаления через определенные промежутки времени.

Вопрос: Как обеспечить максимальную защиту сохраненных версий?

Для обеспечения дополнительного уровня безопасности можно использовать в системе управления версиями Multi-Factor Authentication (MFA) для выполнения удаления. По умолчанию все запросы к вашей корзине Amazon S3 требуют подтверждения ваших прав доступа к аккаунту AWS. Если на корзине Amazon S3 включено управление версиями с функцией MFA Delete, для окончательного удаления версии объекта требуются два этапа аутентификации: права доступа к аккаунту AWS и действительный шестизначный код и серийный номер устройства аутентификации, находящегося в ваших руках. Дополнительную информацию о включении функции управления версиями с MFA Delete, включая приобретение и активацию устройства аутентификации, см. в технической документации по Amazon S3.

Вопрос: Как оплачивается управление версиями?

Каждая помещаемая на хранение или запрашиваемая версия объекта оплачивается по обычным тарифам Amazon S3. Например, рассмотрим следующий сценарий для иллюстрации стоимости хранилища при использовании функции управления версиями (предположим, что в текущем месяце 31 день):

1) 1-й день месяца: вы выполняете операцию PUT в 4 ГБ (4 294 967 296 байт) в своей корзине.
2) 16-й день месяца: вы выполняете операцию PUT в 5 ГБ (5 368 709 120 байт) в той же корзине, используя тот же ключ, что и при первой операции PUT в 1-й день.

Анализируя затраты на хранилище при вышеуказанных операциях, обратите внимание, что объект в 4 ГБ с 1-го дня не удаляется из корзины, когда объект в 5 ГБ записывается на 15-й день. Вместо этого объект в 4 ГБ сохраняется как более старая версия, а объект в 5 ГБ становится последней записанной версией объекта в корзине. В конце месяца:

Всего использованных Байт-Часов
[4 294 967 296 байт x 31 день x (24 часа / день)] + [5 368 709 120 байт x 16 дней x (24 часа / день)] = 5 257 039 970 304 Байт-Часов.

Переводя в ГБ-Месяцы:
5 257 039 970 304 байт-часа x (1 ГБ / 1 073 741 824 байт) x (1 месяц / 744 часа) = 6,581 ГБ-месяца

Стоимость вычисляется с учетом текущего тарифа для конкретного региона, указанного на странице цен на Amazon S3.

Классы хранилищ

Вопрос. Что такое классы хранилищ Amazon S3?

Amazon S3 предоставляет целый спектр классов хранилищ, что позволяет выбрать подходящий, исходя из требований рабочих нагрузок к типу доступа к данным, отказоустойчивости и стоимости. Классы хранилищ S3 отличаются минимальной стоимостью и предназначены для различных шаблонов доступа. Классы хранилищ S3 прекрасно подойдут для стандартных примеров использования, в том числе в случаях, когда необходима высокая производительность, выдвигаются требования к размещению данных, имеются неизвестные или изменчивые шаблоны доступа либо же архивное хранилище. В сумму платежа за класс хранилища S3 входит стоимость хранения данных и доступа к ним. Чтобы оптимизировать расходы и обеспечить минимальную стоимость обработки данных в течение всего срока их службы, при выборе подходящего для рабочей нагрузки класса хранилища S3 необходимо учитывать схемы доступа и период хранения данных.

Классы хранилища S3 можно настроить на уровне объектов, и одна корзина может содержать объекты, хранимые во всех классах хранилищ. С помощью политик жизненного цикла S3 также можно автоматически переносить объекты между классами хранилищ без каких-либо изменений в приложении.

Вопрос. Как выбрать класс хранилища S3?

Чтобы оптимизировать расходы и обеспечить минимальную стоимость обработки данных в течение всего срока их службы, при выборе подходящего для рабочей нагрузки класса хранилища S3 необходимо учитывать схемы доступа и период хранения данных. Схемы доступа во многих рабочих нагрузках носят изменяющийся (пользовательский контент), непредсказуемый (аналитика, озера данных) или неизвестный (новые приложения) характер. Поэтому, чтобы автоматически снижать затраты на хранение, в качестве класса хранилища по умолчанию необходимо использовать уровень S3 Intelligent-Tiering. Если вы знаете схемы доступа к собственным данным, то воспользуйтесь данным руководством. Класс хранилища S3 Standard идеально подходит для часто используемых данных.Это наилучший выбор в том случае, если доступ к данным осуществляется более одного раза в месяц. S3 Standard – Infrequent Access предназначен для данных, которые хранятся не менее месяца и доступ к которым осуществляется раз в месяц или два.

Классы хранилища Amazon S3 Glacier предназначены специально для архивных данных и обеспечивают максимальную производительность, гибкость при извлечении и минимальную стоимость облачного архивного хранилища. Теперь вы можете выбрать любой из трех классов хранилища для архивов, оптимизированных под разные шаблоны доступа и длительность хранения. Для архивных данных, к которым может потребоваться мгновенный доступ (например, в случае с медицинскими изображениями, ресурсами новостных мультимедиа или данными геномных исследований) лучше выбрать архивный класс хранилища S3 Glacier Instant Retrieval, который отличается минимальной стоимостью хранения и возможностью извлечения за несколько миллисекунд. Для архивных данных, к которым не требуется мгновенный доступ, но может потребоваться ситуативный доступ к огромным наборам данных без дополнительных затрат на их извлечение (например, для резервных копий и при аварийном восстановлении), лучше выбрать класс хранилища S3 Glacier Flexible Retrieval (который ранее назывался S3 Glacier), где поддерживается извлечение за несколько минут для небольших объемов и за 5–12 часов для больших пакетов. Чтобы сэкономить еще больше при длительном хранении архивных копий (например, для обеспечения соответствия требованиям или архивов цифровых СМИ), лучше выбрать класс хранилища S3 Glacier Deep Archive, который отличается минимальной стоимостью облачного хранилища и возможностью извлечения данных в пределах 12 часов. Все эти классы хранилищ обеспечивают отказоустойчивость нескольких зон доступности за счет избыточного хранения данных на множестве устройств и в физически разделенных зонах доступности региона AWS.

В том случае, когда требования к отказоустойчивости данных не столь высоки, можно выбрать класс хранилища с одной зоной доступности, например, S3 One Zone – Infrequent Access, и тем самым сократить расходы. Если ваши требования к размещению или задержке данных не могут быть удовлетворены существующими регионами AWS, можно выбрать хранилище класса S3 on Outposts для локального хранения данных.

Подробнее об этих классах хранилищ см. на странице «Классы хранилищ Amazon S3»

S3 Intelligent-Tiering

Вопрос. Что такое S3 Intelligent-Tiering?

S3 Intelligent-Tiering является первым облачным хранилищем, автоматически снижающим стоимость хранения на уровне конкретных объектов путем автоматического перемещения данных на наиболее экономичные уровни доступа исходя из частоты получения доступа к этим данным и без ущерба производительности, платы за извлечение и операционных расходов. S3 Intelligent-Tiering отличается миллисекундной задержкой и высокой пропускной способностью в разрезе данных, к которым часто, нечасто и редко требуется доступ, на уровнях Frequent, Infrequent и Archive Instant Access. За небольшую ежемесячную плату S3 Intelligent-Tiering осуществляет мониторинг схем доступа и автоматически перемещает объекты с одного уровня на другой. За извлечение данных из S3 Intelligent-Tiering плата не взимается, а значит, вы не столкнетесь с неожиданным повышением платежей при изменении схемы доступа.

Можно использовать S3 Intelligent-Tiering как класс хранилища по умолчанию для практически любой рабочей нагрузки, особенно для озер данных, аналитики данных, машинного обучения, новых приложений и созданного пользователями контента.

Вопрос. Как работает хранилище S3 Intelligent-Tiering?

Класс хранилища Amazon S3 Intelligent-Tiering создан для оптимизации расходов на хранение путем автоматического перемещения данных на наиболее экономичный уровень доступа при изменении шаблонов доступа. За небольшую ежемесячную плату за мониторинг и автоматизацию объектов S3 Intelligent-Tiering осуществляет мониторинг шаблонов доступа, автоматически перемещает объекты, к которым не обращались в течение 30 дней подряд, на уровень Infrequent Access и обеспечивает экономию до 40 %. При отсутствии доступа в течение 90 дней подряд объекты перемещаются на уровень Archive Instant Access, что позволяет сэкономить на хранении до 68 %. Данный процесс не влияет на производительность, а за извлечение данных из хранилища S3 Intelligent-Tiering плата не взимается. Если в дальнейшем запрашивается доступ к объекту на уровне Infrequent Access или Archive Instant Access, он автоматически перемещается на уровень Frequent Access.

Если используются данные, доступ к которым можно получать асинхронно, то наиболее низкие тарифы доступны при активации дополнительных возможностей архивирования. После подключения одного или обоих уровней асинхронного доступа к архивным данным S3 Intelligent-Tiering перемещает объекты, доступ к которым не осуществлялся в течение как минимум 90 дней подряд, на уровень Archive Access и экономит до 71 %. Если к объектам не обращались в течение 180 дней, то они перемещаются на уровень Deep Archive Access для редко используемых данных, а экономия в таком случае составляет до 95 %. Если позже требуется получить объект, находящийся на дополнительных уровнях Archive или Deep Access, то он перемещается обратно на уровень Frequent Access, а перед получением восстанавливается с помощью RestoreObject. Подробно о восстановлении архивированных объектов см. в разделе Восстановление архивированных объектов. За извлечение данных из хранилища S3 Intelligent-Tiering плата не взимается. При использовании класса хранилища S3 Intelligent-Tiering дополнительная плата и политика жизненного цикла за перемещение объектов между уровнями доступа и операционные расходы также отсутствуют.

Для хранилища S3 Intelligent-Tiering не задан минимальный размер объекта, однако для объектов меньше 128 КБ автоматическая смена уровней не выполняется. Такие объекты можно сохранять в S3 Intelligent-Tiering, но за них будет взиматься плата по тарифам уровня Frequent Access. Плата за мониторинг и автоматизацию не взимается.

Если необходимо задать уровень S3 Intelligent-Tiering в качестве класса хранилища по умолчанию для вновь созданных данных, можно внести изменения в приложения, указав INTELLIGENT-TIERING в заголовке запроса API PUT S3. S3 Intelligent-Tiering спроектирован для того, чтобы предлагать доступность на уровне 99,9 % и надежность на уровне 99,999999999 %, а также по умолчанию обеспечивает низкую задержку и высокую пропускную способность хранилища S3 Standard. Чтобы посчитать дополнительную экономию от использования уровня Archive Instant Access, воспользуйтесь AWS Cost Explorer.

Вопрос. В каких случаях следует использовать хранилище S3 Intelligent-Tiering?

Можно использовать S3 Intelligent-Tiering как класс хранилища по умолчанию для практически любой рабочей нагрузки, особенно для озер данных, аналитики данных, машинного обучения, новых приложений и созданного пользователями контента. S3 Intelligent-Tiering является первым облачным хранилищем, автоматически снижающим стоимость хранения на уровне конкретных объектов путем автоматического перемещения данных на наиболее экономичные уровни доступа исходя из частоты получения доступа к этим данным и без ущерба производительности, платы за извлечение и операционных расходов. Если схемы доступа ваших данных, включая озера данных, аналитику данных и новые приложения, неизвестны или меняются, мы рекомендуем использовать S3 Intelligent-Tiering. При работе с данными, не требующими немедленного извлечения, доступ к которым течение продолжительного времени осуществляется редко, рекомендуется активировать уровень Deep Archive Access, на котором оплата составляет всего 1 USD за ТБ в месяц. Хранилище S3 Intelligent‑Tiering предназначено для данных с неизвестной или меняющейся схемой доступа. При использовании класса хранилища S3 Intelligent-Tiering плата за извлечение данных не взимается.

Вопрос. Какую производительность обеспечивает хранилище S3 Intelligent-Tiering?

S3 Intelligent-Tiering автоматически оптимизирует затраты на хранение без ущерба для производительности. Уровни S3 Intelligent-Tiering Frequent, Infrequent и Archive Instant Access предлагают миллисекундную задержку и высокую пропускную способность.

Вопрос. Какую производительность обеспечивают дополнительные уровни Archive Access и Deep Archive Access?

При работе с данными с асинхронным доступом уровень Archive Access имеет ту же производительность, что и хранилище класса S3 Glacier Flexible Retrieval, а уровень Deep Archive Access – ту же производительность, что и хранилище класса S3 Glacier Deep Archive. Функцию асинхронного архивирования следует использовать только в том случае, если приложение может ждать от нескольких минут до нескольких часов. Если получаемый объект хранится на уровне доступа Archive или Deep Archive, то перед получением объекта сначала необходимо восстановить объект с помощью RestoreObject. Подробно о восстановлении архивированных объектов см. в разделе Восстановление архивированных объектов. Объекты, хранящиеся на уровне для доступа к архиву, перемещаются на уровень для частого доступа через 3–5 часов, а те, что хранятся на уровне для доступа к глубокому архиву, – в течение 12 часов. Если требуется более быстрый доступ к объекту на уровне для доступа к архиву, вы можете заплатить за ускоренное извлечение, выбрав повышенную скорость извлечения на консоли.

Вопрос. Какую надежность и доступность обеспечивает хранилище S3 Intelligent-Tiering?

Хранилище S3 Intelligent-Tiering обеспечивает ту же надежность 99,999999999 %, что и хранилище класса S3 Standard. Хранилище S3 Intelligent-Tiering обеспечивает доступность на уровне 99,9 %, а Соглашение об уровне обслуживания предусматривает компенсацию в том случае, если уровень бесперебойной работы за любой учетный период был ниже согласованного.

Вопрос: Как поместить данные в хранилище S3 Intelligent-Tiering?

Поместить данные в хранилище S3 Intelligent-Tiering можно двумя способами. Можно напрямую отправлять данные методом PUT в хранилище S3 Intelligent-Tiering, указав INTELLIGENT_TIERING в заголовке файла x-amz-storage-class, или задать политики жизненного цикла для перемещения объектов из хранилищ S3 Standard или S3 Standard – IA в S3 INTELLIGENT_TIERING.

Вопрос. Как начисляется оплата за S3 Intelligent-Tiering?

Начисляется ежемесячная плата за хранение, выполнение запросов на получение и передачу данных, находящихся в хранилище S3 Intelligent-Tiering, а также небольшая ежемесячная плата за мониторинг и автоматизацию для каждого объекта. Хранилище класса S3 Intelligent-Tiering автоматически сохраняет объекты на трех уровнях доступа: уровне частого доступа Frequent Access по ценам хранилища S3 Standard, уровне для нечастого доступа Infrequent Access по ценам хранилища S3 Standard-Infrequent Access и уровне Archive Instant Access по ценам хранилища S3 Glacier Instant Retrieval. Кроме того, S3 Intelligent-Tiering имеет два дополнительных уровня для асинхронного доступа к архиву: уровень Archive Access по цене хранилища S3 Glacier Flexible Retrieval и уровень Deep Archive Access по цене хранилища S3 Glacier Deep Archive.

S3 Intelligent-Tiering, взимая небольшую плату за мониторинг и автоматизацию, отслеживает схемы доступа и автоматически перемещает объекты между уровнями доступа с низкой задержкой и высокой пропускной способностью, а также между двумя уровнями асинхронного архивного доступа с самыми низкими тарифами на облачное хранение данных.

Для хранилища S3 Intelligent-Tiering не задан минимальный размер объекта, за хранение которого начисляется оплата, однако для объектов меньше 128 КБ автоматическая смена уровней не выполняется. Эти небольшие объекты не будут контролироваться, но за них будет взиматься плата по тарифам уровня Frequent Access; плата за мониторинг и автоматизацию не взимается. Для каждого объекта, заархивированного на уровне Archive Access или Deep Archive Access в S3 Intelligent-Tiering, Amazon S3 использует 8 КБ хранилища для имени объекта и других метаданных (плата начисляется по тарифам хранилища S3 Standard) и 32 КБ хранилища для индекса и связанных метаданных (плата начисляется по тарифам хранилища S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive).

Вопрос. Взимается ли плата за извлечение данных из S3 Intelligent-Tiering?

Нет. За извлечение данных из хранилища S3 Intelligent-Tiering плата не взимается. S3 Intelligent-Tiering отслеживает схемы доступа к данным и, при обращении к объекту, расположенному на уровнях Infrequent Access, Archive Instant Access или асинхронных архивных уровнях, автоматически перемещает его в Frequent Access.

Вопрос. Как активировать уровни для доступа к архиву хранилища S3 Intelligent-Tiering?

Активировать уровень для доступа к архиву и уровень для доступа к глубокому архиву можно, создав конфигурацию уровня для корзины, префикса или тега объекта с помощью Amazon S3 API, интерфейса командной строки или консоли управления S3. Один или оба уровня для доступа к архиву следует активировать только в том случае, если ваше приложение имеет асинхронный доступ к объектам.

Вопрос. Можно ли продлить время до архивации объектов в хранилище класса S3 Intelligent-Tiering?

Да. Время, которое должно пройти после последнего доступа к объектам в хранилище S3 Intelligent-Tiering перед их архивированием, можно продлить в конфигурации уровня для корзины, префикса или тега объекта. После активации объекты по умолчанию, доступ к которым не осуществлялся в течение как минимум 90 дней подряд, автоматически перемещаются на уровень Archive Access, минуя уровень Archive Instant Access. Объекты, доступ к которым не осуществлялся в течение как минимум 180 дней подряд, автоматически перемещаются на уровень доступа к глубокому архиву. Время, которое по умолчанию должно пройти с момента последнего доступа к объектам в хранилище S3 Intelligent-Tiering перед их автоматическим архивированием, можно продлить до 2 лет максимум.

Вопрос. Как получить доступ к объекту с уровней для доступа к архиву или глубокому архиву в хранилище класса S3 Intelligent-Tiering?

Чтобы получить доступ к объекту на уровнях для доступа к архиву или глубокому архиву, вам необходимо отправить запрос на восстановление, и объект вернется на уровень для частого доступа в том же хранилище класса S3 Intelligent-Tiering. Объекты, хранящиеся на уровне для доступа к архиву, перемещаются на уровень для частого доступа через 3–5 часов, а объекты, хранящиеся на уровне для доступа к глубокому архиву – в течение 12 часов. Когда объект будет перемещен на уровень для частого доступа, вы сможете отправить запрос GET для его извлечения.

Вопрос. Как узнать, на каком уровне доступа хранятся объекты в хранилище S3 Intelligent-Tiering?

Для создания отчетов об уровне доступа к объектам, хранящимся в хранилище класса S3 Intelligent-Tiering, можно воспользоваться Amazon S3 Inventory. Amazon S3 Inventory на ежедневной или еженедельной основе предоставляет выходные файлы CSV, ORC или Parquet, в которых перечислены объекты корзины S3 или объекты с общим префиксом и соответствующие им метаданные. Также можно сделать запрос HEAD для своих объектов и создать отчет об уровнях для доступа к архивам S3 Intelligent-Tiering.

Вопрос: Могут ли объекты перемещаться из хранилища S3 Intelligent-Tiering в хранилище другого класса в рамках жизненного цикла?

Да. Объекты жизненного цикла могут перемещаться из уровней S3 Intelligent-Tiering Frequent Access, Infrequent и Archive Instant Access на уровни S3 One-Zone Infrequent Access, S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive. Кроме того, в рамках жизненного цикла объекты могут переходить из дополнительных уровней архивного доступа S3 Intelligent-Tiering в S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive, а с уровня S3 Intelligent-Tiering Deep Archive Access на уровень S3 Glacier Deep Archive.

Вопрос. Определен ли минимальный срок хранения данных в хранилище S3 Intelligent-Tiering?

Нет. Класс хранилища S3 Intelligent-Tiering не имеет минимального срока хранения.

Вопрос. Существует ли минимальный размер объекта, за хранение которого в хранилище S3 Intelligent-Tiering, начисляется оплата?

Нет. Для хранилища класса S3 Intelligent-Tiering не задан минимальный размер объекта, за хранение которого начисляется оплата, однако для объектов меньше 128 КБ автоматическая смена уровней не выполняется. За более мелкие объекты будет взиматься плата по тарифам уровня Frequent Access; плата за мониторинг и автоматизацию не взимается. Для каждого объекта, заархивированного на переходном уровне Archive Access или Deep Archive Access в S3 Intelligent-Tiering, Amazon S3 использует 8 КБ хранилища для имени объекта и других метаданных (плата начисляется по тарифам хранилища S3 Standard) и 32 КБ хранилища для индекса и связанных метаданных (плата начисляется по тарифам хранилища S3 Glacier и S3 Glacier Deep Archive). Подробные сведения см. на странице цен Amazon S3

S3 Standard

Вопрос: Что такое S3 Standard?

Amazon S3 Standard предлагает надежное хранилище с миллисекундной задержкой доступа и высокой пропускной способностью для данных, доступ к которым осуществляется часто, как правило, более одного раза в месяц. S3 Standard предназначен для таких примеров использования, где важна производительность: озера данных, облачные приложения, динамические веб-сайты, доставка контента, мобильные и игровые приложения, аналитика и модели машинного обучения. S3 Standard обеспечивает доступность на уровне 99,99 % и хранение объектов с надежностью 99,999999999 % в нескольких зонах доступности в течение года. Чтобы обеспечить внимательный контроль за тем, когда данные перемещаются между S3 Standard и более экономичными классами хранения, можно не вносить изменения в приложение, а использовать политики жизненного цикла S3.

Вопрос. В каких случаях следует использовать S3 Standard?

S3 Standard обеспечивает высокую производительность и доступ на уровне миллисекунд, а значит идеально подходит для данных, которые часто используются или изменяются. Кроме того, в рамках S3 Standard не взимается плата за извлечение данных, поэтому его можно использовать в тех случаях, когда осуществляется множество операций чтения или записи. S3 Standard оптимально подходит для различных примеров использования, включая озера данных, облачные приложения, динамические веб‑сайты, распространение контента, мобильные приложения и игры, а также аналитику.

S3 Standard-Infrequent Access (S3 Standard-IA)

Вопрос: Что такое S3 Standard-Infrequent Access?

S3 Standard-Infrequent Access (S3 Standard-IA) – это хранилище Amazon S3 для данных, доступ к которым выполняется относительно редко, но при необходимости должен обеспечиваться быстро. Хранилище S3 Standard – IA обеспечивает такую же высокую надежность, пропускную способность и низкие задержки, как и хранилище класса Amazon S3 Standard, но отличается более низкими ценами за гигабайт сохраняемых и извлекаемых данных. Такое сочетание низкой стоимости и высокой производительности делает хранилище S3 Standard – IA идеальным выбором для долгосрочного хранения данных, резервного копирования, а также хранения данных на случай аварийного восстановления. Класс хранилища S3 Standard – IA устанавливается на уровне объекта и может применяться в одной корзине с классами хранилищ S3 Standard или S3 One Zone – IA, что позволяет автоматически переносить объекты между классами хранилищ с помощью политик жизненного цикла S3 без каких-либо изменений в приложении.

Вопрос: В каких случаях следует использовать S3 Standard – IA?

Класс хранилища S3 Standard – IA является идеальным выбором для хранения данных, доступ к которым осуществляется относительно редко, но при этом должен обеспечиваться быстро. S3 Standard – IA идеально подходит для длительного хранения файлов, для устаревающих данных синхронизации, общих данных или других данных, подверженных устареванию.

Вопрос. Какую производительность обеспечивает хранилище S3 Standard – IA?

S3 Standard – IA обеспечивает те же показатели миллисекундной задержки и высокой пропускной способности, что и хранилище класса S3 Standard. 

Вопрос. Как поместить данные в хранилище S3 Standard – IA?

Поместить данные в хранилище S3 Standard – IA можно двумя способами. Можно непосредственно выполнить для записи в S3 Standard – IA запрос PUT, указав в заголовке запроса x-amz-storage-class значение STANDARD_IA. Как вариант, можно задать политики жизненного цикла для переноса объектов из класса хранилища S3 Standard в S3 Standard – IA.

Вопрос. Какая плата начисляется за изменение класса хранилища объекта с S3 Standard – IA на S3 Standard с помощью запроса COPY?

В этом случае начисляется плата за выполнение запроса COPY хранилищем S3 Standard – IA и за извлечение данных из хранилища S3 Standard – IA.

Вопрос. Предусмотрена ли при использовании S3 Standard – IA плата за минимальный срок хранения?

S3 Standard – IA предназначено для продолжительного хранения и нечастого доступа к данным, которые требуется хранить месяцы и годы. Если данные удаляются из S3 Standard – IA в течение первых 30 дней, плата начисляется за полные 30 дней хранения. Общую информацию о ценах на хранилище S3 Standard – IA см. на странице цен на Amazon S3.

Вопрос: Предусмотрена ли при использовании S3 Standard – IA плата за минимальный размер хранимого объекта?

Хранилище S3 Standard – IA предназначено для крупных объектов, при этом предусмотрена минимальная плата за хранение объектов на уровне 128 КБ. За объекты размером менее 128 КБ будет взиматься плата как за объекты по 128 КБ. Например, за объект размером 6 КБ в хранилище S3 Standard – IA будет взиматься плата за хранение фактических 6 КБ и дополнительных 122 КБ. Общую информацию о ценах на хранилище S3 Standard – IA см. на странице цен на Amazon S3.

Вопрос: Можно ли перемещать объекты из хранилища S3 Standard – IA в хранилище S3 One Zone – IA или S3 Glacier Flexible Retrieval?

Да. Помимо политик жизненного цикла для миграции объектов из хранилища S3 Standard в S3 Standard – IA можно настроить политики жизненного цикла, позволяющие перемещать объекты из хранилища S3 Standard – IA в хранилища классов S3 One Zone – IA, S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive.

Хранилище S3 One Zone-Infrequent Access (S3 One Zone-IA)

Вопрос: Что представляет собой класс хранилища нечастого доступа в одной зоне доступности (S3 One Zone-IA)?

S3 One Zone – IA представляет собой класс хранилища Amazon S3, который можно выбрать для хранения объектов в одной зоне доступности. S3 One Zone – IA обеспечивает избыточное хранение данных в пределах одной зоны доступности и стоит на 20 % дешевле, чем географически избыточное хранилище S3 Standard – IA, обеспечивающее избыточное хранение данных в нескольких географически изолированных зонах доступности.

В соответствии с Соглашением об уровне обслуживания (SLA) хранилище S3 One Zone – IA обеспечивает доступность на уровне 99% и надежность на уровне 99,999999999% в пределах зоны доступности. Однако данные в хранилище класса S3 One Zone – IA не являются устойчивыми к физическому выходу из строя всей зоны доступности.

Хранилище S3 One Zone – IA предоставляет те же возможности Amazon S3, что и хранилища S3 Standard и S3 Standard – IA; его можно использовать посредством API Amazon S3, интерфейса командной строки или консоли сервиса. Класс хранилища S3 One Zone – IA устанавливается на уровне объектов и может применяться в одной корзине с классами хранилищ S3 Standard и S3 Standard – IA. С помощью политик жизненного цикла S3 можно автоматически переносить объекты между классами хранилищ без каких-либо изменений в приложении.

Вопрос: Каковы наиболее подходящие примеры использования хранилища S3 One Zone – IA?

Клиенты могут использовать S3 One Zone – IA в качестве хранилища нечастого доступа для таких данных, как резервные копии, копии для аварийного восстановления, или для других легко восстанавливаемых данных.

Вопрос. Какую производительность обеспечивает хранилище S3 One Zone – IA?

Хранилище S3 One Zone – IA обеспечивает те же показатели задержки и пропускной способности, что и хранилища классов S3 Standard и S3 Standard-Infrequent Access.

Вопрос. Насколько надежно хранилище S3 One Zone – IA?

Класс хранилищ S3 One Zone – IA обеспечивает надежность на уровне 99,999999999 % в пределах зоны доступности. Однако данные в хранилище класса S3 One Zone – IA не являются устойчивыми к потере связи с зоной доступности и ее физическому выходу из строя. Для сравнения: хранилища классов S3 Standard, S3 Intelligent-Tiering, S3 Standard – IA и S3 Glacier спроектированы таким образом, чтобы выдерживать потерю связи с зоной доступности или ее выход из строя. S3 One Zone – IA может обеспечить уровень надежности и доступности, сравнимый с современными физическими ЦОД или выше такового, предоставляя в то же время дополнительные преимущества в виде эластичности хранилища и функциональных возможностей Amazon S3.

Вопрос. Zone в контексте S3 One Zone – IA – это то же самое, что и зона доступности AWS?

Да. Каждый регион AWS представляет собой отдельную географическую область. В каждом регионе имеется несколько изолированных местоположений, называемых зонами доступности. Хранилище класса Amazon S3 One Zone – IA использует одну зону доступности AWS в пределах региона.

Вопрос. Насколько надежно хранилище S3 One Zone – IA защищено от аварийных ситуаций?

В каждой зоне доступности применяются резервные системы электропитания и сети передачи данных. В пределах региона AWS зоны доступности располагаются в различных поймах и сейсмических районах; они отделены друг от друга географически для обеспечения защиты в случае пожара. Хранилища классов S3 Standard и S3 Standard – IA обеспечивают защиту от аварийных ситуаций путем избыточного хранения данных в нескольких зонах доступности. Хранилище S3 One Zone – IA обеспечивает защиту от сбоев оборудования в пределах зоны доступности, не является устойчивым к физическому выходу из строя зоны доступности вследствие серьезных стихийных бедствий, таких как землетрясение или наводнение. Среди вариантов S3 One Zone – IA, S3 Standard и S3 Standard – IA клиенты могут выбрать класс хранилища, который наилучшим образом соответствует требованиям, предъявляемым к надежности и доступности хранилища.

Класс хранилища Amazon S3 Glacier Instant Retrieval

Вопрос. Что такое класс хранилища S3 Glacier Instant Retrieval?

Класс хранилища S3 Glacier Instant Retrieval отличается минимальной стоимостью длительного хранения данных, доступ к которым требуется редко и которые необходимо извлекать за несколько миллисекунд. S3 Glacier Instant Retrieval обеспечивает самый быстрый доступ к архивному хранилищу с той же пропускной способностью и за то же количество миллисекунд, что и классы хранилищ S3 Standard и S3 Standard – IA. S3 Glacier Instant Retrieval обеспечивает надежность хранения данных на уровне 11 девяток (99,999999999 %) и доступность на уровне 99,9 % благодаря использованию избыточного размещения как минимум в трех физически удаленных зонах доступности AWS.

Вопрос. В каких случаях следует использовать S3 Glacier Instant Retrieval?

S3 Glacier Instant Retrieval подходит для работы с данными, доступ к которым осуществляется редко (раз в квартал), но с миллисекундной скоростью. Этот класс хранилища идеален в том случае, когда нужна такая же низкая задержка и высокая пропускная способность, как у S3 Standard – IA, но доступ к данным происходит реже. S3 Glacier Instant Retrieval предлагает низкую стоимость хранения и чуть более высокие тарифы доступа к данным.

Вопрос. Какова доступность и надежность S3 Glacier Instant Retrieval?

S3 Glacier Instant Retrieval, как и S3 Standard – IA, обеспечивает надежность хранения данных на уровне 11 девяток (99,999999999 %) и доступность на уровне 99,99 %. Кроме того, в соответствии с соглашением об уровне обслуживания предоставляет кредиты на услуги сервиса в том случае, если доступность в течение любого платежного периода составляет менее 99 %.

Вопрос. Какую производительность предлагает S3 Glacier Instant Retrieval?

S3 Glacier Instant Retrieval обеспечивает те же показатели миллисекундной задержки и высокой пропускной способности, что и хранилища классов S3 Standard и Standard – IA. В отличие от классов хранилищ S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive, предназначенных для асинхронного доступа, перед обращением к объекту в S3 Glacier Instant Retrieval не нужно отправлять запрос на восстановление.

Вопрос. Как отправить данные в хранилище S3 Glacier Instant Retrieval?

Поместить данные в хранилище S3 Glacier Instant Retrieval можно двумя способами. Можно напрямую отправлять данные методом PUT в хранилище Glacier Instant Retrieval, указав GLACIER_IR в заголовке файла x-amz-storage-class, или задать политики жизненного цикла S3 для перемещения объектов из хранилищ S3 Standard или S3 Standard – IA в S3 Glacier Instant Retrieval.

Вопрос. Предусмотрена ли при использовании Amazon S3 Glacier Instant Retrieval плата за минимальный срок хранения?

S3 Glacier Instant Retrieval предназначен для продолжительного хранения данных с нечастым доступом, хранящихся месяцы и годы. Объекты, архивированные в S3 Glacier Instant Retrieval, хранятся не менее 90 дней. При этом плата за объекты, которые удаляются, перезаписываются или перемещаются до истечения 90 дней, будет взиматься согласно тарифам на хранение, пропорционально оставшимся дням. Подробнее о ценах на Amazon S3 Glacier Instant Retrieval см. на странице цен на Amazon S3.

Вопрос. Предусмотрена ли при использовании Amazon S3 Glacier Instant Retrieval плата за минимальный размер объекта?

Хранилище S3 Glacier Instant Retrieval предназначено для крупных объектов, при этом предусмотрена минимальная плата за хранение объектов размером 128 КБ. За объекты размером менее 128 КБ будет взиматься плата как за объекты по 128 КБ. Например, за объект размером 6 КБ в хранилище S3 Glacier Instant Retrieval будет взиматься плата за хранение фактических 6 КБ и дополнительных 122 КБ. Подробнее о ценах на Amazon S3 Glacier Instant Retrieval см. на странице цен на Amazon S3.

Вопрос. Каким образом начисляется плата за S3 Glacier Instant Retrieval?

S3 Glacier Instant Retrieval взимает ежемесячную плату за хранение, отправку запросов (в зависимости от типа запроса) и извлечение данных. Объем подлежащего оплате за месяц хранилища основан на среднем объеме хранилища, использованном на протяжении месяца и измеряемом в гигабайтах за месяц (ГБ-Месяцах). Плата за запросы начисляется в зависимости от использованных типов запросов, например PUT, COPY и GET. Кроме того, при возврате данных начисляется плата за каждый ГБ. 

Класс хранилища Amazon S3 Glacier Flexible Retrieval (ранее – S3 Glacier)

Вопрос. Что такое класс хранилища S3 Glacier Flexible Retrieval?

Хранилище класса S3 Glacier Flexible Retrieval обеспечивает экономичное хранение, снижая затраты на 10 % (по сравнению с S3 Glacier Instant Retrieval) для архивных данных, доступ к которым требуется 1-2 раза в год в асинхронном режиме, а также предлагает бесплатное пакетное извлечение. Класс хранилища S3 Glacier Flexible Retrieval (ранее – S3 Glacier) прекрасно подойдет для архивных данных, к которым не требуется мгновенный доступ, но может потребоваться ситуативный доступ к огромным наборам данных без дополнительных затрат на их извлечение (например, для резервных копий и при аварийном восстановлении). S3 Glacier Flexible Retrieval предоставляет наиболее гибкий баланс между стоимостью и скоростью доступа, позволяя получать данные за несколько минут или за несколько часов в пакетном режиме. Это идеальное решение для резервного копирования, аварийного восстановления, хранения данных вне предприятия или для других данных, которые нужно иногда получать с задержкой в несколько минут и на хранение которых нет смысла тратить много средств. S3 Glacier Flexible Retrieval обеспечивает надежность хранения данных на уровне 11 девяток (99,999999999 %) и доступность на уровне 99,99 % за год благодаря использованию избыточного размещения в нескольких физически удаленных зонах доступности AWS.

Вопрос. Почему стоит выбрать класс хранилища Amazon S3 Glacier Flexible Retrieval?

Класс хранилища S3 Glacier Flexible Retrieval (ранее – S3 Glacier) прекрасно подойдет для архивных данных, к которым не требуется мгновенный доступ, но может потребоваться ситуативный доступ к огромным наборам данных без дополнительных затрат на их извлечение (например, для резервных копий и при аварийном восстановлении). S3 Glacier Flexible Retrieval предоставляет наиболее гибкий баланс между стоимостью и скоростью доступа, позволяя получать данные за несколько минут или за несколько часов в пакетном режиме. Это идеальное решение для резервного копирования, аварийного восстановления, хранения данных вне предприятия или для других данных, которые нужно иногда получать с задержкой в несколько минут без дополнительных затрат на извлечение.

Вопрос. Как поместить данные в S3 Glacier Flexible Retrieval?

Поместить данные в хранилище S3 Glacier Flexible Retrieval можно двумя способами. Можно непосредственно выполнить запрос PUT для записи в S3 Glacier Flexible Retrieval, указав в заголовке запроса x-amz-storage-class значение GLACIER. Можно также использовать правила жизненного цикла S3 для перемещения объектов из любых классов хранилища S3 для активных данных (S3 Standard, S3 Intelligent-Tiering, S3 Standard − IA, S3 One Zone − IA и S3 Glacier Instant Retrieval) в Amazon S3 Glacier Flexible Retrieval исходя из возраста объектов. Для непосредственного выполнения запроса PUT в Amazon S3 Glacier или создания правил архивирования используйте консоль управления Amazon S3, AWS SDK или API Amazon S3.

Примечание. S3 Glacier Flexible Retrieval (ранее S3 Glacier) также доступен через оригинальные прямые API Glacier и в консоли управления Amazon S3 Glacier. Для более широких возможностей и доступа к полному набору функций S3, включая управление жизненным циклом, S3 Replication, S3 Storage Lens и многое другое, мы рекомендуем использовать для работы S3 Glacier API S3 и консоль управления S3.

Вопрос. Как извлечь объекты, заархивированные в хранилище S3 Glacier Flexible Retrieval? Отправляются ли уведомления после восстановления объекта?

Доступ к архивированным в S3 Glacier Flexible Retrieval объектам осуществляется асинхронно. Для извлечения данных, сохраненных в S3 Glacier Flexible Retrieval, необходимо инициировать запрос на извлечение с помощью API Amazon S3 или консоли Amazon S3. В ходе запроса на извлечение создается временная копия данных в хранилище класса S3 Standard, при этом архивные данные в S3 Glacier Flexible Retrieval остаются неизменными. Временная копия будет храниться в Amazon S3 на протяжении указанного пользователем срока (в днях). После извлечения доступ к временной копии из Amazon S3 можно получить, выполнив запрос GET сервиса Amazon S3 к заархивированному объекту. 

Благодаря уведомлениям о восстановлении теперь можно получать оповещение о событии S3 Event Notification, когда объект успешно восстанавливается из хранилища S3 Glacier Flexible Retrieval и вам становится доступна его временная копия. Владелец корзины (или другие лица, которым политикой IAM предоставлено соответствующее разрешение) может настроить отправку оповещений в Amazon Simple Queue Service (SQS) или Amazon Simple Notification Service (SNS). Оповещения также могут доставляться в AWS Lambda для обработки функцией Lambda.

Вопрос. Сколько времени требуется на извлечение объектов, заархивированных в Amazon S3 Glacier Flexible Retrieval?

Обрабатывая задание на извлечение данных, Amazon S3 сначала извлекает запрошенные данные из S3 Glacier Flexible Retrieval, а затем создает временную копию запрашиваемых данных в Amazon S3. Обычно это занимает несколько минут. Время доступа к запрашиваемым данным зависит от выбранного пользователем варианта извлечения: ускоренное, стандартное или пакетное. При использовании ускоренного извлечения доступ к данным предоставляется обычно в течение 1–5 минут для любых объектов, кроме самых крупных (более 250 МБ). Извлечение объектов по стандартному варианту обычно занимает 3–5 часов. Пакетное извлечение выполняется бесплатно, как правило, за 5–12 часов. Подробнее об опциях S3 Glacier Flexible Retrieval см. раздел Восстановление архивированного объекта в руководстве пользователя S3.

С выделенными единицами емкости класса хранилища S3 Glacier можно внести фиксированный авансовый платеж за определенный месяц, чтобы обеспечить доступ к ресурсам для ускоренного извлечения из S3 Glacier Flexible Retrieval. Вы можете приобрести две единицы выделенной емкости в месяц, чтобы увеличить объем извлекаемых данных. Каждая единица ресурса гарантирует, что каждые пять минут можно выполнить минимум три ускоренных извлечения, и обеспечивает пропускную способность извлечения до 150 МБ/с. Если для вашей рабочей нагрузки требуется высоконадежный, быстрый и предсказуемый доступ к подмножеству данных, следует приобрести выделенные ресурсы извлечения. Без выделенных ресурсов в периоды высокого спроса могут не приниматься запросы на ускоренное извлечение. Если вам при любых обстоятельствах требуется доступ к ускоренному извлечению, мы рекомендуем приобрести выделенные ресурсы извлечения.

Выделенные ресурсы можно приобрести с помощью консоли Amazon S3, REST API для покупки выделенных ресурсов, пакеты AWS SDK или AWS CLI. Срок службы единиц выделенных ресурсов составляет один месяц, начиная с даты и времени покупки. Работа единицы заканчивается в дату окончания, которая наступает точно через месяц во время, аналогичное времени приобретения, и ни секундой больше. Подробные цены на выделенные ресурсы см. на странице цен Amazon S3.

Вопрос. Как рассчитывается стоимость хранилища для объектов Amazon S3, архивируемых в S3 Glacier Flexible Retrieval?

Объем подлежащего оплате за месяц хранилища основан на среднем объеме хранилища, использованном на протяжении месяца и измеряемом в гигабайт – месяцах (ГБ-Месяцах). Amazon S3 рассчитывает размер объектов как объем хранимых данных плюс дополнительные 32 КБ данных в S3 Glacier плюс дополнительные 8 КБ данных в хранилище класса Amazon S3 Standard. S3 Glacier Flexible Retrieval занимает дополнительно 32 КБ данных на каждый объект для своего индекса и метаданных, необходимых для идентификации и извлечения данных. Amazon S3 требует 8 КБ для хранения и поддержания определяемого пользователем имени и метаданных объектов, архивируемых в S3 Glacier Flexible Retrieval. С помощью API LIST сервиса Amazon S3 или отчета S3 Inventory можно получить актуальный список всех имен объектов Amazon S3 в режиме реального времени, в том числе объектов, размещенных в S3 Glacier Flexible Retrieval.

Например, если вы заархивировали 100 000 объектов в 1 ГБ каждый, оплачиваемое хранилище было бы:
1,000032 гигабайта на каждый объект x 100 000 объектов = 100 003,2 гигабайта хранилища S3 Glacier.
0,000008 гигабайт на каждый объект x 100 000 объектов = 0,8 гигабайт хранилища S3 Standard.

Стоимость вычисляется на основе текущего тарифа для конкретного региона AWS, который можно узнать на странице цен на Amazon S3. Примеры расчета цен на Amazon S3 см. на странице вопросов и ответов по выставлению счетов за S3 или воспользуйтесь Калькулятором цен AWS.

Вопрос: Существует ли минимальный срок хранения и минимальная плата за хранение объектов для Amazon S3 Glacier Flexible Retrieval?

Amazon S3 Glacier Flexible Retrieval предназначен для продолжительного хранения для данных нечастого доступа, хранящимся месяцы и годы. Объекты, архивированные в S3, хранятся не менее 90 дней. При этом плата за объекты, которые удаляются, перезаписываются или перемещаются до истечения 90 дней, будет взиматься согласно тарифам на хранение, пропорционально оставшимся дням. Подробнее о ценах на Amazon S3 Glacier Flexible Retrieval см. на странице цен на Amazon S3.

Amazon S3 Glacier Flexible Retrieval использует минимальный оплачиваемый объем 40 КБ для хранения объектов. Можно сохранять и более мелкие объекты, но плата за них будет взиматься как за объекты размером 40 КБ. 

Вопрос. Какова стоимость извлечения данных из Amazon S3 Glacier Flexible Retrieval?

Существует три способа извлечения данных из S3 Glacier Flexible Retrieval: ускоренное, стандартное и пакетное. Для ускоренного и стандартного извлечения установлены тарифы за гигабайт извлекаемых данных и за запрос (т. е. вы платите за запросы к объектам Amazon S3). Плата за пакетное извлечение из S3 Glacier Flexible Retrieval не взимается. Подробную информацию о расценках S3 Glacier по регионам AWS см. на странице цен на Amazon S3.

Вопрос. Предоставляет ли Amazon S3 возможность архивирования объектов в более дешевые варианты хранилища?

Классы хранилища Amazon S3 Glacier предназначены специально для архивных данных и обеспечивают максимальную производительность, гибкость при извлечении и минимальную стоимость облачного архивного хранилища. Теперь вы можете выбрать любой из трех классов хранилища для архивов, оптимизированных под разные шаблоны доступа и длительность хранения. Для архивных данных, к которым может потребоваться мгновенный доступ (например, в случае с медицинскими изображениями, ресурсами новостных мультимедиа или данными геномных исследований) лучше выбрать архивный класс хранилища S3 Glacier Instant Retrieval, который отличается минимальной стоимостью хранения и возможностью извлечения за несколько миллисекунд. Для архивных данных, к которым не требуется мгновенный доступ, но может потребоваться ситуативный доступ к огромным наборам данных без дополнительных затрат на их извлечение (например, для резервных копий и при аварийном восстановлении), лучше выбрать класс хранилища S3 Glacier Flexible Retrieval (который ранее назывался S3 Glacier), где поддерживается извлечение за несколько минут для небольших объемов и за 5–12 часов для больших пакетов. Чтобы сэкономить еще больше при длительном хранении архивных копий (например, для обеспечения соответствия требованиям или архивов цифровых СМИ), лучше выбрать класс хранилища S3 Glacier Deep Archive, который отличается минимальной стоимостью облачного хранилища и возможностью извлечения данных в пределах 12 часов.

Вопрос. Какая серверная инфраструктура используется для хранилищ классов S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive?

Мы предпочитаем говорить об итоговых преимуществах для клиента в отношении производительности, надежности, доступности и безопасности. Однако клиенты часто задают нам этот вопрос. Мы используем ряд технологий, позволяющих нам предлагать клиентам текущие цены. Наши сервисы основаны на распространенных технологиях хранилищ данных. Они реализованы в специально спроектированных системах с оптимальными экономическими характеристиками и работают под управлением собственного программного обеспечения AWS. Максимальная эффективность доступа к классам хранилищ S3 Glacier достигается благодаря оптимизации последовательности ввода‑вывода.

Amazon S3 Glacier Deep Archive

Вопрос. Что такое класс хранилища Amazon S3 Glacier Deep Archive?

S3 Glacier Deep Archive – это класс хранилища Amazon S3, позволяющий использовать надежное и безопасное объектное хранилище для долгосрочного хранения данных, доступ к которым осуществляется один‑два раза в год. S3 Glacier Deep Archive стоит от 0,00099 USD за гигабайт в месяц – менее одной десятой цента, или 1 USD за терабайт в месяц. S3 Glacier Deep Archive представляет собой самое дешевое хранилище в облаке. Сервис обходится существенно дешевле, чем хранение и обслуживание данных в локальных библиотеках магнитных лент или в удаленных архивах.

Вопрос. Каковы наиболее подходящие примеры использования хранилища класса S3 Glacier Deep Archive?

S3 Glacier Deep Archive — это идеальный класс хранилища, обеспечивающий автономную защиту наиболее важных наборов данных вашей компании, или для случаев, когда требуется долгосрочное хранение данных в соответствии с корпоративными, договорными или нормативными требованиями. Клиенты считают S3 Glacier Deep Archive отличным выбором для защиты интеллектуальной собственности, финансовых и медицинских записей, результатов исследований, юридических документов, исследований по сейсморазведке и долгосрочных резервных копий, особенно в отраслях со строгими нормативными требованиями, таких как финансовые услуги, здравоохранение, нефтегазовый и государственный сектор. Кроме того, некоторым организации, например в сфере мультимедиа и развлечений, требуется сохранять резервную копию основной интеллектуальной собственности. Зачастую клиенты, использующие S3 Glacier Deep Archive, могут сократить использование или совсем отказаться от локальных библиотек магнитных лент и локальных служб ленточной архивации.

Вопрос: Чем класс хранения S3 Glacier Deep Archive отличается от классов S3 Glacier Instant Retrieval и S3 Glacier Flexible Retrieval?

S3 Glacier Deep Archive расширяет для вас возможности архивирования данных, позволяя выбрать класс хранилища, оптимальный по стоимости хранения и извлечения данных, а также по времени извлечения. Если требуется быстрый миллисекундный доступ и недорогая архивация данных, выбирайте класс хранения S3 Glacier Instant Retrieval. Для архивных данных, к которым не требуется мгновенный доступ, но может потребоваться ситуативный доступ к огромным наборам данных без дополнительных затрат на их извлечение (например, для резервных копий и при аварийном восстановлении), лучше выбрать класс хранилища S3 Glacier Flexible Retrieval (который ранее назывался S3 Glacier), где поддерживается извлечение за несколько минут для небольших объемов и за 5–12 часов для больших пакетов. Класс S3 Glacier Deep Archive, напротив, предназначен для данных, доступ к которым выполняется редко и с малой степенью вероятности, но для которых требуется долговременное и надежное хранение. S3 Glacier Deep Archive на 75 % дешевле, чем S3 Glacier Flexible Retrieval, и при стандартной скорости извлечения обеспечивает извлечение в течение 12 часов. Вы также можете сократить расходы на извлечение, выбрав «Пакетное извлечение», которое предоставит вам данные в течение 48 часов.

Вопрос. Как начать работу с S3 Glacier Deep Archive?

Самый простой способ хранения данных в S3 Glacier Deep Archive — использование API S3 для прямой загрузки данных. Просто укажите «S3 Glacier Deep Archive» в качестве класса хранилища. Вы можете сделать это с помощью Консоли управления AWS, API REST сервиса S3, AWS SDK или интерфейса командной строки AWS.

Также для начала работы с S3 Glacier Deep Archive можно создать политики переноса данных с помощью S3 Lifecycle, что позволяет определить жизненный цикл вашего объекта и снизить стоимость его хранения. Эти политики переноса объектов в S3 Glacier Deep Archive можно определить по срокам хранения объекта. Вы можете указать политику для всей корзины S3 или для конкретных префиксов. Стоимость переноса данных в рамках жизненного цикла определяется стоимостью загрузки S3 Glacier Deep Archive.

Ленточный шлюз как облачная функция виртуальной ленточной библиотеки AWS Storage Gateway теперь интегрируется в S3 Glacier Deep Archive, позволяя хранить виртуальные долгосрочные резервные копии и ленточные архивы в S3 Glacier Deep Archive, обеспечивая самую низкую стоимость хранения данных в облаке. Для начала работы создайте новую виртуальную ленту с помощью консоли AWS Storage Gateway или API и в качестве цели архивного хранения укажите S3 Glacier Flexible Retrieval или S3 Glacier Deep Archive. Когда приложение резервного копирования извлекает ленту, она архивируется в выбранное целевое хранилище.

Вопрос: Как вы рекомендуете переносить данные из моих существующих ленточных архивов в S3 Glacier Deep Archive?

Есть множество способов переноса данных из существующих ленточных архивов в S3 Glacier Deep Archive. Вы можете воспользоваться ленточным шлюзом AWS для интеграции с существующими приложениями резервного копирования через интерфейс виртуальной ленточной библиотеки (VTL). Этот интерфейс представляет виртуальные ленты для приложения резервного копирования. Их можно использовать для хранения данных в Amazon S3, S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive без дополнительной подготовки.

Также для переноса данных вы можете использовать AWS Snowball или Snowmobile. Snowball и Snowmobile позволяют ускорить перенос терабайтов и петабайтов данных в облако AWS и из него благодаря использованию безопасных физических устройств хранения для перемещения данных. Использование Snowball и Snowmobile решает распространенные проблемы, связанные с передачей больших объемов данных, такие как высокая стоимость, длительность передачи по сети и обеспечение безопасности.

И наконец, вы можете использовать сервис AWS Direct Connect для настройки выделенного сетевого соединения между локальной сетью и платформой AWS. Во многих случаях Direct Connect позволяет снизить затраты, повысить пропускную способность и обеспечить более стабильную работу вашей сети по сравнению с подключением через Интернет.

Вопрос. Как я могу извлечь свои объекты, хранящиеся в S3 Glacier Deep Archive?

Для извлечения данных, хранящихся в S3 Glacier Deep Archive, необходимо инициировать запрос на восстановление с помощью интерфейсов API Amazon S3 или консоли управления Amazon S3. В ходе запроса на восстановление создается временная копия данных в хранилище класса S3 Standard, при этом архивные данные в S3 Glacier Deep Archive остаются неизменными. Временная копия будет храниться в S3 на протяжении указанного пользователем срока (в днях). После извлечения доступ к временной копии из Amazon S3 можно получить, выполнив запрос GET сервиса Amazon S3 к заархивированному объекту.

При восстановлении заархивированного объекта вы можете указать один из следующих параметров в элементе Tier в тексте запроса: уровень по умолчанию Standard позволяет получить доступ к любому из заархивированных объектов в течение 12 часов, а Bulk позволяет недорого извлекать большие объемы (до нескольких петабайтов) данных, и обычно эта задача выполняется в течение 48 часов.

Вопрос: Как начисляется плата за использование хранилища S3 Glacier Deep Archive?

Стоимость хранилища S3 Glacier Deep Archive зависит от объема данных в ГБ, от количества запросов PUT и запросов на изменение жизненного цикла, от объема извлеченных данных в ГБ и от количества запросов на восстановление. Эта модель ценообразования схожа с моделью S3 Glacier Flexible Retrieval. Общую информацию о ценах на S3 Glacier Deep Archive см. на странице цен на Amazon S3.

Вопрос: Как использование S3 Glacier Deep Archive будет отображаться в моем счете AWS и в инструменте управления затратами на AWS?

Использование и стоимость S3 Glacier Deep Archive будет отображаться как отдельная позиция в вашем ежемесячном счете за обслуживание AWS, отдельно от оплаты за использование Amazon S3. Однако если вы используете инструмент управления затратами на AWS, оплата за использование S3 Glacier Deep Archive в подробных ежемесячных отчетах о расходах будет включена в раздел «Расходы и использование Amazon S3», а не выделена в отдельную позицию.

Вопрос. Существует ли минимальный срок хранения и минимальная плата за хранение объектов для S3 Glacier Deep Archive?

S3 Glacier Deep Archive предназначен для долговременных, но редко используемых данных, которые хранятся в течение 7–10 лет и более. Объекты, архивированные в S3 Glacier Deep Archive, хранятся не менее 180 дней. При этом плата за объекты, которые удаляются до истечения 180 дней, будет взиматься согласно тарифам на хранение, пропорционально оставшимся дням. Общую информацию о ценах на S3 Glacier Deep Archive см. на странице цен на Amazon S3.

S3 Glacier Deep Archive использует минимальный оплачиваемый объем 40 КБ для хранения объектов. Можно сохранять и более мелкие объекты, но плата за них будет взиматься как за объекты размером 40 КБ. Общую информацию о ценах на S3 Glacier Deep Archive см. на странице цен на Amazon S3.

 

Вопрос. Как S3 Glacier Deep Archive интегрируется с другими сервисами AWS?

S3 Glacier Deep Archive интегрирован с возможностями Amazon S3, включая назначение тегов объектам S3, политики управления жизненным циклом S3, блокировку объектов S3 и репликацию в S3. Благодаря возможностям управления хранилищем S3 можно использовать одну корзину Amazon S3 для хранения комбинации данных S3 Glacier Deep Archive, S3 Standard, S3 Standard – IA, S3 One Zone – IA и S3 Glacier Flexible Retrieval. Это позволяет администраторам хранилищ принимать решения на основании характера данных и шаблонов доступа к ним. Клиенты могут использовать политики управления жизненным циклом Amazon S3 для автоматического переноса данных в более дешевые классы хранилищ по мере старения данных или на основании политики внутрирегиональной или межрегиональной репликации S3 для репликации данных в тот же или другой регион.

Сервис AWS Storage Gateway объединяет ленточный шлюз с классом хранилища S3 Glacier Deep Archive, позволяя хранить виртуальные ленты в хранилище класса Amazon S3 с наименьшими затратами, что на 75 % снижает ежемесячные расходы на долговременное хранение данных в облаке. С помощью этой функции ленточный шлюз поддерживает архивирование ваших новых виртуальных лент непосредственно в S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive, помогая выполнять требования к резервному копированию, архивированию и восстановлению. Ленточный шлюз помогает перенести резервные ленточные копии в AWS без каких-либо изменений в существующих рабочих процессах резервного копирования. Ленточный шлюз поддерживает большинство ведущих приложений резервного копирования, таких как Veritas, Veeam, Commvault, Dell EMC NetWorker, IBM Spectrum Protect (в ОС Windows) и Microsoft Data Protection Manager.

S3 on Outposts

Вопрос. Что такое Amazon S3 on Outposts?

Amazon S3 on Outposts предоставляет возможности хранения объектов в вашей локальной среде с помощью API S3 и современных возможностей AWS. AWS Outposts – это полностью управляемый сервис, который делает инфраструктуру, сервисы, API и инструменты AWS доступными практически для любого центра обработки данных, колокационного центра или локального объекта. При использовании S3 on Outposts вы можете безопасно обрабатывать и хранить созданные на локальной основе данные клиентов, а затем перемещать их в регион AWS, предоставлять локальный доступ для приложений или хранить данные в своем экземпляре Outpost для компаний, расположенных в местах со специфическими требованиями к размещению данных и (или) относящихся к отраслям с повышенными требованиями к безопасности. Для получения дополнительной информации о S3 on Outposts посетите обзорную страницу.
 

Управление хранилищем

Теги объектов S3

Вопрос. Что такое теги объектов S3?

Теги объектов S3 – это пары ключ-значение, назначаемые объектам S3. Эти пары можно создавать, обновлять и удалять в любое время в течение жизненного цикла объекта. С их помощью можно создавать политики Identity and Access Management (IAM), настраивать политики жизненного цикла сервиса S3, а также настраивать метрики хранилища. Эти теги на уровне объектов могут затем использоваться для управления перемещением данных между хранилищами разных классов и управления объектами, срок действия которых истекает, в фоновом режиме. Добавлять теги можно для новых объектов при их загрузке или для существующих объектов. Для каждого объекта S3 можно добавить до десяти тегов, при этом для добавления тегов объектов можно использовать Консоль управления AWS, API REST, интерфейс командной строки AWS или AWS SDK. 

Дополнительную информацию см. в руководстве пользователя по работе с тегами объектов S3.

Вопрос. Почему следует использовать теги объектов?

Теги объектов – это инструмент, который упрощает управление хранилищем S3. Благодаря наличию возможности создавать, обновлять и удалять теги в любое время в течение всего жизненного цикла объекта можно адаптировать хранилище к любым потребностям бизнеса. С помощью этих тегов можно контролировать доступ к объектам, которым присвоены определенные пары «ключ-значение», что позволяет обеспечить дополнительную защиту конфиденциальных данных, предоставив к ним доступ только выбранной группе или пользователю. С помощью тегов объектов можно также помечать объекты, которые относятся к определенному проекту или бизнес-подразделению. Эти теги можно использовать вместе с политиками жизненного цикла S3 для управления переносом в хранилища других классов (S3 Standard – IA, S3 One Zone – IA, S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval и S3 Glacier Deep Archive) или для выборочной репликации данных S3 между регионами AWS.

Вопрос. Как обновлять теги объектов?

Теги объектов можно изменять в любое время в течение всего жизненного цикла объекта S3. Для обновления тегов объектов можно использовать Консоль управления AWS, API REST, интерфейс командной строки AWS или AWS SDK. Учтите, что все изменения тегов, которые выполняются без использования Консоли управления AWS, выполняются над полным набором тегов. Если у определенного объекта есть пять тегов и необходимо добавить шестой, в запрос следует включить исходные пять тегов.

Вопрос. Какова стоимость тегов объектов?

Плата за теги объектов начисляется по количеству тегов и запросов для их добавления. Плата за запросы, связанные с добавлением и обновлением Тегов объектов, взимается по существующим тарифам на запросы. Подробнее см. на странице цен на Amazon S3.

Вопрос. Как начать работу со Storage Class Analysis?

Чтобы выявить редко запрашиваемые данные, которые можно перенести в хранилище класса S3 Standard-IA, S3 One Zone-IA либо заархивировать в хранилище классов S3 Glacier, можно воспользоваться Консолью управления AWS или API PUT Bucket Analytics сервиса S3 для настройки политик Storage Class Analysis. Для управления метриками Storage Class Analysis, S3 Inventory и S3 CloudWatch требуется перейти на вкладку «Management» (Управление) в консоли S3.

S3 Inventory

Вопрос: Что такое S3 Inventory?

Отчет S3 Inventory предоставляет альтернативу синхронному API Amazon S3 List, позволяющую выполнять задачи по расписанию. Можно настроить S3 Inventory для предоставления выходных данных объектов и соответствующих им метаданных корзины S3 или префикса в формате CSV, ORC или Parquet на ежедневной или еженедельной основе. С помощью S3 Inventory можно упростить и ускорить рабочие бизнес-процессы и задачи обработки больших данных. S3 Inventory можно также использовать для проверки состояния шифрования и репликации объектов на предмет соответствия требованиям бизнеса и применимых нормативных актов. Подробнее см. в руководстве пользователя Amazon S3 Inventory.

Вопрос. Как начать работу с S3 Inventory?

С помощью консоли управления AWS или вызова API PUT Bucket Inventory Configuration можно настроить создание ежедневного или еженедельного отчета по инвентаризации всех объектов в корзине S3 или набора объектов с общим префиксом. При настройке можно указать корзину S3 для сохранения отчета S3 Inventory, формат выходных файлов (CSV, ORC или Parquet), а также определенные метаданные объектов, актуальные для конкретного бизнес-приложения, такие как имя объекта, размер, дата последнего изменения, класс хранилища, идентификатор версии, маркер удаления, метка устаревшей версии, метка многокомпонентной загрузки, состояние репликации или шифрования. S3 Inventory можно использовать для прямой передачи данных в рабочие процессы приложений или в задания по обработке больших данных. Можно также делать запросы к S3 Inventory с использованием стандартного языка SQL с помощью Amazon Athena, Amazon Redshift Spectrum или других инструментов, например Presto, Hive и Spark.

Подробнее см. в руководстве пользователя Amazon S3 Inventory.

Вопрос. Как начисляется плата за использование S3 Inventory?

Цены на S3 Inventory см. на странице цен на Amazon S3. После настройки шифрования с помощью шифрования на стороне сервера KMS будет взиматься плата за шифрование по тарифам сервиса KMS; подробнее см. на странице цен на KMS.

Пакетные операции S3

Вопрос. Что представляют собой пакетные операции S3 Batch Operations?

S3 Batch Operations – это возможность, которую можно использовать для автоматизации выполнения одной операции (например, копирования объекта или выполнения функции AWS Lambda) со многими объектами. С помощью S3 Batch Operations можно путем нескольких нажатий в консоли S3 или одного запроса API внести изменение в миллиарды объектов; при этом не потребуется писать собственный код приложения или запускать вычислительные кластеры для управления хранилищами. Инструмент S3 Batch Operations не только позволяет управлять работой хранилища для множества различных объектов, он также осуществляет повторные попытки, отображает ход выполнения операций, доставляет оповещения, создает отчет о выполнении и отправляет события в AWS CloudTrail для всех операций, проведенных над целевыми объектами. S3 Batch Operations можно использовать из консоли S3 либо с помощью AWS CLI и SDK. 

Подробнее см. на странице S3 Batch Operations или в руководстве пользователя.

Вопрос. Как начать работу с S3 Batch Operations?

Начать работу с S3 Batch Operations можно, используя консоль Amazon S3, интерфейс командной строки AWS (CLI) или пакет средств разработки ПО AWS (SDK) для создания первого задания S3 Batch Operations. Задание S3 Batch Operations состоит из списка объектов, над которыми требуется провести операцию, и типа проводимой операции (см. полный список доступных операций). Начните с выбора отчета S3 Inventory или составления собственного списка объектов для выполнения операций S3 Batch Operations. Отчет S3 Inventory – файл со списком всех объектов, хранящихся в корзине S3 или имеющих определенный префикс. Затем выберите в перечне операций S3, поддерживаемых S3 Batch Operations, нужные вам действия, например замену наборов тегов, изменение ACL, копирование хранилища из одной корзины в другую или инициацию восстановления из S3 Glacier Flexible Retrieval в хранилище класса S3 Standard. Затем можно настроить созданные задания S3 Batch Operations с помощью определенных параметров, таких как значения тегов, участники списка ACL и срок восстановления. Для дополнительной настройки действий хранилища под свои потребности можно написать собственную функцию Lambda и вызывать этот код через S3 Batch Operations.

Когда задание S3 Batch Operations будет создано, S3 Batch Operations обработает список объектов и отправит задание в состояние "ожидание подтверждения", если в этом будет необходимость. После подтверждения сведений задания S3 Batch Operations начнет выполнение указанной операции. Ход выполнения задания можно просматривать программным образом или через консоль S3, можно получать оповещения о выполнении и просматривать отчет о выполнении, в котором приводятся подробные сведения об изменениях в хранилище.

Чтобы больше узнать об S3 Batch Operations, посмотрите обучающие видео и документацию.

S3 Object Lock

Вопрос. Что такое Amazon S3 Object Lock?

Amazon S3 Object Lock – это возможность Amazon S3, которая предотвращает удаление или перезапись версий объектов в течение установленного периода времени. Эта возможность позволяет применять политики хранения в качестве дополнительного уровня защиты данных либо для выполнения нормативных требований. Рабочие нагрузки можно переносить из существующих систем для однократной записи и многократного чтения (WORM) в Amazon S3 и настроить S3 Object Lock на уровне объектов или корзин для предотвращения удаления версий объектов до заданной даты, которую можно определить самостоятельно (Retain Until Date), или продолжать хранение в течение неопределенного срока (Legal Hold Date). Защита S3 Object Lock обеспечивается независимо от класса хранилища, в котором находится версия объекта, а также при переносах из одного класса хранилища в другой в течение жизненного цикла S3. 

S3 Object Lock следует использовать, если на вас распространяются законодательные требования по защите данных по правилам WORM либо если вы хотите использовать дополнительный уровень защиты данных в Amazon S3. S3 Object Lock может помочь в выполнении законодательных требований о том, что данные должны храниться в неизменяемом формате, а также может обеспечить защиту от случайного или злонамеренного удаления данных в Amazon S3.

Дополнительную информацию см. в руководстве пользователя S3 Object Lock.

Вопрос. Как работает сервис Amazon S3 Object Lock?

Amazon S3 Object Lock предотвращает удаление версии объекта в течение заданного периода сохранения либо сохраняет блокировку бессрочно (Legal Hold) пока она не будет снята. С помощью S3 Object Lock гарантируется неизменность версии объекта, пока применяется защита WORM. Защиту WORM можно применить либо путем задания даты Retain Until Date или применения статуса Legal Hold к версии объекта с помощью AWS SDK, CLI, REST API или консоли управления S3. Настройки сохранения можно задать в запросе PUT либо применить к существующему объекту после его создания.

Срок сохранения Retain Until Date определяет период времени, в течение которого версия объекта будет неизменной. После присвоения Retain Until Date объекту эту версию объекта будет невозможно удалить или изменить, пока не пройдет Retain Until Date. Если пользователь попытается удалить объект до даты Retain Until Date, в операции будет отказано.

Кроме того, можно сделать объект неизменным, применив к нему Legal Hold. Legal Hold предотвращает изменение или удаление версии объекта на неопределенный срок до тех пор, пока она не будет удалена явным образом. Для установки и снятия защиты Legal Hold аккаунт AWS должен иметь разрешение на запись для действия PutObjectLegalHold. Legal Hold можно применить к любому объекту в корзине с поддержкой защиты S3 Object Lock, независимо от наличия у этого объекта в текущий момент защиты WORM на какой‑либо срок сохранения.

S3 Object Lock можно настроить в одном из двух режимов. При использовании в режиме Governance аккаунты AWS с определенными разрешениями IAM могут снимать защиту WORM с версии объекта. Если вам требуется большая надежность по неизменности для выполнения законодательных требований, можно использовать режим Compliance. В режиме Compliance защиту WORM не может снять ни один пользователь, в том числе аккаунт root.

Вопрос. Какие сервисы электронных хранилищ AWS можно использовать с учетом нормативных требований к финансовым сервисам?

Для клиентов из сферы финансовых услуг S3 Object Lock обеспечивает дополнительную поддержку брокерской и дилерской деятельности, поскольку эти компании обязаны хранить записи в нестираемом и неперезаписываемом формате в соответствии с нормативными требованиями Правила Комиссии по ценным бумагам и биржам 17a-4(f), Правила Агентства по регулированию деятельности финансовых институтов 4511 или Норматива Комиссии по торговле товарными фьючерсами 1.31. Вы легко можете указать необходимое время хранения записей, чтобы хранить нужные архивы в оригинальной форме в течение указанного срока, а также хранить определенные данные для судебных нужд в течение неограниченного периода (пока соответствующее требование не будет снято).

Вопрос: Какие документы AWS поддерживают требования SEC 17a-4(f)(2)(i) и CFTC 1.31(c) по оповещению регулятора?

Отправьте регулятору или выбранному вами уполномоченному контролирующему органу (DEA) оповещение о намерении использовать сервис Amazon S3 в качестве электронного хранилища, а также экземпляр оценки компании Cohasset. В рамках этих требований AWS не является уполномоченной третьей стороной (D3P). Обязательно выберите D3P и укажите эту информацию в оповещении для своего DEA.

Метрики CloudWatch для S3

Вопрос Как начать работу с метриками CloudWatch для S3?

Можно использовать Консоль управления AWS для включения ежеминутных метрик CloudWatch для запросов для корзины S3 или настройки фильтров для метрик на основании префикса, тега объекта или точки доступа. Кроме того, можно выполнить вызов API PUT Bucket Metrics сервиса S3, чтобы включить и настроить публикацию метрик хранилища S3. Метрики CloudWatch для запросов появятся в CloudWatch через 15 минут после включения. Метрики CloudWatch для запросов по умолчанию выключены для всех корзин, а отчет по ним составляется один раз в день. Подробнее о метриках CloudWatch для Amazon S3

Вопрос. Какие предупреждения можно установить для метрик своего хранилища?

Можно использовать CloudWatch для задания пороговых значений для всех результатов подсчета, таймеров или измерений метрик хранилища и выполнения определенного действия при превышении порогового значения. Например, можно установить пороговое значение, выраженное в процентах, для ответов, содержащих информацию об ошибке с кодом 4xx, и когда значения хотя бы трех точек данных превысят пороговое значение, CloudWatch выдаст предупреждение ответственному специалисту DevOps.

Вопрос. Как начисляется плата за использование метрик CloudWatch для S3?

Метрики CloudWatch для хранилища предоставляются бесплатно. Плата за запросы к метрикам CloudWatch начисляется по тарифам для пользовательских метрик Amazon CloudWatch. Общую информацию о ценах на метрики CloudWatch для S3 см. на странице цен на Amazon CloudWatch.

Управление жизненным циклом S3

Вопрос: Что такое управление жизненным циклом S3?

Функция управления жизненным циклом сервиса S3 предоставляет возможность определить жизненный цикл вашего объекта посредством предопределенной политики и уменьшить стоимость его хранения. Можно настроить политику жизненного цикла для автоматического переноса объектов, размещенных в хранилище класса S3 Standard, в хранилища S3 Standard-IA, S3 One Zone-IA, и/или S3 Glacier в зависимости от срока существования данных. Можно также настроить политики окончания жизненного цикла для автоматического удаления объектов на основе срока их хранения. Можно настроить политику окончания срока многокомпонентной загрузки, прекращающую незавершенные многокомпонентные загрузки на основании их продолжительности.

Дополнительную информацию см. в руководстве пользователя по управлению жизненным циклом S3.

Вопрос. Как создать политику управления жизненным циклом S3?

Создавать политики жизненного цикла и управлять ими можно с помощью Консоли управления AWS, API REST сервиса S3, AWS SDK или интерфейса командной строки AWS. Вы можете определить политику на уровне префикса или корзины.

Вопрос. Как использовать управление жизненным циклом Amazon S3 для снижения затрат на хранилище Amazon S3?

С помощью политик жизненного цикла Amazon S3 можно настроить миграцию объектов из хранилища класса S3 Standard в хранилище S3 Standard – IA, S3 One Zone – IA и/или их архивацию в хранилища классов S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval или S3 Glacier Deep Archive.

Дополнительно можно задать политику жизненного цикла S3 для удаления объектов по истечении определенного периода времени. С помощью такой определяемой правилами автоматизации можно быстро и легко понизить затраты на хранилище, а также сэкономить время. В каждом правиле можно указать префикс, промежуток времени, перенос в хранилище S3 Standard – IA, S3 One Zone – IA, S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval, S3 Glacier Deep Archive, а также окончание срока хранения. Например, можно создать правило, архивирующее в S3 Glacier Flexible Retrieval все объекты с общим префиксом "logs/" через 30 дней после их создания и прекращающее хранение этих объектов после 365 дней с момента их создания.

Можно создать отдельное правило, прекращающее хранение всех объектов с префиксом backups/ через 90 дней с момента их создания. Политики жизненного цикла S3 применяются как к существующим, так и к новым объектам S3, обеспечивая оптимизацию хранилища и максимальную экономию при размещении любых данных в S3 без затрат времени на проверку и перемещение данных вручную.

В рамках правила управления жизненным циклом объектов поле префикса определяет объекты, к которым правило применяется. Для того чтобы применить правило к отдельному объекту, необходимо указать имя ключа. Для того чтобы применить правило к набору объектов, необходимо указать их общий префикс (например, “logs/”). Для удаления объектов можно указать действие переноса (архивацию объектов или окончание срока действия). Укажите время: конкретную дату (например, 31 января 2015 года) или количество дней с момента создания (например, 30 дней), по истечении которого следует выполнять архивацию или удаление объектов. Можно создать несколько правил для разных префиксов.

Вопрос. Какова стоимость использования управления жизненным циклом S3?

За настройку и использование политик управления жизненным циклом плата не взимается. Плата за выполнение запроса на перенос объектов начисляется по количеству объектов, которые начинают соответствовать критериям переноса, указанным в правилах жизненного цикла. Подробную информацию о ценах см. на странице цен на Amazon S3.

Вопрос. Почему стоит использовать политику жизненного цикла S3 для прекращения срока действия незавершенных многокомпонентных загрузок?

Политика жизненного цикла S3, прекращающая незавершенные многокомпонентные загрузки, позволяет сократить расходы за счет ограничения времени хранения данных, загруженных в результате таких многокомпонентных загрузок. Например, если приложение загружает несколько частей многокомпонентного объекта и не подтверждает их запись, плата за хранение этих компонентов все-таки будет взиматься. Соответствующая политика позволяет сократить расходы на хранилище S3 за счет удаления незавершенных многокомпонентных загрузок и связанных с ними данных через определенное количество дней.

Подробнее об использовании жизненного цикла S3 для прекращения срока действия незавершенных многокомпонентных загрузок »

Вопрос. Можно ли настроить оповещения о событиях Amazon S3, чтобы получать уведомления, когда жизненный цикл S3 перемещает или удаляет объекты?

Да, оповещения о событиях Amazon S3 можно настроить так, чтобы получать уведомления, когда жизненный цикл S3 перемещает или удаляет объекты. Например, при удалении или перемещении объектов жизненного цикла S3 в другой класс хранения, можно отправлять оповещения о событиях S3 теме Amazon SNS, очереди Amazon SQS или функции AWS Lambda.

Статистика и аналитика хранения данных

Вопрос. Какие функции доступны для анализа использования моего хранилища в Amazon S3?

С помощью функции S3 Storage Lens пользователь может получить наглядное представление об использовании объектного хранилища, тенденциях активности в масштабах организации, а также практические рекомендации по повышению рентабельности и применению передовых методов защиты данных. S3 Storage Class Analysis позволяет отслеживать шаблоны доступа к объектам, благодаря чему вы можете принять решение о переносе данных в хранилище подходящего класса для оптимизации расходов. Затем эти сведения можно использовать для настройки политики жизненного цикла S3, которая регулирует перенос данных. Amazon S3 Inventory предоставляет отчет об объектах и соответствующих им метаданных корзины S3 или префикса на ежедневной или еженедельной основе. Этот отчет можно использовать для обеспечения потребностям компании, соответствия требованиям и нормативным стандартам путем проверки состояния шифрования и репликации объектов.

Вопрос: Что такое Amazon S3 Storage Lens?

С помощью функции Amazon S3 Storage Lens пользователь может получить наглядное представление об использовании объектного хранилища, тенденциях активности в масштабах организации, а также практические рекомендации по повышению рентабельности и применению передовых методов защиты данных. Storage Lens – это интерактивная панель управления, которая обеспечивает наглядное представление об использовании объектного хранилища и активности в десятках или сотнях аккаунтов в вашей организации. Пользователь также может получить подробную аналитику на уровнях аккаунта, корзины или даже префикса. Среди метрик доступны такие: байты, количество объектов и запросов, а также метрики, детализирующие использование функций S3, например количество зашифрованных объектов и количество маркеров удаления. S3 Storage Lens также предоставляет ситуативные рекомендации относительно снижения затрат на хранение и применения передовых методов защиты данных в десятках или сотнях аккаунтов и корзин.

Дополнительную информацию см. в руководстве пользователя S3 Storage Lens.

Вопрос. Как работает S3 Storage Lens?

S3 Storage Lens ежедневно собирает сведения об использовании хранилища и активности. Эти метрики можно визуализировать на интерактивной панели управления в S3 Storage Lens или экспортировать в файл формата CSV либо Parquet. По умолчанию создается панель управления на уровне аккаунта, но вы можете создавать дополнительные пользовательские панели для всей организации в AWS или конкретного аккаунта, региона или корзины. Во время настройки панели управления можно использовать набор метрик по умолчанию или за дополнительную плату выбрать усовершенствованные метрики и рекомендации. S3 Storage Lens предоставляет на панели управления ситуативные рекомендации с метриками хранилища. Вы можете оптимизировать свое хранилище на основе этих данных.

Вопрос. На какие ключевые вопросы можно ответить, используя метрики S3 Storage Lens?

С помощью панели управления в S3 Storage Lens можно ответить на три основных вопроса о вашем хранилище. В представлении сводных данных можно получить ответы на вопросы, касающиеся общего использования хранилища и тенденций активности. Например: «Насколько быстро увеличивается общее количество байтов, использованных мной, и количество запросов?» В представлении эффективности затрат можно получить ответы на вопросы, касающиеся сокращения расходов на хранение данных. Например: «Могу ли я сократить расходы, сохраняя меньше устаревших версий?» А в представлении защиты данных можно получить ответы на вопросы о безопасности данных. Например: «Защищены ли данные в моем хранилище от случайного или намеренного удаления?» Каждый из этих вопросов является первым слоем запроса, который, вероятно, приведет к более детальному анализу.

Вопрос: Какие метрики доступны в S3 Storage Lens?

В S3 Storage Lens доступно более 30 метрик, сгруппированных по метрикам использования (изменяются на основе ежедневных снимков состояния объектов в аккаунте) и метрикам активности (отслеживают извлеченные запросы и байты). Эти метрики разделены на три основные категории: сводные данные, эффективность затрат и защита данных. Кроме того, соединив между собой несколько основных метрик, можно получить производные метрики. Например: метрику скорости извлечения данных можно рассчитать, разделив количество загруженных байтов на общее количество байтов. С исчерпывающим списком метрик можно ознакомиться в документации S3 Storage Lens.

Вопрос. Что я могу настроить в панели управления?

По умолчанию настраивается панель управления для всего аккаунта, но вы можете создавать дополнительные пользовательские панели для всей организации в AWS, конкретного региона или корзины в аккаунте. Можно создавать несколько пользовательских панелей управления. Это полезно, если вам нужно разделить анализ хранилища на логические сегменты, например сегментирование на корзины, которые представляют разные внутренние команды. По умолчанию в вашей панели управления используются бесплатные метрики S3 Storage Lens, но вы также можете повысить уровень и получить усовершенствованные метрики и рекомендации S3 Storage Lens. Помимо этого, для каждой панели управления вы можете настроить экспорт метрик, указав целевую корзину и тип шифрования.

Вопрос. Сколько исторических данных доступно в S3 Storage Lens?

Бесплатные метрики Storage Lens, отображаемые на интерактивной панели управления, включают исторические данные за 14 дней, тогда как усовершенствованные метрики и рекомендации – за 15 месяцев. Для дополнительного экспорта метрик можно настроить любой срок хранения. Взимается плата за стандартное хранилище S3.

Вопрос. Как оплачивается использование S3 Storage Lens?

В S3 Storage Lens доступно два уровня метрик. Бесплатные метрики доступны для всех клиентов, и за них не взимается дополнительная плата. Сведения о ценах на усовершенствованные метрики и рекомендации в S3 Storage Lens доступны на странице с ценами на S3. С бесплатными метриками S3 Storage Lens вы получаете метрики использования на уровне корзины и можете просматривать на панели инструментов исторические данные за 14 дней. С усовершенствованными метриками и рекомендациями в S3 Storage Lens вы получаете метрики использования на уровне префикса, метрики активности и рекомендации, а также можете просматривать на панели инструментов исторические данные за 15 месяцев.

Вопрос. В чем разница между S3 Storage Lens и S3 Inventory?

S3 Inventory предоставляет список ваших объектов и соответствующие им метаданные корзины S3 или общего префикса, которые можно использовать для выполнения анализа вашего хранилища на уровне объекта. S3 Storage Lens предоставляет метрики, сгруппированные по уровням организации, аккаунта, региона, класса хранилища, корзины и префикса, которые повышают наглядность состояния вашего хранилища на всех уровнях организации.

Вопрос. В чем заключается разница между S3 Storage Lens и S3 Storage Class Analysis (SCA)?

S3 Storage Class Analysis предоставляет рекомендации относительно оптимального класса хранилища путем создания возрастных групп объектов на основе шаблонов доступа на уровне объекта в конкретных корзине/префиксе/теге за прошедшие 30–90 дней. S3 Storage Lens предоставляет ежедневные рекомендации на уровне организации относительно повышения рентабельности и применения передовых методов защиты данных, а также дополнительные более подробные рекомендации на уровнях аккаунта, региона, класса хранилища, корзины или префикса.  

Storage Class Analysis

Вопрос. Что представляет собой Storage Class Analysis?

С помощью Storage Class Analysis можно проанализировать картину доступа к хранилищу для выбора его оптимального класса. Эта возможность S3 автоматически выявляет данные, к которым редко обращаются, и помогает перенести их в хранилище S3 Standard – IA. Политика Storage Class Analysis позволяет выполнять мониторинг всей корзины либо объектов с определенным префиксом/тегом. После выявления данных, к которым редко обращаются, можно просто создать новую политику S3 для управления жизненным циклом объектов на основании полученных результатов. Storage Class Analysis также обеспечивает ежедневное визуальное представление данных об использовании хранилища в Консоли управления AWS. Кроме того, соответствующие данные можно экспортировать в корзину S3 для последующего анализа с помощью удобных инструментов бизнес-аналитики, например Amazon QuickSight.

Узнать подробнее о возможностях S3 Storage Class Analysis и начать работу с ними можно с помощьюруководства пользователя.

Вопрос. Как часто обновляются данные Storage Class Analysis?

Данные Storage Class Analysis в консоли управления S3 обновляются ежедневно, но первые рекомендации по смене класса хранения предоставляются через 30 дней.

Запросы к данным без извлечения

Вопрос: Что представляет собой возможность запросов к данным без извлечения?

Amazon S3 предоставляет клиентам возможность запуска сложных запросов к хранящимся данным без необходимости их перемещения на отдельную аналитическую платформу. Возможность выполнения запроса к данным без извлечения в Amazon S3 может существенно повысить производительность и снизить стоимость аналитических решений, использующих S3 в качестве озера данных. S3 предлагает разнообразные варианты выполнения запросов к данным без извлечения, в том числе посредством S3 Select, Amazon Athena и Amazon Redshift Spectrum. Можно выбрать вариант, который лучше всего подходит для конкретного примера использования. Amazon S3 Select можно использовать вместе с AWS Lambda для создания бессерверных приложений, использующих возможности обработки на месте на базе S3 Select.

Вопрос: Что такое S3 Select?

S3 Select – это одна из возможностей Amazon S3. Она позволяет извлекать конкретные данные из содержимого объекта с помощью простых SQL-выражений, не извлекая при этом весь объект. S3 Select упрощает работу и способен до 400 % увеличить производительность сканирования за счет фильтрации содержимого объектов в меньший по размеру и целевым образом заданный набор данных. С помощью S3 Select можно также выполнять рабочий анализ файлов журналов в Amazon S3 без запуска вычислительного кластера или управления им. 

Используйте S3 Select для извлечения подмножества данных с помощью классов SQL, таких как SELECT и WHERE, из объектов, хранимых в формате CSV, JSON или Apache Parquet. Такой же подход работает и с объектами, сжатие которых выполняется с помощью GZIP или BZIP2 (только для объектов CSV и JSON), а также для объектов с шифрованием на стороне сервера.

При совместном использовании S3 Select и AWS Lambda можно создавать бессерверные приложения, в которых данные из Amazon S3 будут просто и эффективно извлекаться с помощью S3 Select, а не путем извлечения и обработки целого объекта. Кроме того, S3 Select можно использовать вместе с инфраструктурами обработки больших данных – Presto, Apache Hive, Apache Spark – для сканирования и фильтрации данных в Amazon S3.

Дополнительную информацию см. в руководстве пользователя S3 Select.

Вопрос. Что такое Amazon Athena?

Amazon Athena – это сервис интерактивных запросов, позволяющий анализировать данные в Amazon S3 с помощью стандартных SQL-запросов. Athena – бессерверный сервис, здесь нет инфраструктуры, требующей настройки или управления, поэтому можно сразу же приступить к анализу данных. Не нужно даже загружать данные в Athena, поскольку сервис работает непосредственно с данными, размещенными в хранилище S3 любого класса. Чтобы начать, просто войдите в Консоль управления Athena, задайте свою схему и приступайте к выполнению запросов. Сервис Amazon Athena использует Presto с полной поддержкой стандартных запросов SQL и работает с различными стандартными форматами данных, включая CSV, JSON, ORC и Apache Parquet и Avro. Athena идеально подходит для быстрого выполнения спонтанных запросов, просто интегрируется с Amazon QuickSight, обеспечивая удобную визуализацию, а также может выполнять сложные задачи анализа с использованием масштабных операций объединения, оконных функций и массивов.

Вопрос. Что такое Amazon Redshift Spectrum?

Amazon Redshift Spectrum – это возможность сервиса Amazon Redshift, которая позволяет выполнять запросы к эксабайтам неструктурированных данных в Amazon S3 без загрузки или выполнения ETL-операций. При отправке запроса он поступает на SQL-сервер Amazon Redshift, который генерирует и оптимизирует план запроса. Amazon Redshift определяет, какие данные являются локальными, а какие находятся в Amazon S3, генерирует план минимизации объема данных Amazon S3, которые необходимо прочитать, и запрашивает исполнителей Amazon Redshift Spectrum из общего пула ресурсов, чтобы прочитать и обработать данные из Amazon S3.

Redshift Spectrum при необходимости масштабируется до тысяч инстансов, поэтому запросы выполняются быстро при любых объемах данных. Теперь можно использовать для данных Amazon S3 тот же синтаксис SQL, что и для запросов Amazon Redshift, и подключаться к тому же адресу Amazon Redshift, используя привычные инструменты бизнес-аналитики. Redshift Spectrum позволяет разделить вычислительные ресурсы и хранилища и масштабировать их независимо друг от друга. Можно настроить необходимое количество кластеров Amazon Redshift, чтобы выполнять запросы к озеру данных Amazon S3, обеспечивая высокую доступность и неограниченную параллельную обработку. С Redshift Spectrum можно хранить данные где угодно и в каком угодно формате, при этом они всегда будут под рукой для обработки.

Репликация

Вопрос. Что такое репликация в Amazon S3?

Репликация в Amazon S3 позволяет выполнять автоматическое асинхронное копирование объектов между корзинами Amazon S3. Корзины, для которых настроена репликация объектов, могут принадлежать как к одному, так и к разным аккаунтам AWS. Можно реплицировать новые объекты, записанные в корзину, в одну или несколько целевых корзин в разных регионах AWS (межрегиональная репликация в S3) или в пределах одного региона (внутрирегиональная репликация в S3). Также можно реплицировать существующее содержимое корзины (пакетная репликация S3), включая существующие и реплицированные из другого источника объекты, а также объекты, которые не удалось реплицировать ранее. Дополнительную информацию см. в руководстве по репликации в S3.

Вопрос. Что представляет собой межрегиональная репликация в Amazon S3?

Межрегиональная репликация (CRR) – это возможность Amazon S3, которая осуществляет автоматическую репликацию данных между корзинами в разных регионах AWS. Межрегиональная репликация позволяет с помощью тегов объектов S3 настроить репликацию на уровне корзин, общих префиксов или объектов. CRR позволяет предоставить доступ к данным с низкой задержкой в разных географических регионах. Межрегиональная репликация также полезна в тех случаях, когда для соблюдения правовых норм копии данных требуется хранить в сотнях километров друг от друга. Межрегиональную репликацию можно использовать для передачи владения реплицированными данными в другой аккаунт, чтобы предотвратить их случайное удаление. Подробнее см. в руководстве пользователя S3 CRR.

Вопрос. Что такое внутрирегиональная репликация Amazon S3?

Внутрирегиональная репликация (SRR) – это возможность Amazon S3, которая осуществляет автоматическую репликацию данных между корзинами в одном регионе AWS. SRR позволяет с помощью тегов объектов S3 настроить репликацию на уровне корзин, общих префиксов или объектов. Внутрирегиональную репликацию можно использовать для создания одной или нескольких копий данных в том же регионе AWS. Внутрирегиональная репликация решает такие проблемы, как обеспечение суверенитета данных и соответствия требованиям, позволяя хранить копию данных в отдельном аккаунте AWS, но в том же регионе, что и оригинал. Внутрирегиональную репликацию можно использовать для изменения аккаунта-владельца реплицированных данных, чтобы предотвратить их случайное удаление. Кроме того, можно использовать SRR для простой агрегации журналов из разных корзин S3 в целях обработки в пределах региона или для настройки репликации в режиме реального времени между средами тестирования и разработки. Подробнее см. в руководстве пользователя S3 SRR.

Вопрос. Что такое пакетная репликация в Amazon S3?

Пакетная репликация S3 реплицирует существующие объекты между корзинами. Пакетную репликацию S3 можно использовать для заполнения новой корзины существующими объектами, повторной попытки неудавшейся ранее репликации объектов, переноса данных между аккаунтами или добавления новых хранилищ в озеро данных. Работу с пакетной репликацией S3 можно начать всего за несколько кликов в консоли S3 или с помощью одного запроса API. Подробнее см. в Руководстве пользователя по пакетной репликации S3.

Вопрос. Как включить репликацию в Amazon S3 (в одном регионе или в разных)?

Репликация в Amazon S3 (CRR и SRR) настраивается с помощью объектов S3 на уровне корзин, общих префиксов или объектов. Чтобы добавить конфигурацию репликации для исходной корзины, необходимо задать целевую корзину для репликации в том же или другом регионе AWS.

Для включения репликации можно использовать консоль S3, API, AWS CLI, AWS SDK или AWS CloudFormation. Управление версиями при использовании репликации должно быть включено и в исходной, и в целевой корзине. Подробнее см. в обзоре настройки репликации S3 в руководстве для разработчиков по Amazon S3.

Вопрос. Как использовать пакетную репликацию S3?

Сперва необходимо включить репликацию S3 на уровне корзины. Подробнее см. в предыдущем вопросе. Затем можно запустить задание пакетной репликации S3 в консоли S3 после создания конфигурации новой репликации, изменения назначения в правиле репликации на странице конфигурации репликации или со страницы создания заданий пакетных операций S3. Дополнительно, задание пакетной репликации S3 можно запустить через AWS CLI или пакеты SDK. Подробнее см. в разделе Репликация S3 в руководстве для разработчиков Amazon S3.

Вопрос. Можно ли использовать репликацию в S3 с правилами управления жизненным циклом S3?

При использовании репликации в S3 можно создавать правила для копирования объектов в хранилище другого класса в том же или другом регионе. Действия в рамках жизненного цикла не реплицируются. Если вы хотите применить к исходной и целевой корзинам одинаковые конфигурации жизненного цикла, включите одну и ту же конфигурацию для обеих корзин. 

Например, можно настроить правило управления жизненным циклом для миграции данных из хранилища класса S3 Standard в хранилище класса S3 Standard – IA или S3 One Zone – IA либо для архивации данных в классы хранилищ S3 Glacier в целевой корзине.

Если для целевой корзины настроен жизненный цикл S3, то мы рекомендуем отключить правила жизненного цикла на время выполнения задания пакетной репликации, чтобы обеспечить согласованность между актуальными и устаревшими версиями объектов в исходной и целевой коризнах.

Подробнее о конфигурации жизненного цикла и репликации см. в
руководстве для разработчиков по репликации в S3.

Вопрос: Могу ли я использовать репликацию S3 для репликации в более чем одну целевую корзину?

Да. Репликация S3 позволяет клиентам реплицировать их данные в несколько целевых корзин в том же или разных регионах AWS. Во время настройки нужно просто указать новую целевую корзину в существующей конфигурации репликации иди создать новую конфигурацию репликацию с несколькими целевыми корзинами. Для каждого нового назначения можно выбирать класс хранилища целевой корзины, тип шифрования, метрики репликации и уведомления, контроль времени репликации (RTC), а также другие свойства.

Вопрос. Можно ли использовать репликацию S3 для настройки двусторонней репликации между корзинами S3?

Да. Для настройки двусторонней репликации нужно создать правило репликации из корзины A в корзину B и другое правило репликации из корзины B в корзину A. Обязательно включите синхронизацию изменений реплики в корзинах A и B для репликации изменений метаданных, например списков контроля доступа объектов (ACL), тегов объектов или замков объектов, вместе с реплицированными объектами.

Вопрос. Можно ли использовать репликацию между разными аккаунтами AWS для защиты от злонамеренного или случайного удаления?

Да, можно настроить CRR или SRR между разными аккаунтами, чтобы хранить реплицированные данные в другом аккаунте в целевом регионе. Чтобы назначить разных владельцев для исходных и целевых данных, а также предоставить право собственности на реплицированное хранилище целевому аккаунту, можно установить перезапись владельца в конфигурации репликации.

Вопрос. Будет ли выполняться репликация тегов объектов при использовании межрегиональной репликации?

Репликация тегов объектов между регионами AWS может выполняться при использовании межрегиональной репликации. Клиентам с включенной межрегиональной репликацией для репликации тегов требуются новые разрешения. Дополнительные сведения о настройке межрегиональной репликации см. в разделе «Настройка межрегиональной репликации» Руководства разработчика Amazon S3.

Вопрос. Можно ли реплицировать маркеры удаления из одной корзины в другую?

Да. Маркеры удаления можно реплицировать из исходной корзины в целевую, если в конфигурации репликации включена репликация маркеров удаления. При репликации маркеров удаления Amazon S3 функционирует так, как если бы объект был удален в обеих корзинах. Включить репликацию маркера удаления можно как для нового, так и для существующего правила. Репликацию маркера удаления можно применить ко всей корзине или к объектам Amazon S3 со специфическим префиксом, используя правила репликации на основе префиксов. Репликация Amazon S3 не поддерживает репликацию маркеров удаления для правил репликации на основе тегов объектов. Подробнее о включении репликации маркеров удаления см. в разделе о репликации маркеров удаления из одной корзины в другую.

Вопрос. Можно реплицировать данные из других регионов AWS в Китай? Может ли клиент реплицировать данные из корзины на территории региона в Китае за пределы регионов в Китае?

Нет. Репликация Amazon S3 недоступна между регионами AWS в Китае и регионами AWS за пределами Китая. Репликация доступна только в пределах регионов в Китае.

Вопрос. Можно ли реплицировать существующие объекты?

Да. Для репликации существующих объектов между корзинами можно использовать пакетную репликацию S3. Подробнее см. в руководстве пользователя S3.

Вопрос. Можно ли выполнить репликацию повторно после неудачной попытки?

Да. Для повторной репликации объектов после неудачной попытки можно использовать пакетную репликацию S3. Подробнее см. в руководстве пользователя S3.

Вопрос. Каковы цены на репликацию данных между учетными записями?

С помощью репликации S3 можно настроить межаккаунтную репликацию, в которой исходные и целевые корзины принадлежат разным аккаунтам AWS. При использовании репликации S3 с клиентов взимается плата не только за хранилище S3 и соответствующее извлечение, но и за репликацию запросов PUT и передачу данных между регионами ИЗ S3 в ваш регион назначения. Если в настройках репликации включен контроль времени репликации S3 (S3 RTC), то отобразятся другие, характерные для S3 RTC, тарифы на репликацию запросов PUT и передачу данных между регионами. При репликации между учетными записями оплата за передачу данных (S3 RTC и S3 CRR) взимается с аккаунта источника, а для учетной записи назначения начисляется оплата за запросы на репликацию. Плата за передачу данных взимается только за репликацию между регионами S3 (S3 CRR) и контроль времени репликации S3 (S3 RTC), а за передачу данных репликации S3 в пределах одного региона (S3 SRR) оплата не начисляется. 

При использовании пакетной репликации S3 между аккаунтами плата будет взиматься за пакетные операции S3 в дополнение к расходам на отправку запросов PUT и исходящую передачу данных (обратите внимание, что S3 RTC не применяется к пакетной репликации). В стоимость пакетных операций входит плата за задания и объекты, которая рассчитывается исходя из количества заданий и обработанных объектов. Кроме того, при использовании сгенерированного в Amazon S3 манифеста плата за него будет взиматься в зависимости от количества объектов в исходной корзине.

Подробную информацию о ценах на репликацию S3 см. на
странице цен на S3.

Контроль времени репликации S3

Вопрос. Что такое контроль времени репликации в Amazon S3?

Контроль времени репликации в Amazon S3 обеспечивает предсказуемую продуктивность репликации и способствует обеспечению соответствия нормативным или производственным требованиям. Благодаря контролю времени репликации в Amazon S3 большинство объектов копируется за считаные секунды. За 5 минут выполняется репликация 99 % объектов, а за 15 минут будет скопировано 99,99 % объектов. Контроль времени репликации в Amazon S3 регулируется Соглашением об уровне обслуживания (SLA), по условиям которого в течение любого расчетного месяца 99,9 % объектов реплицируются за 15 минут в каждой паре регионов репликации. Контроль времени работает со всеми возможностями репликации в S3. Подробнее см. в руководстве для разработчиков по репликации.

Вопрос: Как включить контроль времени репликации в Amazon S3?

Контроль времени репликации в Amazon S3 включается как параметр для каждого правила репликации. Можно создать новую политику репликации в S3 с контролем времени репликации или включить эту возможность в существующей политике.

Для настройки репликации можно использовать консоль управления S3, API, AWS CLI, AWS SDK или AWS CloudFormation. Подробнее см. в обзоре настройки репликации в руководстве для разработчиков по Amazon S3.

Вопрос. Что такое метрики и события репликации в Amazon S3?

Метрики и события репликации в Amazon S3 позволяют отслеживать репликацию в Amazon S3. С помощью метрик репликации в S3 можно контролировать общее количество операций и размер объектов, ожидающих репликации, а также задержку репликации между исходной и целевой корзиной для каждого правила репликации в S3. Метрики репликации доступны в консоли управления Amazon S3, а также в Amazon CloudWatch. События репликации в S3 обеспечивают уведомления о сбоях репликации для быстрой диагностики и исправления ошибок. Если применяется контроль времени репликации в S3, вы также будете получать уведомления о том, что на репликацию объекта требуется более 15 минут, а также об успешном завершения репликации этого объекта в целевое расположение. Как и другие события Amazon S3, события репликации в S3 доступны через Amazon Simple Queue Service (Amazon SQS), Amazon Simple Notification Service (Amazon SNS) или AWS Lambda.

Вопрос. Как включить метрики и события репликации в Amazon S3?

Метрики и события репликации Amazon S3 можно включить для каждого нового или существующего правила репликации. Метрики и события репликации применяются по умолчанию к правилам с включенным контролем времени репликации в S3. Метрики репликации в S3 доступны в консоли управления Amazon S3, а также в Amazon CloudWatch. Как и другие события Amazon S3, события репликации в S3 доступны через Amazon Simple Queue Service (Amazon SQS), Amazon Simple Notification Service (Amazon SNS) или AWS Lambda. Подробнее см. в руководстве для разработчиков по Amazon S3, раздел о мониторинге репликации с помощью метрик и оповещений о событиях Amazon S3.

Вопрос. Что такое соглашение об уровне обслуживания (Service Level Agreement, SLA) для контроля времени репликации в Amazon S3?

Контроль времени репликации в Amazon S3 обеспечивает репликацию 99,99 % объектов в течение 15 минут. Это обязательство закреплено в соглашении об уровне обслуживания. Если в течение 15 минут будет реплицировано менее 99,9 % объектов в каждой паре регионов репликации в течение расчетного месяца, согласно SLA S3 RTC клиенту будут предоставлены кредиты на обслуживание за любой объект, репликация которого занимает более 15 минут. Кредиты на обслуживание покрывают определенную долю всех затрат, связанных с репликацией объектов, которая была выполнена с нарушением SLA. К таким затратам относятся плата за контроль времени репликации, израсходованная на репликацию пропускная способность, плата за запросы, а также расходы на хранение реплики в целевом регионе в течение затронутого расчетного месяца. Подробнее см. на странице SLA о контроле времени репликации в S3.

Вопрос. Сколько стоит репликация в S3 и использование возможности контроля времени репликации?

При использовании репликации S3 (межрегиональной репликации и репликации в рамках региона) взимается плата по тарифам сервиса S3 за хранение в выбранном целевом классе хранилища S3, стоимость хранения основной копии и запросов PUT при репликации, а также применимая плата за извлечение из хранилищ для редко используемых данных. При использовании межрегиональной репликации также оплачивается передача ИСХОДЯЩИХ данных S3 в регион назначения. За метрики репликации S3 взимается такая же плата, как и за пользовательские метрики Amazon CloudWatch. Более того, используя контроль времени репликации S3, вы также платите за передачу данных контроля времени репликации. Дополнительную информацию см. на странице цен на S3.

Если исходный объект загружается с использованием функции многокомпонентной загрузки, то он реплицируется с тем же количеством частей того же размера. Например, за объект размером 100 ГБ, загруженный с использованием многокомпонентной загрузки (800 частей по 128 МБ каждая), при репликации взимается плата как за 802 запроса (800 запросов на загрузку частей + 1 запрос на начало многокомпонентной загрузки + 1 запрос на окончание многокомпонентной загрузки). Будет взиматься плата за запросы в размере 0,00401 USD (802 запроса x 0,005 USD / 1000 запросов) и плата в размере 2 USD (0,020 USD за переданный гигабайт x 100 ГБ) за межрегиональную передачу данных, если репликация выполняется между разными регионами AWS. По окончании репликации взимается плата за хранение 100 ГБ данных по тарифам целевого региона.

Точки доступа S3 для нескольких регионов

Вопрос. Что такое S3 Access Points для нескольких регионов?

Точки доступа Amazon S3 для нескольких регионов повышают производительность до 60 % при доступе к наборам данных, которые реплицируются в нескольких регионах AWS. Точки доступа S3 для нескольких регионов, основанные на AWS Global Accelerator, учитывают такие факторы, как перегрузка сети и местоположение запрашивающего приложения, чтобы динамически направлять ваши запросы по сети AWS к копии ваших данных с наименьшей задержкой. Эта автоматическая маршрутизация позволяет использовать преимущества глобальной инфраструктуры AWS, сохраняя при этом простую архитектуру приложений.

Вопрос. Почему следует использовать точки доступа S3 для нескольких регионов?

Точки доступа S3 для нескольких регионов ускоряют и упрощают хранение ваших мультирегиональных приложений. За счет динамической маршрутизации запросов S3 к реплицированному набору данных точки доступа S3 для нескольких регионов сокращают задержку запросов, благодаря чему приложения работают до 60 % быстрее. Кроме того, вы можете воспользоваться преимуществами глобальной инфраструктуры AWS, сохранив при этом простую регионально-независимую архитектуру ваших приложений.

Вопрос. Как работает S3 Access Points для нескольких регионов?

Точки доступа для нескольких регионов динамически направляют клиентские запросы в одну или несколько базовых корзин S3. Вы можете настроить свою точку доступа для нескольких регионов для маршрутизации через одну корзину на каждый регион AWS, но не более чем в 20 регионах AWS. Когда вы создаете точку доступа для нескольких регионов, S3 автоматически генерирует совместимое имя DNS. Это имя используется как глобальный адрес, который могут использовать ваши клиенты. Когда ваши клиенты делают запросы на этот адрес, S3 динамически направляет эти запросы в одну из базовых корзин, указанных в конфигурации вашей точки доступа для нескольких регионов.

По умолчанию точки доступа S3 для нескольких регионов направляют запросы в ближайшую к клиенту базовую корзину, в зависимости от задержки в сети. Например, вы можете настроить точку доступа для нескольких регионов с базовыми корзинами в US-EAST-1 и AP-SOUTH-1. С этой конфигурацией ваши клиенты в Северной Америке будут маршрутизированы к US-EAST-1, а клиенты в Азии – к AP-SOUTH-1. Это снижает задержку для ваших запросов к S3, повышая производительность вашего приложения.

Если ваше приложение подключается к S3 через Интернет, то производительность будет дополнительно улучшена за счет точек доступа S3 для нескольких регионов, поскольку S3 будет направлять ваши запросы через ближайшее расположение AWS к вашему клиенту, а затем через глобальную частную сеть AWS на S3. Запросы позволят избежать перегруженности сетевых сегментов в Интернете, что уменьшит задержку в сети и джиттер, одновременно улучшив производительность.

Вопрос. Как начать работу с S3 Access Points для нескольких регионов?

Консоль управления S3 обеспечивает простой управляемый рабочий процесс, который позволяет быстро настроить все необходимое для работы многорегионального хранилища на S3 всего за три простых шага. Во-первых, для вашей точки доступа для нескольких регионов будет автоматически сгенерировано уникальное глобальное имя узла. Вы можете подключать своих клиентов и приложения, не указывая регион AWS. Во-вторых, вы сможете выбрать одну или несколько корзин в S3, которые хотите маршрутизировать с новым именем узла. Вы можете выбрать существующие корзины или создать новые. В-третьих, вы можете указать правила межрегиональной репликации S3.

Кроме того, вы можете использовать CloudFormation для автоматизации конфигурации многорегионального хранилища. Все строительные блоки, необходимые для настройки многорегионального хранилища на S3, включая точки доступа S3 для нескольких регионов, поддерживаются CloudFormation, что позволяет легко автоматизировать повторяемый процесс настройки вне консоли управления S3.

Вопрос. В чем разница между межрегиональной репликацией S3 (S3 CRR) и точками доступа S3 для нескольких регионов?

S3 CRR и точки доступа S3 для нескольких регионов – это взаимодополняющие функции, которые работают вместе для репликации данных в регионах AWS, а затем для автоматической маршрутизации запросов к реплицированной копии с минимальной задержкой. Точки доступа S3 для нескольких регионов помогают управлять запросами в регионах AWS, а CRR позволяет перемещать данные между регионами AWS для создания изолированных реплик. Точки доступа S3 для нескольких регионов и CRR используются вместе, чтобы создать реплицированный многорегиональный набор данных, к которому может обращаться один глобальный адрес.

Вопрос. Какова стоимость S3 Access Points для нескольких регионов?

Когда вы используете точку доступа S3 для нескольких регионов для маршрутизации запросов в AWS, вы вносите небольшую плату за маршрутизацию данных за каждый обработанный ГБ, а также оплачиваете стандартные сборы за запросы S3, хранение, передачу данных и репликацию. Если ваше приложение работает за пределами AWS и подключается к S3 через Интернет, точки доступа S3 для нескольких регионов повышают производительность за счет автоматической маршрутизации ваших запросов через периферийное местоположение AWS и глобальную частную сеть AWS к ближайшей копии ваших данных в зависимости от задержки доступа. Когда вы ускоряете запросы, сделанные через Интернет, вы платите за маршрутизацию данных и за ускорение Интернета. Цены на ускорение Интернета для точек доступа S3 для нескольких регионов зависят от того, находится ли исходный клиент в том же или другом месте, что и целевой регион AWS, и дополняют стандартные цены на передачу данных S3. Подробную информацию о ценах см. на странице цен на S3 и на вкладке «Передача данных».

Вопрос. Чем отличается S3 Transfer Acceleration от точек доступа S3 для нескольких регионов?

Вы можете использовать S3 Transfer Acceleration для ускорения передачи контента в одну централизованную корзину S3 и из нее с помощью глобальной сети AWS. Это особенно помогает при передаче на значительное расстояние больших объектов или удалении веб-приложений и мобильных приложений. С помощью точек доступа S3 для нескольких регионов вы можете выполнять аналогичные ускоренные передачи с использованием глобальной сети AWS, но через множество корзин S3 в нескольких регионах AWS для запросов через Интернет, запросов на базе VPC и локальных запросов к S3 и обратно. Когда вы объединяете точки доступа S3 для нескольких регионов с кросс-репликацией S3, вы предоставляете возможность точкам доступа S3 для нескольких регионов динамически направлять ваши запросы к копии ваших данных с наименьшей задержкой для приложений от клиентов в нескольких местах.

Обработка данных

Функция Lambda для объекта

Вопрос. Что такое S3 Object Lambda?

Функция S3 Object Lambda дает возможность добавлять собственный код в запросы S3 GET для изменения и обработки данных, возвращенных в приложение. Впервые вы сможете применить пользовательский код для изменения данных, возвращаемых стандартными запросами S3 GET, для фильтрации строк, динамического изменения размера изображений, удаления конфиденциальных данных и многого другого. S3 Object Lambda позволяет легко соблюдать специфические требования любого приложения касательно формата данных без необходимости строить дополнительную инфраструктуру и управлять ею (например, уровень прокси) или создавать и обслуживать множество производных копий данных. В S3 Object Lambda автоматическая обработка выходных данных стандартного запроса S3 GET осуществляется с помощью функций AWS Lambda. AWS Lambda – это бессерверный вычислительный сервис, выполняющий заданный пользователем код без необходимости управления базовыми вычислительными ресурсами. 

Чтобы начать настройку функции Lambda и прикрепить ее к адресу сервиса S3 Object Lambda, достаточно нескольких щелчков мышью в консоли управления AWS. С этого момента S3 будет автоматически взывать функцию Lambda для обработки любых данных, полученных через адрес S3 Object Lambda, а приложение будет получать преобразованный результат. Вы сможете создавать и выполнять собственные пользовательские функции Lambda, адаптируя процесс преобразования данных S3 Object Lambda к требованиям конкретного примера выполнения.

Для начала работы с функцией S3 Object Lambda используйте консоль управления S3, SDK или API. Подробнее см. на странице S3 Object Lambda или в руководстве пользователя S3 Object Lambda.

Вопрос: Какие преимущества дает S3 Object Lambda?

S3 Object Lambda дает возможность совместного использования одного экземпляра данных в нескольких приложениях, избегая необходимости создавать и использовать настраиваемую инфраструктуру обработки или хранить производные копии данных. Например, с помощью функции S3 Object Lambda для обработки обычных запросов S3 GET можно маскировать конфиденциальные данные для обеспечения соответствия, реструктурировать необработанные данные для их совместимости с приложениями машинного обучения, фильтровать данные для ограничения доступа к определенному контенту в пределах объекта S3 или для решения задач широкого спектра дополнительных примеров использования. Для настройки S3 Object Lambda достаточно нескольких щелчков мышью в консоли управления Amazon S3. Подробнее читайте в руководстве пользователя.

Вопрос. Как работает S3 Object Lambda?

В S3 Object Lambda обработка выходных данных стандартного запроса GET осуществляется с помощью функций Lambda. Определив функцию Lambda для обработки запрошенных данных, эту функцию можно присоединить к точке доступа S3 Object Lambda. Запросы GET, отправленные через точку доступа S3 Object Lambda, теперь будут вызывать заданную функцию Lambda. Затем с помощью функции Lambda запрашиваемый клиентом объект S3 будет получен и обработан. После завершения обработки функция Lambda вернет обработанный объект вызывающему клиенту. Подробнее читайте в руководстве пользователя S3 Object Lambda.

Вопрос: Как начать работу с S3 Object Lambda?

Есть несколько способов настроить S3 Object Lambda. S3 Object Lambda можно настроить в консоли S3, перейдя во вкладку «Точка доступа Object Lambda». Затем создайте точку доступа S3 Object Lambda, функцию Lambda, которую должен будет выполнять сервис S3 на основании запросов GET, и поддерживающую точку доступа S3. Выдайте всем ресурсам разрешения на взаимодействие с Object Lambda. В-третьих, обновите SDK и приложение, чтобы начать использовать новую точку доступа S3 Object Lambda для получения данных из S3 с помощью выбранного вами языка SDK. Функция S3 Object Lambda начнет обработку запросов GET. В документации AWS приведены примеры реализации функции Lambda, которые помогут вам начать работу с сервисом.

С помощью AWS CloudFormation можно также автоматизировать настройку S3 Object Lambda. При использовании шаблона AWS CloudFormation функция Lambda, развернутая в вашем аккаунте, вернет объекты S3 запрашивающему клиенту или приложению без каких-либо изменений. Вы можете добавить пользовательский код, чтобы изменять и обрабатывать данные, возвращаемые в приложение. Подробности о S3 Object Lambda см. в руководстве пользователя

Вопрос. Какие виды операций можно выполнять с помощью S3 Object Lambda?

Любые операции, поддерживаемые функцией Lambda, также будут поддерживаться функцией S3 Object Lambda. Это делает доступными широкий спектр параметров для обработки запросов. Вы указываете собственную функцию Lambda для выполнения пользовательских вычислений по запросам GET, что предоставляет гибкие возможности для обработки данных в соответствии с требованиями приложения. Время обработки с помощью функции Lambda не превышает 60 секунд. Подробнее см. документацию по S3 Object Lambda здесь.

Вопрос. Какие типы запросов S3 поддерживает S3 Object Lambda?

S3 Object Lambda поддерживает запросы типа GET. Все остальные вызовы S3 API, отправленные к точке доступа S3 Object Lambda, будут возвращать стандартный ответ S3 API. Подробнее о функции S3 Object Lambda см. в руководстве пользователя.

Вопрос. Что произойдет в случае сбоя в работе функции S3 Object Lambda?

В случае сбоя в работе функции S3 Object Lambda вы получите ответ на запрос с подробным описанием сбоя работы. Как и в случае с другими вызовами функций Lambda, AWS также отслеживает функции от вашего имени и отправляет метрики через Amazon CloudWatch. Чтобы упростить процесс устранения сбоев, в Lambda ведется журнал всех запросов, обработанных вашей функцией, и с помощью Amazon CloudWatch Logs автоматически сохраняются журналы, сгенерированные вашим кодом. Подробнее о доступе к CloudWatch Logs для AWS Lambda см. в документации CloudWatch.

Вопрос. Влияет ли функция S3 Object Lambda на доступность S3 согласно SLA или на надежность S3?

S3 Object Lambda подключает Amazon S3, AWS Lambda и другие сервисы AWS (необязательно) на ваш выбор для доставки объектов, соответствующих запрашивающим приложениям. Все сервисы AWS, используемые вместе с S3 Object Lambda, подчиняются положениям соответствующих соглашений об уровне обслуживания (SLA). Например, в случае если какой-либо сервис AWS не выполняет свои обязательства в соответствии с соглашением об уровне обслуживания, вы имеете право на получение компенсации по этому соглашению, которое указано в этом SLA. Создание точки доступа S3 Object Lambda никоим образом не влияет на надежность объектов. Тем не менее функция S3 Object Lambda будет вызывать конкретную функцию AWS Lambda, поэтому необходимо гарантировать соответствие этой функции Lambda и ее правильность. См. последнюю версию Amazon S3 SLA здесь.

Вопрос. Сколько стоит функция S3 Object Lambda?

При использовании функции S3 Object Lambda вы платите за каждый ГБ данных, возвращаемых вам через S3 Object Lambda. Кроме того, плата снимается за запрос S3 GET и вычислительные ресурсы AWS Lambda за время обработки заданной функцией запрошенных данных. Подробную информацию о ценах см. на странице цен на S3.

Готовы начать?

Standard Product Icons (Features) Squid Ink
Узнайте о возможностях продукта

Узнайте о возможностях управления данными, безопасности, управления доступом, аналитики данных и многом другом.

Подробнее 
Sign up for a free account
Зарегистрировать бесплатный аккаунт

Получите мгновенный доступ к хранилищу AWS Free Tier и начните экспериментировать с Amazon S3. 

Регистрация 
Standard Product Icons (Start Building) Squid Ink
Начать разработку в консоли

Начните разработку с помощью Amazon S3 в консоли AWS.

Начало работы