Amazon S3 Metadata теперь поддерживает ранее существовавшие объекты и снижает цену на 33 %
Сервис Amazon S3 Metadata создает и контролирует метаданные, содержащие информацию о хранимых в S3 наборах данных, упрощая поиск и использование данных в этом хранилище. В прошлом S3 Metadata поддерживал только новые и измененные объекты. Теперь же S3 Metadata создает и контролирует метаданные для всех имеющихся данных S3, что позволяет писать SQL-запросы с использованием метаданных по любому объему хранилища.
S3 Metadata создает и поддерживает две таблицы Apache Iceberg, которые обеспечивают постоянно актуальное представление метаданных, связанных с корзиной S3, и возможность запроса по этим данным. В таблице журнала в режиме, близком к реальному времени, записываются изменения, вносимые в данные, что позволяет идентифицировать загружаемые в корзину новые данные, отслеживать недавно удаленные объекты или переходы на новый этап жизненного цикла и делать многое другое. Новая интерактивная таблица инвентаризации поддерживает актуальное представление всех объектов в корзине. Обе таблицы S3 Metadata хранятся в управляемой AWS корзине таблиц Iceberg в вашем аккаунте, и их можно запрашивать на стандартном языке SQL с помощью аналитических сервисов AWS, таких как Amazon Athena или Amazon EMR, или инструментов с открытым исходным кодом, таких как DuckDB и PyIceberg.
Сервис S3 Metadata в настоящее время доступен в следующих регионах: Восток США (Северная Вирджиния, Огайо) и Запад США (Орегон). За каждое изменение используемого набора данных, которое записывается в таблицах журнала S3 Metadata, взимается небольшая плата. На сегодняшний день мы снизили стоимость таблиц журнала на 33 %, чтобы сделать отслеживание изменений в реальном времени и последующее заполнение таблиц более экономичными для больших наборов данных. Кроме того, при заполнении интерактивных таблиц инвентаризации сведениями об уже имеющихся наборах данных S3 взимается небольшая плата за каждый из объектов. Дополнительные сведения см. на странице цен Amazon S3. Чтобы узнать больше и начать работу, см. страницу продукта, документацию и блог AWS News.