Amazon Redshift представляет долгосрочное хранение системных таблиц с интеграцией с Таблицами Amazon S3
Amazon Redshift теперь поддерживает долгосрочное хранение данных системных таблиц благодаря встроенной интеграции с Таблицами Amazon S3. С помощью этой функции вы можете настроить хранение данных в системной таблице Redshift сверх текущего 7-дневного лимита, чтобы удовлетворить ваши требования по соответствию, аудиту и наблюдаемости. После включения AWS автоматически записывает данные системных таблиц в Таблицы S3 в формате Apache Iceberg и управляет секционированием, сжатием и хранением.
Клиенты используют системные таблицы Redshift для мониторинга производительности запросов, аудита активности хранилища данных и соблюдения требований соответствия. Ранее расширение срока хранения требовало создания и обслуживания настраиваемых конвейеров извлечения, преобразования и загрузки данных (ETL) для копирования данных системных таблиц, что требовало дополнительных усилий по разработке и текущих эксплуатационных издержек. Заказчики, управляющие несколькими хранилищами данных, сталкивались с дополнительными сложностями, поскольку они полагались на совместное использование данных Redshift для консолидации данных системных таблиц из каждого хранилища в центральном местоположении для анализа данных в разных хранилищах. Благодаря этой функции данные системных таблиц реплицируются автоматически, что устраняет необходимость в настраиваемых конвейерах ETL и любой конкуренции за ресурсы с производственными рабочими нагрузками. Если вы эксплуатируете несколько хранилищ данных, вы можете консолидировать данные их системных таблиц в едином расположении для наблюдения за данными из разных хранилищ и их анализа. Поскольку данные хранятся в открытом формате Apache Iceberg, их можно запрашивать через Redshift, Amazon Athena или любой другой совместимый с Iceberg движок, а также создавать панели мониторинга наблюдаемости с помощью сервисов AWS или сторонних инструментов без дополнительных эксплуатационных издержек. Кроме того, набор инструментов AWS Agent Toolkit позволяет запрашивать данные системной таблицы для получения аналитических данных о производительности и рекомендаций по оптимизации.
Эта функция доступна для инстансов Amazon Redshift с заранее выделенными ресурсами RG и RA3 бессерверного Amazon Redshift в следующих регионах AWS: Восток США (Огайо, Северная Вирджиния), Запад США (Орегон, Северная Калифорния), Африка (Кейптаун), Азиатско-Тихоокеанский регион (Гонконг, Джакарта, Малайзия, Мельбурн, Мумбаи, Осака, Сеул, Сидней, Сингапур, Таиланд, Тайбэй, Токио, Хайдарабад), Канада (Центральная), Европа (Ирландия, Испания, Лондон, Милан, Париж, Стокгольм, Франкфурт, Цюрих), Израиль (Тель-Авив) и Южная Америка (Сан-Паулу). Чтобы узнать больше, см. нашу документацию или публикацию в блоге.