Новые возможности

Ознакомьтесь с нашими публикациями о новых возможностях, чтобы узнать о последних функциях и новостях Amazon Redshift и Redshift Spectrum.

Семинары и учебные пособия

Начало работы с семинаром по самообслуживанию Amazon Redshift

Семинар самостоятельному углубленному знакомству с сервисом Amazon Redshift

Блоги

Публикации по данной теме не найдены. Прочие ресурсы см. в блоге AWS.

Статьи, посвященные Amazon Redshift, см. в блоге AWS News.

Рекомендации, описания функциональных возможностей и примеры использования клиентами в блоге AWS Big Data.

Сведения о миграции из локального хранилища данных в Amazon Redshift и другая информация в блоге AWS Databases.

Скрипты и инструменты для настройки и управления

Административные скрипты Amazon Redshift

SQL‑скрипты для выполнения диагностики кластера Amazon Redshift с использованием системных таблиц. Загрузить по ссылке »

Список скриптов:

  • top_queries.sql – возвращает 50 команд, выполнение которых заняло наиболее продолжительное время, за последние 7 дней;
  • perf_alerts.sql – возвращает основные предупреждения вместе с результатами сканирования таблиц;
  • filter_used.sql – возвращает фильтр, применяемый к таблицам при сканировании, для помощи при выборе ключа сортировки;
  • commit_stats.sql – показывает сведения о потреблении ресурсов кластера при выполнении операций подтверждения записи;
  • current_session_info.sql – показывает сведения о сеансах, в которых в данный момент выполняются запросы;
  • missing_table_stats.sql – показывает планы EXPLAIN, в которых используемые таблицы помечены флагом «статистика отсутствует»;
  • queuing_queries.sql – выводит список запросов в очереди к слоту запросов WLM;
    table_info.sql – возвращает сведения о хранении таблицы на диске (размер, отклонения и т. д.). 

Административные представления SQL

Представления SQL для управления кластером Amazon Redshift и создания языка описания схем (DDL). Во всех представлениях предполагается наличие схемы с именем Admin. Загрузить по ссылке »

Список представлений:

  • v_check_data_distribution.sql – получить распределение данных по уровням;
  • v_constraint_dependency.sql – получить ограничения внешнего ключа при работе с несколькими таблицами;
  • v_generate_group_ddl.sql – создать DDL для группы;
  • v_generate_schema_ddl.sql – создать DDL для схем;
  • v_generate_tbl_ddl.sql – создать DDL для таблицы, включая ключ распределения, ключ сортировки и ограничения;
  • v_generate_unload_copy_cmd.sql – генерировать команды экспорта и копирования объекта;
  • v_generate_user_object_permissions.sql – создать DDL для определения прав доступа пользователей к таблицам и представлениям;
  • v_generate_view_ddl.sql – создать DDL для представления;
  • v_get_obj_priv_by_user.sql – получить таблицы и представления, к которым пользователь имеет доступ;
  • v_get_schema_priv_by_user.sql – получить схему, к которой пользователь имеет доступ;
  • v_get_tbl_priv_by_user.sql – получить таблицы, к которым пользователь имеет доступ;
  • v_get_users_in_group.sql – получить всех пользователей, входящих в группу;
  • v_get_view_priv_by_user.sql – получить представления, к которым пользователь имеет доступ;
  • v_object_dependency.sql – объединить различные представления зависимостей;
  • v_space_used_per_tbl.sql – получить сведения о занимаемом месте для каждой таблицы;
  • v_view_dependency.sql – получить имена представлений, зависящих от других таблиц или представлений;
  • v_check_transaction_locks.sql – получить сведения о блокировках, существующих для открытых транзакций;
  • v_check_wlm_query_time.sql – получить время ожидания и выполнения WLM за последние 7 дней;
  • v_check_wlm_query_trend_daily.sql – получить количество запросов WLM, а также время ожидания и выполнения по дням;
  • v_check_wlm_query_trend_hourly.sql – получить количество запросов WLM, а также время ожидания и выполнения по часам;
  • v_generate_cancel_query.sql – создать запрос отмены;
  • v_get_cluster_restart_ts.sql – получить дату и время последнего перезапуска кластера;
  • v_get_vacuum_details.sql – получить сведения об очистке.

Сервисная программа кодирования столбцов

Позволяет определить оптимальное сжатие для данных Amazon Redshift. Загрузить по ссылке »

Сервисная программа экспорта и копирования

Позволяет без труда переносить данные между таблицами Amazon Redshift, которые могут находиться в разных базах данных, кластерах или регионах. Все данные при экспорте шифруются с использованием сервиса AWS Key Management Service (KMS). Программу можно использовать в качестве дополнения к конвейеру данных AWS Data Pipeline для регулярного перемещения данных между системами, например тестовой и рабочей, или для обслуживания копий только для чтения в других кластерах. Загрузить по ссылке »

Возможности и инструменты, созданные сообществом

Аналитические и административные инструменты

Простота  

Распространенные пользовательские функции (UDF). Набор UDF, полезных для каждого. Предоставлено компанией Periscope. Подробнее » | Загрузить по ссылке »

Инструмент ETL для Amazon Redshift от Yelp. Mycroft от компании Yelp предназначен для автоматизации загрузки данных в Amazon Redshift. Подробнее см. в этой публикации в блоге. Загрузить по ссылке »

Интерфейс разработки UDF. В целях упрощения разработки компания Periscope создала систему для управления пользовательскими функциями (UDF) и их тестирования. Предоставлено компанией Periscope Data. Загрузить по ссылке »

re:Dash. Бесплатная платформа для совместной работы и визуализации данных с открытым исходным кодом, созданная для быстрого и удобного доступа к миллиардам записей. Возможности платформы включают браузер схем, улучшенное планирование, автозавершение, а также составление запросов на языке Python. Предоставлено компанией Everthing.me. Загрузить по ссылке »

Административная панель управления Amazon Redshift от Everthing.me. Удобный и понятный инструмент для мониторинга выполняемых запросов, очередей WLM, а также таблиц и схем. Предоставлено компанией Everthing.me. Загрузить по ссылке »

Библиотека Spark‑Redshift. Эта библиотека предназначена для загрузки данных из Amazon Redshift в Apache Spark SQL DataFrames и записи данных из Apache Spark обратно в Amazon Redshift. Удачный пример загрузки данных в формате AVRO в Amazon Redshift. Предоставлено компанией Swiftkey. Загрузить по ссылке »

Видео

Обзор Amazon Redshift (2:07)
Бессерверный Amazon Redshift (1:28)