Возможности Amazon Redshift

Amazon Redshift ускоряет получение ценных сведений от быстрого, простого и безопасного хранилища данных в большом масштабе.

Каждый год мы выпускаем сотни возможностей и улучшений продукта, руководствуясь примерами использования и отзывами клиентов. Узнайте больше о новых возможностях.

Получите полезные результаты по всем имеющимся данным, выполняя интерактивный и прогностический анализ по сложным данным огромного размера во всех корпоративных базах данных, озерах данных, хранилищах данных и по тысячам наборов данных сторонних организаций.

Федеративный запрос. Новая возможность Amazon Redshift в виде федеративного запроса позволит вам получать доступ к содержимому своих операционных реляционных баз данных. Выполните запрос к оперативным данным в одной или нескольких базах данных Службы реляционных баз данных Amazon (RDS), Aurora PostgreSQL, RDS MySQL и Aurora MySQL, чтобы получить мгновенную видимость всех бизнес‑операций без необходимости перемещения данных. Вы можете объединять данные из своих хранилищ данных Redshift, озер данных, а теперь и данные из операционных хранилищ, чтобы принимать более взвешенные решения на их основе. Amazon Redshift предлагает методы оптимизации для сокращения перемещения данных по сети и дополняет их возможностями массово‑параллельной обработки данных для высокопроизводительных запросов. Подробнее.

Совместное использование данных. В Amazon Redshift предлагаются широкие возможности для совместного использования данных, которые сделают использование одного или нескольких кластеров Amazon Redshift еще более простым, эффективным и экономичным. Совместное использование данных позволяет мгновенно предоставлять быстрый доступ к данным в кластерах Redshift с детализированным контролем полномочий без необходимости копировать или перемещать их. Совместное использование данных предоставляет пользователям интерактивный доступ, позволяя отслеживать наиболее актуальную и полностью согласованную информацию сразу по мере ее появления в хранилище данных. Вы можете предоставлять защищенный доступ к данным в кластерах Redshift в том же или в другом аккаунте AWS, или даже в другом регионе. Подробнее.

Обмен данными AWS для Amazon Redshift. Выполняйте запросы к наборам данных Amazon Redshift из собственного кластера Redshift без дополнительных усилий по извлечению, преобразованию и загрузке данных (ETL). Вы можете подписаться на продукты облачного хранилища данных Redshift в сервисе Обмен данными AWS. Подписчикам здесь становятся доступны сведения о любых изменениях, внесенных поставщиком. Поставщикам же будут полезны возможности автоматического предоставления доступа при начале действия подписки и отзыва доступа по ее окончании, автоматического создания счетов по установленному графику и сбора платежей через платформу AWS. Вы можете лицензировать для одной подписки доступ к неструктурированным файлам, данным в Amazon Redshift или доступным через любые внешние API. Подробнее.

Redshift ML. Функция Redshift ML упрощает создание, обучение и развертывание моделей Amazon SageMaker с использованием SQL для аналитиков данных, специалистов по работе с данными, бизнес-аналитиков и разработчиков. С помощью Redshift ML вы можете использовать операторы SQL для создания и обучения моделей Amazon SageMaker в Amazon Redshift на основе своих данных, а затем использовать эти модели для прогнозирования, например для обнаружение оттока клиентов, финансовых прогнозов, персонализации и оценки рисков прямо в своих запросах и отчетах. Подробнее.

Интеграция Amazon Redshift для Apache Spark. Эта функция упрощает создание и запуск приложений Apache Spark на основе данных Amazon Redshift, давая клиентам возможность открыть хранилище данных для более широкого набора решений для аналитики и машинного обучения. С Интеграцией Amazon Redshift для Apache Spark разработчики, использующие аналитику AWS и сервисы машинного обучения, например Amazon EMR, AWS Glue, Amazon Athena Spark и Amazon SageMaker, могут за считанные секунды приступать к работе и без лишних усилий создавать приложения Apache Spark, которые считывают данные из хранилища данных Amazon Redshift и записывают их в него, не теряя производительность приложений или согласованность данных с транзакциями. Кроме того, Интеграция Amazon Redshift для Apache Spark упрощает мониторинг и устраняет проблемы с производительностью приложений Apache Spark при использовании с Amazon Redshift.

Amazon Aurora без извлечения, преобразования и загрузки данных в Amazon Redshift. Это интеграция без кода между Amazon Aurora и Amazon Redshift, которая дает возможность клиентам Amazon Aurora использовать Amazon Redshift для аналитики петабайтов данных транзакций и машинного обучения в режиме, близком к реальному времени. В течение нескольких секунд после записи данных транзакции в Amazon Aurora, Amazon Aurora без извлечения, преобразования и загрузки данных в Amazon Redshift эффективно передает данные в Amazon Redshift. Поэтому клиентам не нужно создавать и поддерживать сложные конвейеры данных, выполняющие операции по извлечению, преобразованию и загрузке (ETL). Эта интеграция уменьшает эксплуатационную нагрузку и затраты, а также дает клиентам возможность сосредоточиться на улучшении приложений. Благодаря доступу к данным транзакций в режиме, близком к реальному времени, клиенты могут использовать возможности аналитики и машинного обучения Amazon Redshift, чтобы извлекать информацию из данных транзакций и иных данных и эффективно реагировать на критические события, зависящие от времени.

Получение данных потоковой передачи. Инженеры данных, специалисты по анализу данных и разработчики больших данных используют механизмы потоковой передачи в реальном времени, чтобы повысить скорость реагирования клиентов. Благодаря новой возможности приема потоковых данных в Amazon Redshift вы можете использовать язык структурированных запросов (SQL) для подключения и прямого приема данных из Потоков данных Amazon Kinesis и Управляемой потоковой передачи Amazon для Apache Kafka (MSK). Кроме того, Получение данных потоковой передачи Amazon Redshift упрощает создание нисходящих конвейеров и управление ими, позволяя создавать материализованные представления непосредственно поверх потоков. Материализованные представления также могут включать преобразования SQL как часть конвейера извлечения, преобразования, загрузки (ELT). Вы можете вручную обновлять определенные материализованные представления, чтобы запрашивать последние потоковые данные. С таким подходом вы можете выполнять нисходящую обработку и преобразование потоковых данных с помощью существующих и знакомых инструментов без дополнительной платы.

Экспорт в озеро данных и из него, а также запросы к данным. Это единственное облачное хранилище данных, в котором настолько удобно выполнять запросы к данным и записывать их обратно в озеро данных, используя открытые форматы. Сервис позволяет выполнять запросы к данным непосредственно в Amazon S3 в таких открытых форматах, как Parquet, ORC, JSON, Avro, CSV и другие, используя привычный ANSI SQL. Чтобы экспортировать данные в озеро данных, просто используйте команду Amazon Redshift UNLOAD в своем коде SQL и укажите Parquet в качестве формата файла. Amazon Redshift автоматически возьмет на себя форматирование данных и перемещение их в S3. Это позволит вам хранить высокоструктурированные, часто используемые, а также частично структурированные данные в хранилище данных Amazon Redshift, а эксабайты структурированных, частично структурированных и неструктурированных данных – в Amazon S3. Экспорт данных из Amazon Redshift обратно в озеро данных позволяет дополнительно проводить их анализ с помощью таких сервисов AWS, как Amazon Athena, Amazon EMR и Amazon SageMaker.

Интеграция сервисов AWS. Встроенная поддержка интеграции с сервисами AWS, базами данных и сервисами машинного обучения позволяет упростить сложные рабочие процессы аналитики и выполнять их без запинок. Например, AWS Lake Formation – это сервис для удобной настройки безопасного озера данных всего за несколько дней. AWS Glue можно использовать для действий по извлечению, преобразованию и загрузке (ETL) данных в Amazon Redshift. Amazon Kinesis Data Firehose предоставляет самый простой способ захвата, преобразования и загрузки потоковых данных в Amazon Redshift для анализа в режиме, близком к реальному времени. Вы можете использовать Amazon EMR для обработки данных с помощью Hadoop или Spark и загружать результаты в Amazon Redshift для нужд анализа и бизнес‑аналитики. Amazon QuickSight – это первый сервис бизнес‑аналитики с оплатой по количеству сеансов. Его можно использовать для создания отчетов, визуализаций и информационных панелей при работе с данными Redshift. Вы можете использовать Amazon Redshift для подготовки данных к выполнению рабочих нагрузок машинного обучения с помощью Amazon SageMaker. Чтобы ускорить миграцию в Amazon Redshift, вы можете использовать AWS Schema Conversion Tool и AWS Database Migration Service (DMS). Amazon Redshift также тесно интегрирован с Amazon Key Management Service (KMS) и Amazon CloudWatch для обеспечения безопасности, осуществления мониторинга и соответствия требованиям. Вы также можете использовать определяемые пользователем функции (UDF) Lambda для вызова функции Lambda с помощью SQL-запросов по аналогии с вызовом пользовательской функции в Amazon Redshift. Кроме того, можно создать UDF Lambda для интеграции с партнерскими сервисами AWS и доступа к другим популярным сервисам AWS, например Amazon DynamoDB или Amazon SageMaker.

Интеграция партнерской консоли Redshift. Вы можете ускорить сбор данных и получать ценные данные бизнес-анализа за считанные минуты благодаря интеграции с избранными партнерскими решениями в консоли Amazon Redshift. С помощью таких решений можно организовать эффективный и оптимизированный перенос данных из таких приложений, как Salesforce, Google Analytics, Facebook Ads, Slack, Jira, Splunk и Marketo, в хранилище данных Redshift. Кроме того, данная функция позволяет объединять разрозненные наборы данных и анализировать их вместе.

Автоматическое копирование из Amazon S3. Amazon Redshift поддерживает автоматическое копирование для упрощения и автоматизирования загрузки данных из Amazon S3, что сокращает время и усилия, требуемые для создания пользовательских решений или управления сервисами третьих сторон. С этой функцией Amazon Redshift вам не придется вручную и много раз выполнять процедуру копирования, автоматизируя прием файлов и заботясь о непрерывных этапах загрузки данных. Поддержка автоматического копирования дает возможность бизнес-пользователям и специалистам по аналитике данных без знаний в области разработки данных создавать правила приема и настраивать расположение данных, которые они хотят загрузить из Amazon S3. Когда новые данные попадают в указанные папки Amazon S3, процесс загрузки запускается автоматически в соответствии с пользовательскими настройками. Команда копирования Redshift поддерживает все форматы файлов, включая CSV, JSON, Parquet и Avro. 

Встроенная поддержка расширенной аналитики. Amazon Redshift поддерживает стандартные типы скалярных данных (NUMBER, VARCHAR и DATETIME) и имеет встроенную поддержку обработки расширенной аналитики:

• Обработка пространственных данных. Amazon Redshift предоставляет полиморфный тип данных GEOMETRY, который поддерживает множество геометрических фигур, таких как Точка, Линия и Полигон. Amazon Redshift также предоставляет соответствующие возможности SQL для построения геометрических фигур, импорта, экспорта, обеспечения доступа к пространственным данным и их обработки. Вы можете добавлять столбцы GEOMETRY в таблицы Redshift и создавать запросы SQL, охватывающие как пространственные, так и непространственные данные. Они позволяют хранить, извлекать и обрабатывать пространственные данные и повышают эффективность аналитической бизнес‑информации путем интеграции пространственных данных в аналитические запросы. Кроме того, благодаря возможности Amazon Redshift эффективно выполнять запросы к озерам данных вы можете легко распространить на них обработку пространственных данных, интегрируя внешние таблицы в пространственные запросы. Дополнительную информацию см. в документации.
  
• Эскизы HyperLogLog. HyperLogLog – это новый алгоритм, который эффективно оценивает приблизительное количество отдельных значений в наборе данных. Эскиз HLL – это конструкция, которая инкапсулирует информацию об отдельных значениях в наборе данных. Такие эскизы обеспечивают значительное повышение производительности при обработке запросов по вычислению приблизительной кардинальности больших наборов данных. Средняя относительная ошибка составляет от 0,01 до 0,6 %. Amazon Redshift предоставляет первоклассный тип данных HLL SKETCH и связанные функции SQL, которые можно использовать для создания, сохранения и комбинирования эскизов HyperLogLog. Функция HyperLogLog в Amazon Redshift использует методы коррекции смещения и обеспечивает высокую точность, занимая небольшой объем памяти. Дополнительную информацию см. в документации.
  
• Типы данных DATE и TIME. Amazon Redshift предоставляет несколько типов данных (DATE, TIME, TIMETZ, TIMESTAMP и TIMESTAMPTZ) для хранения и обработки данных даты / времени без использования дополнительных инструментов. Типы TIME и TIMESTAMP хранят данные времени без информации о часовом поясе, а типы TIMETZ и TIMESTAMPTZ – данные времени с такой информацией. Вы можете использовать различные SQL-функции даты / времени для обработки соответствующих значений в запросах Redshift. Дополнительную информацию см. в документации.
  
• Обработка частично структурированных данных. Тип данных Amazon Redshift SUPER позволяет хранить частично структурированные данные, в частности JSON, в таблицах Redshift и использовать язык запросов PartiQL для их эффективной обработки. Тип данных SUPER работает без схем и позволяет хранить вложенные значения, которые могут содержать скалярные величины Redshift, вложенные массивы и структуры. PartiQL — это расширение SQL, которое предоставляет широкие возможности для обработки запросов, например навигацию по объектам и массивам, устранение вложенности массивов, динамическую типизацию и бессхемную семантику. Это позволяет получать расширенную аналитику, в которой классические структурированные данные SQL сочетаются с частично структурированными данными SUPER и обеспечивается высокая производительность, гибкость и простота использования. Дополнительную информацию см. в документации.
  
• Интеграция с инструментами сторонних разработчиков. Возможности Amazon Redshift можно расширить, используя лучшие отраслевые инструменты и опыт экспертов по загрузке, преобразованию и визуализации данных. Решения партнеров из нашего обширного списка прошли сертификацию для использования с Amazon Redshift.
  
• Загружайте и преобразовывайте данные с помощью решений от наших партнеров по интеграции данных.
  
• Анализируйте данные и делитесь соответствующей информацией в компании с помощью решений от наших партнеров по бизнес‑аналитике.
  
• Спроектируйте и реализуйте свою платформу аналитики с помощью решений от наших партнеров по системной интеграции и партнеров‑консультантов.
  
• Выполняйте запросы к данным, просматривайте и моделируйте их с помощью инструментов и сервисных программ от наших партнеров по запросам и моделированию данных.
  

Увеличьте соотношение цены и производительности до 5 раз по сравнению с любым другим облачным хранилищем данных и получите автоматизированную оптимизацию для ускорения запросов.

Инстансы RA3. Производительность инстансов RA3 превышает возможности любого другого сервиса облачного хранения данных (вплоть до 5‑кратного повышения). Эти инстансы Amazon Redshift обеспечивают максимальную скорость при обработке ресурсоемких рабочих нагрузок с высокими требованиями к вычислительным мощностям. Вы можете указывать необходимое количество инстансов и оплачивать вычислительные ресурсы отдельно от услуг хранилища. Подробнее.

Эффективное хранение и высокопроизводительная обработка запросов. Amazon Redshift обеспечивает высокую производительность запросов для любых наборов данных объемом от гигабайтов до петабайтов. Столбчатое хранилище, сжатие данных и карты зон сокращают количество операций ввода‑вывода, необходимых для выполнения запросов. Наряду с такими стандартными для отрасли алгоритмами кодирования, как LZO и Zstandard, Amazon Redshift также предлагает специализированное кодирование при сжатии AZ64 для таких типов данных, как числовые данные и данные даты и времени. Это необходимо, чтобы обеспечить как экономию объема хранилища, так и оптимизацию производительности запросов.

Неограниченное число параллельных операций. Amazon Redshift обеспечивает стабильно высокую производительность даже при параллельном выполнении тысяч запросов вне зависимости от того, обращаются они к данным в хранилище Redshift или напрямую к озеру данных в Amazon S3. Параллельное масштабирование Amazon Redshift поддерживает практически неограниченное число одновременно работающих пользователей и одновременных запросов с неизменным качеством обслуживания. Таким образом сервис может добавлять временные ресурсы за несколько секунд по мере роста параллельной нагрузки. Подробнее.

Материализованные представления. Материализованные представления Amazon Redshift позволяют значительно повысить производительность запросов для итеративных или прогнозируемых аналитических рабочих нагрузок, таких как отображение информации на информационных панелях и выполнение запросов из инструментов бизнес‑аналитики (BI) и задания по извлечению, преобразованию и загрузке данных (ELT). Материализованные представления можно использовать для упрощения хранения предварительно обработанных результатов выражения SELECT, которые могут ссылаться на одну или несколько таблиц, в том числе внешних, и для управления этими данными. Последующие запросы со ссылкой на материализованные представления могут выполняться намного быстрее за счет использования предварительно обработанных результатов. Amazon Redshift может эффективно поддерживать материализованные представления в постепенной манере, в то время как преимущества производительности с низкой задержкой предоставляются непрерывно. Дополнительные сведения.

Автоматизированные материализованные представления. Организации создают все больше зависящих от данных приложений, информационных панелей, отчетов и спонтанных запросов – чего никогда не было раньше. Каждое приложение нужно настраивать и оптимизировать, что требует времени, ресурсов и денег. Материализованные представления — это мощный инструмент повышения производительности запросов, и их можно настроить при хорошем понимании рабочей нагрузки. Но у вас могу быть быстро растущие и изменяющиеся рабочие нагрузки, в которых сложно предсказать шаблоны запросов. Автоматизированные материализованные представления повышают пропускную способность, снижают задержки и ускоряют выполнение запросов за счет автоматического обновления, автоматического переписывания запросов, инкрементального обновления и непрерывного контроля кластеров Amazon Redshift. Amazon Redshift оптимизирует создание и управление автоматизированными материализованными представлениями с минимальным использованием ресурсов. Дополнительные сведения.

Машинное обучение для оптимизации пропускной способности и производительности. Продвинутые возможности машинного обучения в Amazon Redshift обеспечивают высокую пропускную способность и производительность даже при переменных рабочих нагрузках или значительной одновременной активности пользователей. Amazon Redshift использует сложные алгоритмы для прогнозирования и классификации входящих запросов на основе их времени выполнения и требований к ресурсам. Такой подход позволяет осуществлять динамическое управление производительностью и параллельными операциями, а также помогает расставлять приоритеты для критически важных рабочих нагрузок. Функция ускорения коротких запросов (SQA) отправляет короткие запросы от таких приложений, как информационные панели, в экспресс‑очередь для немедленной обработки, позволяя им не простаивать в очереди за объемными запросами. Автоматическое управление рабочими нагрузками (WLM) использует машинное обучение для динамического управления памятью и параллельными операциями. Такой подход помогает оптимизировать пропускную способность запросов. Кроме того, теперь вы можете без труда расставить приоритеты для наиболее важных запросов, даже когда их число достигает нескольких сотен. Amazon Redshift – это в том числе самообучающаяся система, которая следит за рабочей нагрузкой пользователя, определяет возможности для повышения производительности по мере роста объема использования, эффективно оптимизирует работу и дает рекомендации через Redshift Advisor, когда дальнейшее повышение производительности Redshift требует явных действий пользователя.

Кэширование результатов. С возможностью кэширования результатов в Amazon Redshift можно обрабатывать повторяющиеся запросы за доли секунды. Благодаря этому значительно увеличивается производительность панелей управления, а также инструментов визуализации и бизнес‑аналитики, которые выполняют повторяющиеся запросы. При получении запроса Amazon Redshift выполняет поиск по кэшу, в котором может храниться результат прошлой обработки такого запроса. Если результат был найден в кэше и данные не изменились, сервис незамедлительно выдает этот результат вместо повторного выполнения запроса.

Хранилища данных объемом до нескольких петабайт. Чтобы изменить количество или тип узлов в хранилище данных либо осуществить масштабирование в любом направлении в зависимости от текущих потребностей, достаточно нескольких щелчков мышью в консоли или простого вызова API. С управляемым хранилищем емкость добавляется автоматически для поддержки рабочих нагрузок объемом до 8 ПБ сжатых данных. Вы также можете выполнять запросы к петабайтам данных в Amazon S3 без необходимости загружать или преобразовывать эти данные благодаря возможности Amazon Redshift Spectrum. Безопасное и экономичное озеро данных с высокой доступностью Amazon S3 можно использовать для хранения неограниченных объемов данных в открытых форматах. Redshift Spectrum выполняет запросы на тысячах параллельно работающих узлов, чтобы пользователи могли быстро получать результаты вне зависимости от сложности запроса или объема данных.

Гибкие варианты цен. Amazon Redshift является наиболее экономичным хранилищем данных и предоставляет пользователям возможность оптимизировать оплату. Работу с сервисом можно начать по тарифу 0,25 USD в час без обязательств, а затем масштабировать операции всего за 1000 USD за терабайт данных в год. Amazon Redshift – это единственное облачное хранилище данных, которое предлагает сразу несколько вариантов оплаты: оплату ресурсов по требованию без авансовых платежей, резервирование инстансов на один или три года с экономией вплоть до 75 % либо плату за выполнение конкретных запросов на основании объема данных, считанных сервисом в озере данных Amazon S3. Цены Amazon Redshift включают в себя встроенную защиту и сжатие данных, резервное хранилище и плату за передачу данных. По мере увеличения объема данных вы можете использовать управляемое хранилище на инстансах RA3 для экономичного хранения по цене 0,024 USD за гигабайт в месяц.

Предсказуемая стоимость даже в случае непредсказуемых нагрузок. Amazon Redshift позволяет масштабировать ресурсы с минимальными колебаниями стоимости операций, поскольку каждый кластер накапливает до одного часа бесплатных кредитов для параллельного масштабирования в день. Этого объема бесплатных кредитов достаточно для обеспечения потребностей в параллельных операциях 97 % клиентов. Благодаря такому подходу клиенты сервиса могут уверенно прогнозировать свои месячные расходы даже в периоды колебания спроса на проведение аналитики.

Выберите тип узла, чтобы получить инстанс с оптимальной стоимостью для ваших рабочих нагрузок. Вы можете выбрать один из трех типов инстансов, чтобы оптимизировать Amazon Redshift под ваши потребности в хранении данных: узлы RA3, узлы Dense Compute и узлы Dense Storage.

Узлы RA3 позволяют масштабировать хранилище независимо от вычислительных ресурсов. С RA3 вы получаете высокопроизводительное хранилище данных, которое хранит данные в отдельном уровне хранилища. Вам нужно лишь указать объем хранилища данных для обеспечения требуемой производительности запросов.

С помощью узлов Dense Compute (DC) вы можете создавать хранилища данных с очень высокой производительностью, в которых используются мощные процессоры, большие объемы ОЗУ и твердотельные накопители (SSD). Это лучший вариант в том случае, если объемы данных не превышают 500 ГБ.

Узлы DS2 (Dense Storage) позволяют создавать большие хранилища данных с использованием жестких дисков (HDD) по низкой цене при покупке зарезервированных инстансов сроком на три года. Большинство клиентов, работающих на кластерах DS2, могут перенести рабочие нагрузки на кластеры RA3 и получить в два раза больше производительности и объема хранилища при стоимости, равной стоимости DS2.

Для масштабирования кластера или переключения между типами узлов достаточно одного вызова API или нескольких щелчков мышью в Консоли управления AWS. Подробнее см. на странице цен.

Сосредоточьтесь на том, чтобы получить ценные сведения из данных за несколько секунд и добиться улучшения бизнеса, не отвлекаясь на управление хранилищем данных.

Amazon Redshift Serverless – это бессерверный вариант сервиса Amazon Redshift, который позволяет за несколько секунд запускать аналитические рабочие нагрузки и выполнять масштабирование без настройки и управления инфраструктурой хранилища данных. При использовании Amazon Redshift Serverless каждый пользователь, будь то аналитик данных, разработчик, бизнесмен или специалист по работе с данными, получит ценные сведения по своим данным сразу же, как только загрузит эти данные в хранилище данных и начнет выполнять запросы по ним. Подробнее.

Редактор запросов версии 2. Используйте для изучения и анализа данных язык запросов SQL в веб-интерфейсе аналитики, чтобы данные в Amazon Redshift и в озере данных стали более доступными вашим аналитикам данных, специалистам по инжинирингу данных и другим пользователям, привычным к SQL. Редактор запросов версии 2 позволяет одним щелчком мыши визуализировать результаты запросов, создавать схемы и таблицы, загружать данные с визуальным контролем и просматривать объекты базы данных. Также он предоставит вам интуитивно удобный метод для создания запросов SQL, анализов, визуализаций, аннотаций и предоставления к ним защищенного общего доступа для совместной работы с коллегами.

Автоматическое создание таблиц. Amazon Redshift отслеживает рабочие нагрузки пользователей и использует сложные алгоритмы для поиска путей улучшения физического расположения данных с целью повышения скорости обработки запросов. Автоматическая оптимизация таблиц выбирает лучшие ключи сортировки и распределения, чтобы оптимизировать производительность кластера под рабочей нагрузкой. Если Amazon Redshift определит, что применение ключа повысит производительность кластера, таблицы будут автоматически изменены без вмешательства администратора. Дополнительные функции, такие как автоматическое удаление Vacuum, автоматическая сортировка таблиц и автоматический анализ, устраняют необходимость ручного обслуживания и настройки кластеров Redshift и обеспечивают максимальную производительность новых кластеров и производственных рабочих нагрузок.

Создание запросов собственными средствами. Amazon Redshift дает дополнительную гибкость, позволяя выполнять запросы прямо в консоли или через подключенные клиентские средства SQL, библиотеки или специализированные программы для анализа данных, такие как Amazon QuickSight, Tableau, PowerBI, QueryBook или Jupyter Notebook.

Простой API данных для взаимодействия с Amazon Redshift. Amazon Redshift дает возможность без проблем работать с данными всех типов традиционных, облачных и контейнерных бессерверных приложений на основе веб-сервисов и управляемых событиями приложений. API данных Amazon Redshift упрощает доступ к данным, их загрузку и передачу из языков и с платформ программирования, которые поддерживаются SDK AWS, в том числе Python, Go, Java, Node.js, PHP, Ruby и C++. Благодаря API данных нет необходимости в настройке драйверов и управлении подключениями к базам данных. Вместо этого можно запускать команды SQL в кластере Amazon Redshift, просто вызывая защищенную конечную точку API, предоставляемую API данных. API данных обеспечивает управление подключениями к базе данных и буферизацию данных. API данных является асинхронным, поэтому необходимые результаты можно получить позже. Результаты обработки запроса хранятся 24 часа.

Отказоустойчивость. В сервисе предусмотрено несколько возможностей для повышения надежности кластера хранилища данных. Amazon Redshift ведет непрерывный мониторинг состояния кластера, автоматически реплицирует данные с неисправных дисков и заменяет узлы по мере необходимости для обеспечения отказоустойчивости. Кластеры также можно перемещать в альтернативные зоны доступности без потери данных и изменения приложений.

AWS обладает широкими возможностями обеспечения безопасности для удовлетворения самых высоких требований, а Amazon Redshift обеспечивает готовую защиту данных без дополнительных затрат.

Точное управление доступом. Детальный контроль безопасности на уровне отдельных строк и столбцов позволяет давать пользователям доступ к конкретным данным. Amazon Redshift интегрирован с AWS Lake Formation, что обеспечивает принятый в Lake Formation контроль доступа на уровне столбцов в том числе для запросов Redshift к данным в озере данных.

Совместное использование данных Amazon Redshift поддерживает централизованный контроль доступа с AWS Lake Formation с целью упрощения управления данными, передаваемыми из Amazon Redshift. AWS Lake Formation (LF) – это сервис, который упрощает настройку безопасных озер данных и централизованное точное управление доступом к данным во всех потребляющих сервисах, а также применение элементов управления на уровне строк и столбцов.

Динамическая маскировка данных. С помощью динамического маскирования данных клиенты могут легко защищать свои конфиденциальные данные, ограничивая количество персональных данных, видимых пользователям, а также определять несколько уровней разрешений для таких полей, чтобы разные пользователи и группы могли иметь разные уровни доступа к данным без необходимости создавать несколько копий данных через привычный интерфейс SQL в Redshift.

Несколько зон доступности. Новая конфигурация Redshift Multi-AZ еще больше расширяет возможности восстановления, сокращая при этом время восстановления и гарантируя возможность автоматического восстановления без потери данных. Хранилище данных Redshift в нескольких зонах доступности обеспечивает максимальную производительность и ценность, что обеспечивает высокую доступность без применения резервных ресурсов.

Комплексное шифрование. С помощью всего нескольких параметров вы можете настроить использование сертификата SSL в сервисе Amazon Redshift для обеспечения безопасности данных в движении, а для шифрования данных в местах хранения можно использовать протокол AES‑256 с аппаратным ускорением. Если включить шифрование данных при хранении, все данные, записанные на диск, будут зашифрованы вместе с их резервными копиями. По умолчанию сервис Amazon Redshift осуществляет управление ключами шифрования самостоятельно.

Изолирование сети. Amazon Redshift позволяет настроить правила брандмауэра для управления сетевым доступом к кластеру хранилища данных. Вы можете запустить Amazon Redshift внутри сервиса Виртуальное частное облако (VPC), чтобы изолировать кластер хранилища данных в собственной виртуальной сети и подключить его к имеющейся ИТ‑инфраструктуре с помощью зашифрованной сети IPsec VPN отраслевого стандарта.

Аудит и соответствие требованиям. Сервис Amazon Redshift интегрирован с AWS CloudTrail, что обеспечивает возможность проведения аудита всех вызовов API Redshift. Сервис Redshift вносит в журнал все операции SQL, включая попытки подключения, запросы и изменения хранилища данных. Доступ к этим журналам можно получить с помощью SQL‑запросов к системным таблицам. Также журналы можно сохранить в надежном расположении в Amazon S3. Amazon Redshift соответствует требованиям стандартов SOC 1, SOC 2, SOC 3 и PCI DSS Level 1. Подробнее см. на странице Соответствие облака AWS нормативным требованиям.

Токенизация. Настраиваемые функции Amazon Lambda (UDF) позволяют использовать функцию AWS Lambda в качестве UDF в Amazon Redshift и вызывать ее с помощью запросов Redshift SQL. Эта функция позволяет создавать собственные расширения для SQL-запроса, чтобы обеспечить более тесную интеграцию с другими службами и продуктами сторонних производителей. Вы можете создавать UDF Lambda для включения внешней токенизации, маскировки данных, сохранения и удаления идентификационных данных за счет интеграции с такими поставщиками, как Protegrity, а также для организации или снятия защиты конфиденциальных данных на основе разрешений и групп пользователя в ходе обработки запроса.

Узнайте больше о новых возможностях.

Более подробную информацию о продукте см. в документации Amazon Redshift.