Возможности Amazon Redshift

Анализируйте все унифицированные данные с помощью SQL благодаря интеграции Amazon Redshift с озером данных SageMaker. Запрашивайте данные Amazon Simple Storage Service (Amazon S3) в открытых форматах без необходимости перемещения данных между озерами и хранилищами. Откройте данные Amazon Redshift в озере данных SageMaker, чтобы получить доступ к аналитическим инструментам AWS и Apache Iceberg, поддерживающим комплексный анализ данных и машинное обучение.

Amazon Redshift поддерживает запросы только для чтения с использованием ANSI SQL для табличных форматов, таких как Apache Iceberg, Apache Hudi и Delta Lake, а также для открытых форматов данных, включая Apache Parquet, ORC, Avro, JSON и CSV, напрямую из Amazon S3. Apache Iceberg – это формат таблиц с открытым исходным кодом, обеспечивающий согласованность транзакций и улучшенную организацию озер данных благодаря своей табличной структуре. С помощью Amazon Redshift Spectrum можно выполнять чтение таблиц и данных в открытых форматах, таких как Parquet, из озера данных, сохраняя большие объемы структурированных, полуструктурированных и неструктурированных данных в Amazon S3. Для экспорта данных в озеро данных доступна команда Amazon Redshift UNLOAD, поддерживающая экспорт в форматы, такие как Parquet. Экспорт данных из Amazon Redshift обратно в озеро данных позволяет дополнительно проводить их анализ с помощью таких сервисов AWS, как Amazon Athena, Amazon EMR и SageMaker.

Используйте для изучения и анализа данных язык запросов SQL в веб-интерфейсе аналитики, чтобы данные в Amazon Redshift и в озере данных стали более доступными вашим специалистам по анализу и инженерам данных и другим пользователям, которые привыкли работать к SQL. Редактор запросов позволяет в один шаг визуализировать результаты запросов, создавать схемы и таблицы, визуально загружать данные и просматривать объекты базы данных. Также он предоставит вам интуитивно удобный метод для создания запросов SQL, анализов, визуализаций, аннотаций и предоставления к ним защищенного общего доступа для совместной работы с коллегами.

Используйте встроенный редактор SQL на базе Amazon Redshift в SageMaker Unified Studio, единой среде разработки данных и ИИ, для запросов к данным, хранящимся в озерах данных, хранилищах данных, базах данных и приложениях.

Интеграция Aurora, Amazon Relational Database Service (Amazon RDS), Amazon DynamoDB, корпоративных приложений и Amazon Redshift без написания кода позволяет мгновенно проводить аналитику и машинное обучение, обрабатывая петабайты данных из баз данных и приложений. Например, данные, поступающие из операционных, транзакционных или корпоративных источников, могут быть беспрепятственно доступны в Amazon Redshift благодаря интеграции Aurora Zero-ETL. Это минимизирует необходимость создания и управления сложными ETL-конвейерами.

Упростите и автоматизируйте получение данных из Amazon S3, сократив время и усилия на создание собственных решений или управление сторонними сервисами. С этой функцией Amazon Redshift вам не придется вручную и много раз выполнять процедуру копирования, автоматизируя прием файлов и заботясь о непрерывных этапах загрузки данных. Поддержка автоматического копирования дает возможность бизнес-пользователям и специалистам по аналитике данных без знаний в области разработки данных создавать правила приема и настраивать расположение данных, которые они хотят загрузить из Amazon S3.

Используйте SQL для подключения и прямого приема данных из потоков данных Amazon Kinesis и управляемой потоковой передачи Amazon для Apache Kafka (Amazon MSK). Кроме того, Получение данных потоковой передачи Amazon Redshift упрощает создание нисходящих конвейеров и управление ими, позволяя создавать материализованные представления непосредственно поверх потоков. Материализованные представления также могут включать преобразования SQL как часть конвейера ELT. Вы можете вручную обновлять определенные материализованные представления, чтобы запрашивать последние потоковые данные.

Запрашивайте оперативные данные из одного или нескольких инстансов Amazon RDS, включая совместимые версии Amazon Aurora PostgreSQL, Amazon RDS для MySQL и Amazon Aurora, совместимую с MySQL, чтобы получить мгновенные представления о бизнес-операциях без необходимости перемещать данные.

Анализируйте данные за считаные секунды в нужных масштабах без необходимости настраивать инфраструктуру хранилища данных и управлять ею. Технология масштабирования и оптимизации на основе ИИ (доступно в ознакомительной версии) позволяет бессерверному Amazon Redshift заранее автоматически выделять и масштабировать емкость хранилища данных, обеспечивая высокую производительность даже для самых требовательных рабочих нагрузок. Система использует методы искусственного интеллекта для изучения закономерностей рабочей нагрузки клиентов по ключевым параметрам, таким как параллельные запросы, сложность запросов, приток объема данных и ETL. Впоследствии она постоянно корректирует ресурсы в течение дня и применяет индивидуальные методы оптимизации производительности. После установки пользователем целевого показателя производительности хранилище данных будет автоматически масштабироваться в соответствии с ним.

Сложные алгоритмы для прогнозирования и классификации входящих запросов на основе их времени выполнения и требований к ресурсам позволяют осуществлять динамическое управление производительностью и параллельными операциями, а также расставлять приоритеты для критически важных рабочих нагрузок. Функция ускорения коротких запросов (SQA) отправляет короткие запросы от таких приложений, как информационные панели, в экспресс‑очередь для немедленной обработки, позволяя им не простаивать в очереди из-за объемных запросов. Автоматическое управление рабочими нагрузками (WLM) использует машинное обучение для динамического управления памятью и параллельными операциями. Такой подход помогает оптимизировать пропускную способность запросов. Кроме того, теперь вы можете расставлять приоритеты для наиболее важных запросов, даже когда их число достигает нескольких сотен. Amazon Redshift Advisor дает рекомендации в тех случаях, когда дальнейшее повышение производительности Amazon Redshift требует явного участия пользователя. Автоматизированные материализованные представления повышают пропускную способность при динамических рабочих нагрузках, когда шаблоны запросов не поддаются прогнозированию, снижают задержки и ускоряют выполнение запросов за счет автоматического обновления, автоматического переписывания запросов, поэтапного обновления и непрерывного контроля кластеров Amazon Redshift. Автоматическая оптимизация таблиц выбирает ключи сортировки и распределения, чтобы оптимизировать производительность кластера под рабочей нагрузкой. Если Amazon Redshift определит, что применение ключа повысит производительность кластера, таблицы будут автоматически изменены без вмешательства администратора. Дополнительные функции, такие как автоматическое удаление Vacuum, автоматическая сортировка таблиц и автоматический анализ, устраняют необходимость ручного обслуживания и настройки кластеров Amazon Redshift и обеспечивают максимальную производительность новых кластеров и производственных рабочих нагрузок.

Используйте простой API данных для взаимодействия с Amazon Redshift. Amazon Redshift дает возможность без проблем работать с данными всех типов традиционных, облачных и контейнерных бессерверных приложений на основе веб-сервисов и управляемых событиями приложений. API данных Amazon Redshift упрощает доступ к данным, их загрузку и передачу из языков и с платформ программирования, которые поддерживаются SDK AWS, в том числе Python, Go, Java, Node.js, PHP, Ruby и C++. Благодаря API данных нет необходимости в настройке драйверов и управлении подключениями к базам данных. Вместо этого можно запускать команды SQL в кластере Amazon Redshift, вызывая защищенную конечную точку API, предоставляемую API данных. API данных обеспечивает управление подключениями к базе данных и буферизацию данных. API данных является асинхронным, поэтому необходимые результаты можно получить позже. Результаты обработки запроса хранятся 24 часа.

Выполняйте запросы в консоли или подключайте клиентские инструменты SQL, библиотеки либо инструменты обработки данных, включая QuickSight, Tableau, Microsoft Power BI, Alteryx, Querybook, Jupyter Notebook, Informatica, dbt, MicroStrategy и Looker.

Используйте простой английский язык для написания запросов в Редакторе запросов Amazon Redshift, чтобы получить точные SQL-рекомендации, соответствующие вашим разрешениям на доступ к данным.

Amazon Redshift легко интегрируется с Amazon Bedrock, предоставляя возможности прямого использования генеративного ИИ через стандартные SQL-команды. Эта интеграция позволяет командам использовать базовые модели, такие как Anthropic Claude и Amazon Titan, для задач, таких как анализ текста, перевод и определение настроений, без необходимости в сложной инфраструктуре. Пользователи могут легко применять модели ИИ в существующих рабочих процессах анализа данных, что преобразует методы извлечения ценной информации из корпоративных данных.

Функция Amazon Redshift ML упрощает создание, обучение и развертывание моделей SageMaker с использованием SQL для специалистов по анализу и обработке данных, бизнес-аналитиков и разработчиков. С помощью Amazon Redshift ML вы можете использовать операторы SQL для создания и обучения моделей SageMaker в Amazon Redshift на основе своих данных, а затем использовать эти модели для прогнозирования, например для обнаружение оттока клиентов, финансовых прогнозов, персонализации и оценки рисков прямо в своих запросах и отчетах. Интегрируйте крупные языковые модели в Amazon Redshift для выполнения сложных задач обработки естественного языка, включая суммирование текста, извлечение сущностей и анализ настроений. Это позволит получать более глубокие инсайты из данных с помощью SQL-запросов.