Облако AWS
Облако AWS
Начать работу с бесплатной пробной версией

Amazon Redshift – это полностью управляемое высокоскоростное хранилище данных, которое позволяет выполнять анализ всех данных проще и дешевле с помощью стандартного языка SQL и имеющихся инструментов бизнес-аналитики (BI). Сервис позволяет выполнять сложные аналитические запросы к петабайтам структурированных данных, используя сложную оптимизацию запросов, столбчатые хранилища на высокопроизводительных локальных дисках и массово-параллельное выполнение запросов. Большинство результатов могут быть получены за считаные секунды. Вы можете начать работу с Amazon Redshift с малого всего за 0,25 USD в час без каких-либо обязательств и выполнять масштабирование до нескольких петабайтов данных по цене 1000 USD за терабайт в год. Это в десять раз меньше стоимости других решений.

Amazon Redshift также включает в себя Redshift Spectrum, позволяющий отправлять SQL-запросы непосредственно к эксабайтам неструктурированных данных в Amazon S3. Загрузка или преобразование данных не требуется, можно использовать открытые форматы данных, такие как CSV, TSV, Parquet, Sequence и RCFile. Redshift Spectrum автоматически масштабирует вычислительные ресурсы, необходимые для выполнения запроса к извлекаемым данным, поэтому запросы к Amazon S3 выполняются быстро при любых объемах данных. Подробнее о Redshift Spectrum »

Быстрая и стабильная работа

Скорость

Amazon Redshift обеспечивает высокую скорость обработки запросов, используя для повышения эффективности ввода-вывода технологию столбчатых хранилищ и распределяя запросы между несколькими узлами. Скорость загрузки данных масштабируется линейно с размером кластера; обеспечена интеграция с Amazon S3, Amazon DynamoDB, Amazon EMR, Amazon Kinesis и любым хостом с поддержкой SSH.

Высокая масштабируемость

Экономичность

Вы платите только за то, что используете. Любое количество пользователей может запускать любые объемы аналитических задач по всем данным всего за 1000 USD за терабайт в год, что в 10 раз дешевле традиционных решений для хранения данных. Большинство клиентов получают ежегодную экономию в 250–333 USD на каждый исходный терабайт данных за счет трех- или даже четырехкратного уменьшения размера данных после сжатия.

Стабильная высокая производительность

Расширяемость

Redshift Spectrum позволяет выполнять запросы к эксабайтам данных в Amazon S3 так же легко, как выполняются запросы к петабайтам данных, которые хранятся на локальных дисках в Amazon Redshift, используя тот же синтаксис SQL и привычные инструменты BI. Можно хранить высокоструктурированные, часто запрашиваемые данные на локальных дисках Redshift, хранить огромное количество неструктурированных данных в «озере данных» Amazon S3 и эффективно опрашивать данные в обоих хранилищах.

Гибкость

Простота

Amazon Redshift позволяет без труда автоматизировать большинство типичных административных задач и упростить мониторинг и масштабирование вашего хранилища, а также управление им. Взяв на себя все эти трудоемкие, затратные по времени задачи, Amazon Redshift освобождает ресурсы пользователей для работы с данными и решения бизнес-задач.

Высокая масштабируемость

Масштабируемость

В зависимости от требований к ресурсам и производительности размер кластера можно увеличивать или уменьшать всего за пару щелчков мышью в консоли управления или с помощью простых вызовов API.

Гибкость

Безопасность

Встроенная система безопасности. Вы можете шифровать данные при хранении и передаче с помощью шифрования AES-256 с аппаратным ускорением и SSL, изолировать кластеры, используя Amazon VPC, и даже управлять ключами с помощью службы AWS Key Management Service (KMS) и аппаратных модулей безопасности (HSM).

Событийно-ориентированное программирование

Совместимость

Amazon Redshift поддерживает стандартный клиент SQL и предоставляет настраиваемые драйверы JDBC и ODBC в консоли. Это позволяет использовать большинство знакомых SQL-клиентов. Доступны также стандартные драйверы PostgreSQL JDBC и ODBC.

Оптимизировано для хранения данных

В Amazon Redshift используется множество инноваций для достижения максимально высокой производительности при обработке запросов в наборах данных, размер которых составляет от сотен гигабайт до эксабайта и более. Для хранения петабайтов локальных данных в данном сервисе используется столбчатое хранилище, сжатие данных и карты зон, что позволяет сократить количество операций ввода-вывода, требуемых для выполнения запросов. Сервис Amazon Redshift основан на массово-параллельной архитектуре хранилища данных (MPP), которая распределяет и параллельно выполняет операции SQL для максимального использования всех доступных ресурсов. Базовое оборудование предназначено для высокопроизводительной обработки данных с помощью локально подключенного хранилища для обеспечения максимальной пропускной способности между ЦПУ и дисками, а также ячеистой сети 10GigE для максимальной пропускной способности между узлами. Для работы с эксабайтами данных в Amazon S3 в сервисе Amazon Redshift используется оптимизация запросов, которая сокращает количество обрабатываемых данных и делегирует задачу выполнения запросов автоматически масштабируемому пулу инстансов Redshift Spectrum, что позволяет быстро выполнять запросы к любым объемам данных.

Петабайты данных

Чтобы изменить количество и тип узлов в хранилище данных или расширить объем хранилища сжатых пользовательских данных до петабайта и выше, достаточно пары щелчков мышью в консоли или простого вызова API. Узлы Dense Storage (DS) позволяют создать очень крупные хранилища данных с помощью жестких дисков (HDD) – и все это по крайне низкой цене. С помощью узлов Dense Compute (DC) можно создать хранилища данных с очень высокой производительностью, в которых используются ЦП, большие объемы ОЗУ и твердотельные накопители (SSD). В процессе масштабирования Amazon Redshift продолжает поддерживать обработку запросов к хранилищу в режиме чтения, пока новый кластер не будет полностью выделен и готов к работе.

Запрос данных из «озера данных» Amazon S3

Redshift Spectrum позволяет отправлять запросы к эксабайтам неструктурированных данных в Amazon S3 без необходимости их загрузки или использования ETL. При отправке запроса он поступает на SQL-сервер Amazon Redshift, который генерирует и оптимизирует план запроса. Amazon Redshift определяет, какие данные являются локальными, а какие находятся в Amazon S3, генерирует план сокращения объема данных Amazon S3, которые необходимо прочитать, запрашивает исполнителей Amazon Redshift Spectrum из общего пула ресурсов, чтобы прочитать и обработать данные из Amazon S3, и возвращает результаты в кластер Amazon Redshift для любой последующей обработки.

Никаких авансовых платежей

Вы оплачиваете только используемые ресурсы. Вы можете выбрать цены по требованию без авансовых платежей или долгосрочных обязательств либо получить существенно сниженные тарифы благодаря ценам на зарезервированные инстансы. Цены по требованию начинаются всего с 0,25 USD в час за узел DC1.Large на 160 ГБ или 0,85 USD в час за узел DS2.XLarge на 2 ТБ. С помощью зарезервированных инстансов с частичной предоплатой вы можете снизить фактическую цену до 0,10 USD за узел DC1.Large (5500 USD за ТБ в год) или 0,228 USD в час за узел DS2.XLarge (999 USD за ТБ в год). За отправку запросов Redshift Spectrum взимается плата в размере 5 USD за 1 ТБ данных, обработанных в S3. Подробности см. на странице расценок Amazon Redshift.

Отказоустойчивость

В Amazon Redshift предусмотрено несколько возможностей, которые повышают надежность кластера хранилища данных. Все данные, записанные на узел в кластере, автоматически копируются на другие узлы в кластере, и для всех данных непрерывно создаются резервные копии, передаваемые в Amazon S3. Amazon Redshift выполняет непрерывный мониторинг состояния кластера, автоматически реплицирует данные с неисправных дисков и по мере необходимости заменяет узлы.

Автоматическое резервное копирование

Amazon Redshift непрерывно создает резервные копии новых данных в автоматическом режиме и сохраняет их в Amazon S3. Там снимки состояния хранятся в течение указанного пользователем периода, от 1 до 35 дней. Можно также сделать снимок состояния вручную; такие снимки хранятся, пока не будут удалены пользователем. Сервис Amazon Redshift может также асинхронно копировать снимки состояния в хранилище S3 другого региона для аварийного восстановления. После удаления кластера снимки состояния системы также удаляются, но снимки состояния, сделанные пользователем, остаются доступными до того момента, пока не будут явно удалены.

Быстрое восстановление

Чтобы восстановить кластер с помощью Консоли управления AWS или API Amazon Redshift, можно использовать любые снимки состояния системы, в том числе пользовательские. Кластер становится доступным, как только будут восстановлены метаданные системы. Вы сможете начать отправку запросов, при этом остальные данные будут загружаться в фоновом режиме.

Шифрование

С помощью всего нескольких параметров вы можете настроить сервис Amazon Redshift на использование сертификата SSL с целью обеспечения безопасности транзитных данных и шифрования AES-256 с аппаратным ускорением для данных в местах хранения. Если активировать шифрование данных в местах хранения, все данные, записанные на диск, а также их резервные копии будут зашифрованы. По умолчанию управление ключами осуществляет сервис Amazon Redshift, но вы можете выбрать вариант управления ключами с помощью собственных аппаратных модулей безопасности (HSM), AWS CloudHSM или AWS Key Management Service.

Изолирование сети

Amazon Redshift позволяет настроить правила брандмауэра для управления сетевым доступом к кластеру хранилища данных. Amazon Redshift можно запустить в Amazon VPC, чтобы изолировать кластер хранилища данных в своей виртуальной сети и подключить его к имеющейся ИТ-инфраструктуре с помощью зашифрованного по стандартному протоколу IPsec VPN-подключения.

Аудит и соответствие требованиям

Amazon Redshift интегрируется с AWS CloudTrail, чтобы обеспечить возможность аудита всех вызовов API Redshift. Сервис Amazon Redshift также вносит в журнал все операции SQL, включая попытки подключения, запросы и изменения вашей базы данных. Доступ к этим журналам можно получить с помощью запросов SQL в системные таблицы. Вы также можете загрузить их в надежное расположение в Amazon S3. Amazon Redshift соответствует требованиям SOC1, SOC2, SOC3 и PCI DSS уровня 1. Подробнее см. на странице Соответствие облака AWS нормативным требованиям.

Больше историй клиентов Amazon Redshift из компаний разных размеров и разных отраслей см. на странице Истории успеха клиентов »

440x220_APN-Blog

Мы запускаем сервис Amazon Redshift Spectrum, чтобы вы могли обрабатывать свои данные в том виде, в каком они представлены, и там, где они находятся, используя при этом всю мощь и гибкость сервиса Amazon Redshift. Spectrum можно использовать для выполнения сложных запросов к данным, хранящимся в Amazon Simple Storage Service (S3), без необходимости загрузки или какой-либо другой подготовки данных.

Прочесть публикацию полностью »

Столбчатое сжатие является важной технологией в Amazon Redshift. Оно помогает одновременно снизить затраты клиентов за счет повышения эффективности хранения данных на узлах и повысить производительность за счет сокращения операций ввода-вывода, необходимых для обработки SQL-запросов. Повышение эффективности ввода-вывода очень важно для хранилищ данных. В прошлом году наши улучшения ввода-вывода позволили удвоить пропускную способность запросов. Давайте рассмотрим некоторые новые изменения в алгоритмах сжатия, которые недавно были добавлены в Amazon Redshift.

Прочесть публикацию полностью »

Хотя сервис потоковой передачи музыкальных видеоклипов Vevo был запущен в 2009 году, почти весь последний год работа компании больше напоминала действия недавно появившегося стартапа.

В начале этого года компания начала масштабную перезагрузку, целью которой являлось устранение исключительной зависимости от платформ, таких как YouTube. Это означало необходимость переработки своих мобильных и настольных приложений в течение года, чтобы больше пользователей начали смотреть музыкальные видеоклипы с помощью их собственных продуктов, а также добавления новых функций, таких как индивидуальная настройка и профили.

Прочесть публикацию полностью »

Полный список публикаций в блоге, посвященных Amazon Redshift, приведен на странице блога »

Информацию о всех новых возможностях сервиса Amazon Redshift см. на странице новых возможностей »

Попробуйте Amazon Redshift бесплатно. Получите 750 бесплатных часов работы узла DC1.Large в месяц в течение 2 месяцев. Чтобы попробовать Amazon Redshift бесплатно, зарегистрируйте аккаунт AWS и откройте консоль Amazon Redshift. Запустите кластер Amazon Redshift и выберите DC1.Large в качестве типа узла. Чтобы запросить поддержку в оценке или создании опытного образца, щелкните здесь.

 

Приступить к работе