Интеграция Amazon Aurora и Amazon Redshift с нулевым использованием ETL обеспечивает функции аналитики и машинного обучения (МО) практически в реальном времени за счет применения Amazon Redshift к транзакционных данных в объеме до нескольких петабайтов. В течение нескольких секунд после записи данных о транзакции в Amazon Aurora эти данные будут эффективно переданы в Amazon Redshift благодаря интеграции с нулевым использованием ETL. Это избавляет от необходимости создавать и поддерживать сложные конвейеры данных для операций по извлечению, преобразованию и загрузке (ETL).
Преимущества
Доступ к данным почти в реальном времени
Получите доступ к транзакционным данным от Aurora в Amazon Redshift за считанные секунды, чтобы выполнять аналитику и машинное обучение на основе петабайтов данных практически в реальном времени.
Простота использования
Быстро анализируйте транзакционные данные практически в реальном времени без необходимости создавать конвейеры ETL и управлять ими для передачи транзакционных данных в аналитические системы.
Беспроблемная интеграция данных
Консолидируйте несколько таблиц из разных кластеров баз данных Aurora и выполняйте репликацию данных в одно хранилище данных Amazon Redshift для получения унифицированной аналитики по нескольким приложениям и источникам данных.
Нет необходимости управлять инфраструктурой
Создавайте аналитику транзакционных данных в режиме, близком к реальному времени, без необходимости управлять инфраструктурой конвейеров данных при использовании бессерверной конфигурации Amazon Aurora, версия 2 и бессерверного Amazon Redshift.
Примеры использования
Доступ к оперативной аналитике в режиме, близком к реального времени
Используйте аналитику Amazon Redshift и возможности машинного обучения для получения аналитической информации режиме, близком к реального времени, из транзакционных и других данных и эффективного реагирования на критические события, требующие срочного решения. Аналитика, близкая к реальному времени, поможет вам получить более точную и своевременную информацию о таких сценариях использования, как таргетинг контента, оптимизированный игровой процесс, мониторинг качества данных, обнаружение мошенничества и анализ поведения клиентов.
Масштабная аналитика
Благодаря интеграции с нулевым использованием ETL Aurora с Amazon Redshift вы можете использовать возможности Amazon Redshift для анализа петабайтов транзакционных данных, консолидированных из нескольких кластеров баз данных Aurora. Вы можете воспользоваться комплексными аналитическими возможностями Amazon Redshift, такими как встроенное машинное обучение, материализованные представления, совместное использование данных и федеративный доступ к нескольким хранилищам данных и озерам данных. Машинное обучение Amazon Redshift позволяет выполнять миллиарды прогнозов с помощью простых SQL-команд и встроенной интеграции в Amazon SageMaker.
Снижение эксплуатационной нагрузки
Перемещение данных из транзакционной базы данных в центральное хранилище данных часто требует создания, обслуживания и эксплуатации сложного решения ETL для конвейера данных. Благодаря интеграция с нулевым использованием ETL вы можете легко реплицировать схему, существующие данные и изменения данных из базы данных Aurora в новый или существующий кластер Amazon Redshift. Интеграция с нулевым использованием ETL устраняет необходимость в сложном управлении конвейером данных.
Начало работы
Чтобы создать интеграцию с нулевым использованием ETL между Aurora и Amazon Redshift, вы указываете кластер БД Aurora в качестве источника данных и хранилище данных Amazon Redshift в качестве цели. Интеграция реплицирует данные из исходной базы данных в целевое хранилище данных. Данные становятся доступными в Amazon Redshift через несколько секунд, что позволяет исследователям начать использовать аналитику и функции машинного обучения Amazon Redshift для обработки данных. Чтобы узнать больше, ознакомьтесь с руководствами по началу работы с Aurora и Amazon Redshift.
Ресурсы
Цены
- Дополнительные возможности ввода-вывода и хранилища, используемые для сбора данных об изменениях
- Затраты на экспорт снимков при первоначальном экспорте данных для заполнения баз данных Amazon Redshift
- Дополнительное хранилище Amazon Redshift для хранения реплицированных данных
- Дополнительные вычислительные ресурсы Amazon Redshift для обработки и репликации данных
- Затраты на передачу данных между зонами доступности при перемещении данных от источника к целевому объекту.
Непрерывная обработка изменений данных посредством интеграции с нулевым использованием ETL доступна бесплатно. Подробнее см. на странице цен Aurora.
Клиенты
Проверка грузов имеет решающее значение для поддержания целостности цепочки поставок для клиентов компании Infosys в сфере производства, розничной торговли и логистики. Чтобы обеспечить этот процесс, необходим сбор данных отслеживания грузов в реальном времени для их аналитики и мониторинга отправлений.
«Компания Infosys использовала возможности интеграции с нулевым использованием ETL для сбора данных в режиме реального времени, что позволяет отслеживать доставку грузов и получать информацию об их местоположении, статусе и предполагаемом времени прибытия. Это позволяет оптимизировать грузовые перевозки и значительно снизить затраты. Благодаря комплексной отчетности и аналитике с нулевым использованием ETL, а также отраслевым чертежам Infosys Cobalt и Topaz теперь мы можем принимать решения на основе данных».
Сунил Сенан, SVP and Global Head of Data, Analytics and AI (старший вице-президент и директор по глобальному развитию данных, аналитики и ИИ) в компании Infosys
Intuit – это глобальная платформа финансовых технологий, которая обеспечивает успех 100 млн потребителей и клиентов малого бизнеса с помощью TurboTax, Credit Karma, QuickBooks и Mailchimp. Учитывая сложность предстоящей миграции, в компании Intuit ожидали, что ее скорость будет ошеломляющей и составит 10 млн профилей в день. Компания Intuit обратилась к интеграции Amazon Aurora с нулевым использованием ETL в Amazon Redshift, чтобы упростить процесс получения данных и устранить необходимость в сложных инженерных работах.
«Огромный объем данных и необходимость беспрепятственной миграции стали для нас серьезной проблемой. Кроме того, необходимо было решение, которое позволило бы нам мгновенно анализировать процесс миграции и принимать быстрые решения на основе данных. Для решения этой проблемы мы обратились к интеграции Amazon Aurora с нулевым использованием ETL в Amazon Redshift, чтобы упростить процесс приема данных и устранить необходимость в сложных инженерных работах. Благодаря интеграции с нулевым использованием ETL мы смогли отправлять огромные объемы данных в Amazon Redshift без сбора данных или отдельных заданий по их обработке, что позволило быстро получать аналитическую информацию для принятия важных технических и деловых решений, сэкономив месяцы усилий, которые могли потребоваться в противном случае. Интеграция Amazon Aurora с нулевым использованием ETL в Amazon Redshift помогла нам изучить новые модели компании Intuit для крупномасштабной миграции данных и аналитики в режиме, близком к реальному времени».
Аруна Гиваре, Product Development Manager (руководитель отдела по разработке продукции) в компании Intuit
KINTO Technologies Corporation является ведущим игроком в индустрии мобильных платформ и технологической компанией, отвечающей за развитие сервиса KINTO и предоставления финансовых услуг корпорации Toyota. С помощью интеграции Amazon Aurora с нулевым использованием ETL в Amazon Redshift компания KINTO Technologies смогла создать более устойчивый конвейер данных и теперь может применять расширенные аналитические функции Amazon Redshift к своим эксплуатационным данным практически в реальном времени.
«До появления интеграции с нулевым использованием ETL мы применяли специально разработанное решение. Оно непрерывно передавало изменения из наших основных баз данных в последующие приложения, но мы постоянно сталкивались с проблемами производительности, которые влияли на нашу рабочую нагрузку. Для уменьшения этого влияния нам пришлось вручную настраивать конвейеры, чтобы реже отправлять обновления и довольствоваться старыми данными в Amazon Redshift. Благодаря интеграции Amazon Aurora с нулевым использованием ETL в Amazon Redshift мы можем всегда иметь доступ к данным в Amazon Redshift практически в реальном времени, что позволяет разработчикам не тратить много времени на ручное управление конвейерами данных для операций ETL или на решение проблем, влияющих на производительность рабочих нагрузок, что помогает снизить операционную нагрузку».
Хитоши Кагеяма, Executive Vice President (исполнительный вице-президент) в корпорации KINTO Technologies
Компания Money Forward i стремится повысить производительность и творческий потенциал ИТ-команд в организациях благодаря оптимизации повторяющихся задач, сокращению расходов и укреплению безопасности с помощью Admina, интуитивно понятной платформы управления SaaS.
«До выхода интеграции Amazon Aurora с нулевым использованием ETL в Amazon Redshift задача внедрения и поддержки наших операций ETL по анализу данных продуктов из Amazon Aurora MySQL в Amazon Redshift была непростой. Интеграция Amazon Aurora с нулевым использованием ETL в Amazon Redshift обеспечивает синхронизацию данных между нашими базами данных Aurora MySQL и Amazon Redshift практически в реальном времени, сокращая срок создания аналитической среды с месяца до трех часов. Помимо снижения первоначальной нагрузки на этапе разработки, интеграция с нулевым использованием ETL уменьшает влияние на производственную среду, что позволяет создать среду анализа с минимальными затратами и максимальной скоростью».
Кацутоши Мураками, Director and CPO (руководитель и директор по разработке программных продуктов) в компании Money Forward i
Woolworths – ведущая компания розничной торговли в странах Африки к югу от Сахары, предлагающая широкий ассортимент качественной одежды, товаров общего назначения и продуктов питания с акцентом на инновации, ценности и устойчивое развитие.
«Получение своевременной аналитической информации на основе наших данных очень важно, так как это означает, что мы можем быстро продвигать решения, основанные на данных, в нашем бизнесе и эффективно реагировать на критические и срочные события. Обработка данных об изменениях и коагуляции записей отнимала много времени и была более дорогостоящей, чем ожидалось. Применяя интеграцию Amazon Aurora с нулевым использованием ETL в Amazon Redshift, мы смогли получить те же результаты за день, на разработку которых в противном случае потребовалось бы два месяца из-за инженерных усилий, необходимых для операций ETL. Благодаря интеграции наша задержка данных была значительно снижена, так как они были готовы к запросу, что позволило нам быстрее принимать решения по мере развития событий. При помощи интеграции Amazon Aurora с нулевым использованием ETL в Amazon Redshift мы сократили расходы, затраты на проектирование и количество точек отказа в управлении конвейерами».
Раэми Шредер, Business Intelligence Lead (руководитель отдела бизнес-аналитики) в компании Woolworths
Знакомство с возможностями Aurora