AWS Glue

Находите, подготавливайте и интегрируйте данные любого масштаба

1 миллион объектов в хранилище бесплатно

Как это работает

AWS Glue – это бессерверный сервис интеграции данных, который упрощает поиск, подготовку, перемещение и интеграцию данных из множества источников для анализа, машинного обучения и разработки приложений.

  • Задания ETL, управляемые событиями
  • Сервис AWS Glue может запускать ваши задания ETL по мере поступления новых данных. К примеру, вы можете настроить AWS Glue таким образом, чтобы запуск ваших заданий ETL выполнялся тогда, когда новые данные становятся доступными в Простом сервисе хранения данных Amazon (S3).

    Схема, показывающая, как сервис AWS Glue может запускать задания ETL по мере поступления новых данных.
  • Каталог данных AWS Glue
  • Каталог данных можно использовать для быстрого обнаружения данных и поиска различных наборов данных на AWS без перемещения данных. После каталогизации данные сразу становятся доступными для выполнения поиска и запросов с помощью Amazon Athena, Amazon EMR и Amazon Redshift Spectrum.

    Схема, показывающая, как Каталог данных обнаруживает и ищет наборы данных без перемещения данных.
  • Бескодовые задания ETL
  • Сервис AWS Glue Studio упрощает визуальное создание, запуск и мониторинг ETL-заданий AWS Glue. Вы можете создавать задания ETL, которые перемещают и преобразовывают данные с помощью редактора с поддержкой перетаскивания объектов мышью, а AWS Glue будет автоматически генерировать код.

    Схема, показывающая, как пользователи могут составлять задания ETL, которые перемещают и преобразовывают данные с помощью редактора с поддержкой перетаскивания объектов мышью.
  • Самостоятельная подготовка данных
  • Благодаря AWS Glue DataBrew можно экспериментировать с данными непосредственно из озера данных, хранилищ данных и баз данных, включая Amazon S3, Amazon Redshift, AWS Lake Formation, Amazon Aurora и Службу реляционных баз данных Amazon (RDS), а также изучать такие данные. Сервис DataBrew представляет вашему вниманию более 250 предварительно созданных преобразований для автоматизации таких задач по подготовке данных, как фильтрация аномалий, стандартизация форматов и исправление недопустимых значений.

    Схема, показывающая, как сервис DataBrew автоматизирует подготовку данных для пользователей.
Знакомство с AWS Glue (01:54)
Зачем использовать AWS Glue?
Подготовка данных для получения качественных результатов является первым этапом в проектах аналитики или машинного обучения. AWS Glue – бессерверный сервис интеграции данных, с помощью которого можно легко, быстро и экономично подготавливать данные. Вы можете обнаруживать более 70 различных источников данных и подключаться к ним, управлять данными в централизованном каталоге данных, а также визуально создавать, запускать и отслеживать конвейеры ETL для загрузки данных в озера данных.

Примеры использования

Упрощение разработки конвейера ETL

Избавьтесь от необходимости в управлении удаленной инфраструктурой благодаря автоматическому распределению и управлению работниками, используйте один сервис, который удовлетворит все ваши потребности по интеграции данных.

Подробнее об автомасштабировании AWS Glue »

Эффективное обнаружение данных

Быстро идентифицируйте данные из многих наборов данных AWS, а затем делайте их сразу же доступными для опроса и преобразования.

Подробнее о каталоге данных AWS Glue »

Интерактивное изучение, экспериментирование и обработка данных

Используя интерактивные сеансы AWS Glue, специалисты по работе с данными могут в интерактивном режиме изучать и подготавливать данные с использованием интегрированной среды разработки (IDE) или выбранного блокнота.

Подробнее об интерактивных сеансах AWS Glue »

Поддержка различных платформ и рабочих нагрузок для обработки

Упростите обеспечение поддержки различных платформ обработки данных, таких как ETL и ELT, и различных рабочих нагрузок, включая пакеты, микропакеты и потоки.

Подробнее о потоковой передаче заданий ETL »

С чего начать

Протестируйте AWS Glue бесплатно

Находите, подготавливайте, перемещайте и интегрируйте данные из нескольких источников с легкостью, присущей бессерверной среде.

Выполняйте разработку с помощью AWS Glue

Узнайте, как создавать конвейеры данных с помощью визуального интерфейса ETL AWS Glue Studio.

Интегрируйте свои данные

Следуйте предоставленным инструкциям, чтобы настроить и начать работу с AWS Glue.


Подробнее об AWS