AWS Glue
Находите, подготавливайте и интегрируйте данные любого масштаба
1 миллион объектов в хранилище бесплатно
Как это работает
AWS Glue — это бессерверный сервис интеграции данных, который упрощает поиск, подготовку, перемещение и интеграцию данных из множества источников для анализа, машинного обучения и разработки приложений.
-
Варианты движков для интеграции данных
-
Задания ETL, управляемые событиями
-
Каталог данных AWS Glue
-
Бескодовые задания ETL
-
Мониторинг качества данных и управление им
-
Подготовка данных
-
Варианты движков для интеграции данных
-
Выберите желаемый движок для интеграции данных в AWS Glue, чтобы поддерживать своих пользователей и рабочие нагрузки.
-
Задания ETL, управляемые событиями
-
Сервис AWS Glue может запускать ваши задания ETL по мере поступления новых данных. К примеру, вы можете настроить AWS Glue таким образом, чтобы запуск ваших заданий ETL выполнялся тогда, когда новые данные становятся доступными в Простом сервисе хранения данных Amazon (S3).
-
Каталог данных AWS Glue
-
Каталог данных можно использовать для быстрого обнаружения данных и поиска различных наборов данных на AWS без перемещения данных. После каталогизации данные сразу становятся доступными для выполнения поиска и запросов с помощью Amazon Athena, Amazon EMR и Amazon Redshift Spectrum.
-
Бескодовые задания ETL
-
Сервис AWS Glue Studio упрощает визуальное создание, запуск и мониторинг ETL-заданий AWS Glue. Вы можете создавать задания ETL, которые перемещают и преобразовывают данные с помощью редактора с поддержкой перетаскивания объектов мышью, а AWS Glue будет автоматически генерировать код.
-
Мониторинг качества данных и управление им
-
AWS Glue Data Quality автоматизирует создание правил для качества данных, управление и мониторинг. Это помогает обеспечить высокое качество данных, во всех озерах и каналах передачи данных.
-
Подготовка данных
-
Благодаря AWS Glue DataBrew можно экспериментировать с данными непосредственно из озера данных, хранилищ данных и баз данных, включая Amazon S3, Amazon Redshift, AWS Lake Formation, Amazon Aurora и Службу реляционных баз данных Amazon (RDS), а также изучать такие данные. Сервис DataBrew представляет вашему вниманию более 250 предварительно созданных преобразований для автоматизации таких задач по подготовке данных, как фильтрация аномалий, стандартизация форматов и исправление недопустимых значений.
Примеры использования
Упрощение разработки конвейера ETL
Избавьтесь от необходимости в управлении удаленной инфраструктурой благодаря автоматическому распределению и управлению работниками, используйте один сервис, который удовлетворит все ваши потребности по интеграции данных.
Эффективное обнаружение данных
Быстро идентифицируйте данные из многих наборов данных AWS, а затем делайте их сразу же доступными для опроса и преобразования.
Интерактивное изучение, экспериментирование и обработка данных
Используя интерактивные сеансы AWS Glue, специалисты по работе с данными могут в интерактивном режиме изучать и подготавливать данные с использованием интегрированной среды разработки (IDE) или выбранного блокнота.
Поддержка различных платформ и рабочих нагрузок для обработки
Упростите обеспечение поддержки различных платформ обработки данных, таких как ETL и ELT, и различных рабочих нагрузок, включая пакеты, микропакеты и потоки.
Клиенты
С чего начать
Протестируйте AWS Glue бесплатно
Находите, подготавливайте, перемещайте и интегрируйте данные из нескольких источников с легкостью, присущей бессерверной среде.
Выполняйте разработку с помощью AWS Glue
Узнайте, как создавать конвейеры данных с помощью визуального интерфейса ETL AWS Glue Studio.
Интегрируйте свои данные
Следуйте предоставленным инструкциям, чтобы настроить и начать работу с AWS Glue.