AWS Glue объявляет о поддержке VPC, уточняющих фильтров и секционирования для коннектора REST API
AWS Glue теперь поддерживает соединения VPC, уточняющие фильтры и секционирование для коннектора REST API. Коннектор REST API позволяет получать данные из любого источника, предоставляющего API на основе REST, включая собственные системы и новые платформы без встроенных коннекторов AWS Glue. Начиная с этого выпуска вы сможете управлять конвейерами ETL из источников данных с адресами REST API, безопасно подключаясь к частным адресам, передавая только необходимые им данные и распараллеливая операции чтения для более быстрого приема данных – все это без написания собственного кода
Благодаря поддержке VPC вы можете использовать коннектор REST API для доступа к источникам данных, размещенным в частных подсетях или подключенным через VPN или AWS PrivateLink, без попадания трафика в общедоступный Интернет. Функция уточняющих фильтров преобразует предикаты запросов в собственные параметры API, поэтому из источника выдаются только совпадающие записи, что снижает затраты на передачу данных и повышает производительность работы. Поддержка секционирования позволяет разделять большие наборы данных между несколькими рабочими узлами Spark с применением стратегий на основе полей или подсчета записей, обеспечивая параллельное чтение и сокращая время приема больших объемов данных от API с разбивкой на страницы.
Эти возможности доступны во всех коммерческих регионах AWS, где предоставляется AWS Glue.
Чтобы приступить к работе, ознакомьтесь с документацией по коннектору REST API для AWS Glue.