AWS Glue anuncia la compatibilidad con VPC, la inserción de filtros (filter pushdown) y la compatibilidad con particiones para el conector de API de REST
AWS Glue ahora admite conexiones de VPC, inserción de filtros y compatibilidad con particiones para el conector de API de REST. El conector de API de REST le permite ingerir datos de cualquier fuente que exponga una API basada en REST, incluidos los sistemas propietarios y las plataformas emergentes sin conectores nativos de AWS Glue. Con este lanzamiento, puede operar sus canalizaciones de ETL desde orígenes de datos con puntos de enlace de API de REST conectándose de forma segura a puntos de enlace privados, transfiriendo solo los datos que necesitan y paralelizando las lecturas para una ingesta más rápida, todo ello sin necesidad de escribir código personalizado
Con la compatibilidad con VPC, puede usar el conector API de REST para acceder a los orígenes de datos alojados en subredes privadas o conectadas a través de VPN o AWS PrivateLink, sin exponer el tráfico a la Internet pública. La inserción de filtros (filter pushdown) convierte los predicados de las consultas en parámetros nativos de la API, de modo que solo los registros coincidentes salen del origen, lo que reduce los costos de transferencia de datos y mejora el rendimiento del trabajo. El soporte de particiones divide grandes conjuntos de datos entre varios nodos de trabajo de Spark mediante estrategias basadas en campos o de recuento de registros, lo que proporciona lecturas paralelas que reducen el tiempo de ingesta de las API paginadas de gran volumen.
Estas capacidades están disponibles en todas las regiones comerciales de AWS en las que AWS Glue está disponible.
Para empezar, consulte la documentación del conector de la API de REST de AWS Glue.