AWS Glue annonce la prise en charge des VPC, la suppression des filtres et la prise en charge des partitions pour le connecteur d’API REST
AWS Glue prend désormais en charge les connexions VPC, la suppression des filtres et la prise en charge des partitions pour le connecteur d’API REST. Le connecteur d’API REST vous permet d’ingérer des données depuis n’importe quelle source exposant une API basée sur REST, y compris des systèmes propriétaires et des plateformes émergentes sans connecteurs AWS Glue natifs. Avec ce lancement, vous pouvez exploiter vos pipelines ETL à partir de sources de données avec des points de terminaison d’API REST en vous connectant en toute sécurité à des points de terminaison privés, en transférant uniquement les données dont ils ont besoin et en parallélisant les lectures pour une ingestion plus rapide, le tout sans écrire de code personnalisé
Grâce à al prise en charge des connexions VPC, vous pouvez utiliser le connecteur d’API REST pour accéder à des sources de données hébergées dans des sous-réseaux privés ou connectées via des VPN ou AWS PrivateLink, sans exposer le trafic à l’Internet public. La fonction Filter pushdown traduit les prédicats de votre requête en paramètres natifs de l’API, de sorte que seuls les enregistrements correspondants quittent la source, ce qui réduit les coûts de transfert des données et améliore les performances des tâches. La prise en charge des partitions permet de répartir de grands jeux de données entre plusieurs workers Spark à l’aide de stratégies basées sur les champs ou de comptage d’enregistrements, fournissant des lectures parallèles qui réduisent le temps d’ingestion pour les API paginées à volume élevé.
Le nouveau connecteur est disponible dans toutes les Régions AWS commerciales où AWS Glue est disponible.
Pour commencer, consultez la documentation relative au connecteur d’API REST AWS Glue.