AWS Glue kündigt VPC-Unterstützung, Filter-Pushdown und Partitionsunterstützung für REST-API-Connector an
AWS Glue unterstützt jetzt VPC-Verbindungen, Filter-Pushdown und Partitionierung für den REST-API-Connector. Mit dem REST-API-Connector können Sie Daten aus jeder Quelle erfassen, die eine REST-basierte API bereitstellt, einschließlich proprietärer Systeme und neuer Plattformen ohne native AWS Glue-Konnektoren. Mit dieser Neuerung können Sie Ihre ETL-Pipelines über Datenquellen mit REST-API-Endpunkten ausführen, indem Sie eine sichere Verbindung zu privaten Endpunkten herstellen, nur die benötigten Daten übertragen und Lesevorgänge für eine schnellere Datenerfassung parallel laufen lassen, ohne benutzerdefinierten Code schreiben zu müssen.
Die VPC-Unterstützung ermöglicht Ihnen die Verwendung des REST-API-Connectors, um auf Datenquellen zuzugreifen, die in privaten Subnetzen gehostet oder über VPNs oder AWS PrivateLink verbunden sind, ohne dass der Datenverkehr über das öffentliche Internet läuft. Der Filter-Pushdown übersetzt Ihre Abfrageprädikate in API-native Parameter. So verlassen nur übereinstimmende Datensätze die Quelle. Das senkt die Datenübertragungskosten und verbessert die Arbeitsleistung. Die Partitionsunterstützung ermöglicht die Aufteilung großer Datensätze mithilfe von feldbasierten oder Datensatzzählstrategien auf mehrere Spark-Worker und damit parallele Lesevorgänge zur Beschleunigung der Datenerfassung für paginierte APIs mit hohem Volumen.
Diese Features sind jetzt in allen kommerziellen AWS-Regionen verfügbar, in denen AWS Glue angeboten wird.
Informationen zum Einstieg finden Sie in der Dokumentation zum AWS Glue REST-API-Connector.