AWS Glue introduce il supporto per VPC, il filter pushdown e il partizionamento nel connettore REST API
AWS Glue ora supporta le connessioni VPC, il filter pushdown e il partizionamento nel connettore REST API. Il connettore REST API consente di acquisire dati da qualsiasi origine che esponga un'API basata su REST, compresi i sistemi proprietari e le piattaforme emergenti per cui non esistono connettori nativi di AWS Glue. Con questo lancio è possibile gestire le pipeline ETL da origini dati dotate di endpoint REST API connettendosi in modo sicuro a endpoint privati, trasferendo solo i dati necessari e parallelizzando le letture per un'acquisizione più rapida, il tutto senza scrivere codice personalizzato.
Il supporto per VPC consente al connettore REST API di accedere a origini dati ospitate in sottoreti private o raggiungibili tramite VPN o AWS PrivateLink, senza esporre il traffico alla rete internet pubblica. Il filter pushdown traduce i predicati di query in parametri nativi dell'API, così che dall'origine escano soltanto i record corrispondenti, con conseguente riduzione dei costi di trasferimento dei dati e miglioramento delle prestazioni dei processi. Il supporto del partizionamento ripartisce i set di dati di grandi dimensioni su più worker Spark mediante strategie basate sui campi o sul numero di record, abilitando letture parallele che abbreviano i tempi di acquisizione per le API con paginazione a volumi elevati.
Queste funzionalità sono disponibili in tutte le regioni commerciali AWS in cui è supportato AWS Glue.
Per iniziare, consulta la documentazione del connettore REST API di AWS Glue.