AWS Glue mengumumkan dukungan VPC, filter pushdown, dan dukungan partisi untuk konektor API REST
AWS Glue kini mendukung koneksi VPC, filter pushdown, dan dukungan partisi untuk konektor API REST. Konektor API REST memungkinkan Anda untuk memasukkan data dari sumber mana pun yang mengekspos API berbasis REST, termasuk sistem berpemilik dan platform baru yang tidak memiliki konektor AWS Glue bawaan. Dengan peluncuran ini, Anda dapat mengoperasikan pipeline ETL Anda dari sumber data dengan titik akhir API REST dengan terhubung secara aman ke titik akhir privat, mentransfer hanya data yang dibutuhkan, dan memparalelkan pembacaan untuk penyerapan yang lebih cepat, semuanya tanpa menulis kode khusus
Dengan dukungan VPC, Anda dapat menggunakan konektor API REST untuk mengakses sumber data yang di-host di subnet pribadi atau terhubung melalui VPN atau AWS PrivateLink, tanpa mengekspos lalu lintas ke internet publik. Filter pushdown menerjemahkan predikat kueri Anda ke dalam parameter asli API, sehingga hanya catatan yang cocok yang keluar dari sumber, mengurangi biaya transfer data dan meningkatkan kinerja pekerjaan. Dukungan partisi membagi set data besar ke beberapa pekerja Spark menggunakan strategi berbasis bidang atau jumlah catatan, menyediakan pembacaan paralel yang mengurangi waktu penyerapan untuk API bervolume tinggi dan berhalaman.
Kemampuan ini tersedia di semua region komersial AWS tempat AWS Glue tersedia.
Untuk memulai, kunjungi dokumentasi konektor API REST AWS Glue.