AWS Glue เปิดตัวการรองรับ VPC, Filter Pushdown และพาร์ทิชันสำหรับตัวเชื่อมต่อ REST API
ขณะนี้ AWS Glue รองรับการเชื่อมต่อ VPC, Filter Pushdown และพาร์ทิชันสำหรับตัวเชื่อมต่อ REST API แล้ว ตัวเชื่อมต่อ REST API ช่วยให้คุณสามารถนำเข้าข้อมูลจากแหล่งข้อมูลใดก็ได้ที่มี API แบบ REST ให้ใช้งาน ซึ่งรวมถึงระบบกรรมสิทธิ์และแพลตฟอร์มที่กำลังเกิดขึ้นใหม่ที่ไม่มีตัวเชื่อมต่อเนทีฟของ AWS Glue ด้วยการเปิดตัวครั้งนี้ คุณสามารถใช้งานไปป์ไลน์ ETL จากแหล่งที่มาของข้อมูลที่มีตำแหน่งข้อมูล REST API ได้ โดยเชื่อมต่อกับตำแหน่งข้อมูลส่วนตัวอย่างปลอดภัย ถ่ายโอนเฉพาะข้อมูลที่ต้องการ และอ่านข้อมูลพร้อมกันหลายชุดเพื่อให้การนำเข้าข้อมูลเร็วขึ้น ทั้งหมดนี้โดยไม่ต้องเขียนโค้ดแบบกำหนดเอง
ด้วยการรองรับ VPC คุณสามารถใช้ตัวเชื่อมต่อ REST API เพื่อเข้าถึงแหล่งที่มาของข้อมูลที่โฮสต์อยู่ในซับเน็ตส่วนตัวหรือเชื่อมต่อผ่าน VPN หรือ AWS PrivateLink ได้ โดยไม่ต้องส่งทราฟฟิกผ่านอินเทอร์เน็ตสาธารณะ Filter Pushdown จะแปลงเงื่อนไขการกรองของคิวรีของคุณให้เป็นพารามิเตอร์แบบเนทีฟของ API โดยตรง เพื่อให้ดึงเฉพาะเรกคอร์ดที่ตรงกับเงื่อนไขจากแหล่งที่มา ซึ่งช่วยลดค่าใช้จ่ายในการถ่ายโอนข้อมูลและเพิ่มประสิทธิภาพของงาน การรองรับพาร์ทิชันจะแบ่งชุดข้อมูลขนาดใหญ่ไปยัง Spark worker หลายตัวโดยใช้กลยุทธ์ที่อิงตามฟิลด์หรือจำนวนเรกคอร์ด เพื่อให้สามารถอ่านข้อมูลแบบขนาน ซึ่งช่วยลดเวลาในการนำเข้าข้อมูลสำหรับ API ที่มีข้อมูลปริมาณมากและมีการแบ่งหน้า
ความสามารถเหล่านี้พร้อมใช้งานในทุก AWS Region เชิงพาณิชย์ที่มี AWS Glue ให้บริการ
ในการเริ่มต้นใช้งาน โปรดไปที่เอกสารประกอบสำหรับตัวเชื่อมต่อ REST API ของ AWS Glue