กลไกการผสานรวมข้อมูลของ AWS Glue

AWS Glue มอบโครงสร้างพื้นฐานแบบไม่ต้องใช้เซิร์ฟเวอร์ที่ได้รับการเพิ่มประสิทธิภาพมาเพื่อเรียกใช้ Apache Spark สำหรับการผสานรวมข้อมูลและงานที่เป็นกระบวนการ Extract, Transform and Load (ETL) AWS Glue สำหรับ Apache Spark รองรับการประมวลผลแบบชุดและสตรีม รวมทั้งช่วยเพิ่มความเร็วในการนำข้อมูลเข้า การประมวลผล และการผสานรวม ซึ่งจะช่วยให้คุณสามารถสร้างและอัปเดต Data Lake และคลังข้อมูลของคุณ ตลอดจนสกัดข้อมูลเชิงลึกออกมาจากข้อมูลได้รวดเร็วยิ่งขึ้น

AWS Glue สำหรับ Ray ช่วยให้วิศวกรข้อมูลและนักพัฒนาสามารถประมวลผลชุดข้อมูลขนาดใหญ่โดยใช้ Python และไลบรารี Python ที่นิยมใช้กันได้ AWS Glue ใช้ Ray (Ray.io) ซึ่งเป็นเฟรมเวิร์กการประมวลผลแบบโอเพ่นซอร์สครบวงจรที่นำไปใช้ในการปรับขนาดเวิร์กโหลดของ Python AWS Glue สำหรับ Ray มีไลบรารีการประมวลผลข้อมูล Python ที่นิยมใช้กันอยู่แล้ว ดังนั้นคุณจึงสามารถนำไลบรารีของคุณมาใช้เพื่อปรับแต่งงานด้านการผสานรวมข้อมูลของตัวเองได้

AWS Glue สำหรับ Python Shell ช่วยให้คุณสามารถใช้งาน Python Shell เพื่อเรียกใช้สคริปต์ Python บน AWS Glue ได้ โดยคุณสามารถเขียนงานด้านการผสานรวมข้อมูลและการวิเคราะห์ที่ซับซ้อนใน Python ผ่านงานเหล่านี้ได้ AWS Glue สำหรับ Python Shell มีไลบรารีการวิเคราะห์ทั่วไปที่พร้อมให้ใช้งานทันที เช่น Pandas, NumPy และ Amazon SageMaker Data Wrangler คุณสามารถใช้ฟังก์ชันแบบรวมเพื่อเชื่อมต่อกับฐานข้อมูล คลังข้อมูล และบริการต่างๆ ของ AWS ได้