AWS Glue
ค้นพบ จัดเตรียม และรวมข้อมูลทั้งหมดของคุณในทุกขนาด
จัดเก็บ 1 ล้านอ็อบเจกต์ฟรี
วิธีการทำงาน
AWS Glue คือบริการผสานรวมข้อมูลแบบไม่ต้องใช้เซิร์ฟเวอร์ที่ช่วยอำนวยความสะดวกในการค้นหา จัดเตรียม ย้าย ผสานข้อมูลสำหรับการวิเคราะห์ แมชชีนเลิร์นนิง (ML) และการพัฒนาแอปพลิเคชันมากยิ่งขึ้น
-
ตัวเลือกเครื่องมือการผสานรวมข้อมูล
-
ETL เชิงเหตุการณ์
-
แค็ตตาล็อกข้อมูลของ AWS Glue
-
งาน ETL ที่ไม่มีโค้ด
-
จัดการและตรวจสอบคุณภาพข้อมูล
-
การเตรียมข้อมูล
-
ตัวเลือกเครื่องมือการผสานรวมข้อมูล
-
เลือกเครื่องมือการผสานรวมข้อมูลที่คุณต้องการใน AWS Glue เพื่อรองรับผู้ใช้และเวิร์กโหลดของคุณ
คลิกเพื่อขยาย
แผนภาพแสดงถึงวิธีที่ผู้ใช้ AWS Glue จะสามารถเลือกจากตัวเลือกอินเทอร์เฟซเพื่อสร้างเวิร์กโหลดโดยใช้เครื่องมือการผสานรวมข้อมูลหลายรายการ การแสดงผลสี่ส่วน: หนึ่งส่วนทางซ้าย สองส่วนตรงกลาง และอีกหนึ่งส่วนทางด้านขวา
ส่วนแรกทางด้านซ้ายเรียกว่า "แหล่งที่มาของข้อมูล" ซึ่งรวมถึงแหล่งที่มาของข้อมูลต่อไปนี้ "Amazon S3", "Amazon DynamoDB", "ฐานข้อมูลที่ทำงานบน Amazon EC2", "ฐานข้อมูล” และ "SaaS"
จากส่วนแรก จะมีลูกศรชี้ไปที่ส่วนตรงกลางที่ด้านบนสุดของแผนภาพซึ่งเรียกว่า "ทางเลือกของอินเทอร์เฟซ" มีรายการที่รวมอยู่ในส่วนที่ 2 นี้อยู่สามรายการ ได้แก่ "AWS Glue Studio", "โน๊ตบุ๊ค Amazon SageMaker" และ "โน๊ตบุ๊คและ IDE"
ใต้ส่วนที่สองนี้มีข้อความที่ระบุว่า "อินเทอร์เฟซแบบเปิดรองรับเวิร์กโหลดเชิงโต้ตอบและงาน" ข้อความนี้มีลูกศรชี้ไปยังส่วนที่สองที่อธิบายไว้ก่อนหน้านี้ที่ด้านบน และลูกศรชี้ไปยังส่วนที่สามด้านล่าง
ส่วนที่สามนี้เรียกว่า "เครื่องมือการรวมข้อมูล" ข้อความระบุว่า "เลือกเครื่องมือประมวลผลข้อมูลที่ปรับขนาดได้แบบไม่ต้องใช้เซิร์ฟเวอร์ที่ต้องการด้วยการปรับขนาดอัตโนมัติและการกำหนดค่าบริการตามการใช้งานจริง" ส่วนนี้ประกอบไปด้วยชื่อเครื่องยนต์สามชื่อ ได้แก่ "AWS Glue สำหรับ Ray", "AWS Glue สำหรับ Python Shell" และ "AWS Glue สำหรับ Apache Spark"
ส่วนที่สี่จะปรากฏทางด้านขวาของส่วนที่สองโดยมีลูกศรชี้จากส่วนที่สองไปยังส่วนที่สี่ ส่วนที่สี่ระบุไว้ว่า "สร้างและโหลดข้อมูลลงใน Data Lake และคลังข้อมูล" นอกจากนี้ ส่วนนี้ยังรวมถึงรายการอีกสามรายการ ได้แก่ "Amazon Redshift", "Data Lake" และ "คลังข้อมูล"
-
ETL เชิงเหตุการณ์
-
AWS Glue สามารถเรียกใช้งานกระบวนการ Extract, Transform and Load (ETL) ของคุณได้เมื่อมีข้อมูลใหม่เข้ามา ตัวอย่างเช่น คุณสามารถกำหนดค่า AWS Glue เพื่อเริ่มงาน ETL ของคุณเพื่อเรียกใช้ทันทีที่มีข้อมูลใหม่ใน Amazon Simple Storage Service (S3)
.3f3f393bfdb3deefdf183c1cfd39741f99eed6c6.png)
-
แค็ตตาล็อกข้อมูลของ AWS Glue
-
คุณสามารถใช้ Data Catalog เพื่อสำรวจและค้นหาจากชุดข้อมูล AWS หลายชุดได้โดยไม่จำเป็นต้องย้ายข้อมูล เมื่อข้อมูลได้รับการจัดรายการแล้ว จะสามารถค้นหาและสืบค้นได้ทันทีโดยใช้ Amazon Athena Amazon EMR และ Amazon Redshift Spectrum
.cbbd4734e6a79cc3d2569064d0010605a0a307ae.png)
-
งาน ETL ที่ไม่มีโค้ด
-
AWS Glue Studio ช่วยให้คุณสามารถสร้าง เรียกใช้ และตรวจสอบงาน AWS Glue ETL ได้อย่างง่ายดาย คุณสามารถสร้างงาน ETL ที่จะย้ายและแปลงข้อมูลโดยใช้โปรแกรมแก้ไขแบบลากและปล่อย แล้ว AWS Glue จะสร้างโค้ดขึ้นมาโดยอัตโนมัติ
.522ef785088de982530b9fdde4c8be146562fa0f.png)
-
จัดการและตรวจสอบคุณภาพข้อมูล
-
คุณภาพข้อมูลของ AWS Glue ทำให้การสร้างกฎคุณภาพของข้อมูล การจัดการ และการตรวจสอบเป็นไปอย่างอัตโนมัติ เพื่อช่วยให้มั่นใจว่าข้อมูลจะมีคุณภาพสูงทั่วทั้ง Data Lake และไปป์ไลน์ของคุณ
คลิกเพื่อขยาย
แผนภาพแสดงถึงวิธีที่สามารถใช้คุณภาพข้อมูลของ AWS Glue เพื่อสร้างคำแนะนำกฎ ตรวจสอบคุณภาพข้อมูล และส่งการแจ้งเตือนเมื่อคุณภาพของข้อมูลเสื่อมสภาพ สามส่วนแสดงจากซ้ายไปขวา
ส่วนแรกมีภาพประกอบของแค็ตตาล็อกข้อมูลของ AWS Glue และ AWS Glue ETL ภายใต้แค็ตตาล็อกข้อมูลของ AWS Glue จะมีข้อความระบุว่า "จัดทำรายการชุดข้อมูลทั้งหมดใน Data Lake ของคุณ" ภายใต้ AWS Glue ETL จะมีข้อความระบุว่า "ผสานรวมและแปลงข้อมูลจากแหล่งที่มาของข้อมูลที่แตกต่างกัน"
ส่วนที่สองมีชื่อว่า "คุณภาพข้อมูลของ AWS Glue" มีสามไอคอนในส่วนนี้ อันดับแรกคือรายการตรวจสอบ มีข้อความด้านล่างระบุว่า "คำแนะนำเกี่ยวกับกฎคุณภาพข้อมูล เริ่มต้นอย่างรวดเร็วด้วยคำแนะนำกฎคุณภาพข้อมูลแบบอัตโนมัติ" ไอคอนที่สองคือดินสอ มีข้อความด้านล่างระบุว่า "กฎคุณภาพข้อมูลที่กำหนดค่าไว้ล่วงหน้า แก้ไขหรือเพิ่มคำแนะนำด้วยกฎคุณภาพข้อมูลที่กำหนดค่าไว้ล่วงหน้า" ไอคอนที่สามคือระฆัง มีข้อความด้านล่างระบุว่า "การแจ้งเตือนและการดำเนินการ เพิ่มการแจ้งเตือนและการดำเนินการเพื่อดำเนินการเมื่อคุณภาพข้อมูลแย่ลง"
ส่วนที่สามจะมีสองไอคอนซ้อนกัน ไอคอนแรกคือแผนภูมิแท่ง มีข้อความด้านล่างระบุว่า "ตัววัด ใช้ตัววัดคุณภาพข้อมูลเพื่อทำการตัดสินใจทางธุรกิจได้อย่างมั่นใจ" ไอคอนที่สองคือสัญญาณเตือน มีข้อความด้านล่างระบุว่า "การแจ้งเตือน ใช้การแจ้งเตือนเพื่อรับการแจ้งเตือนเมื่อคุณภาพลดลง และดำเนินการแก้ไขข้อมูล"
-
การเตรียมข้อมูล
-
ด้วย AWS Glue DataBrew คุณจะสามารถสำรวจและทดลองกับข้อมูลได้โดยตรงจาก Data Lake, คลังข้อมูล และฐานข้อมูลของคุณ ซึ่งรวมถึง Amazon S3, Amazon Redshift, AWS Lake Formation, Amazon Aurora และบริการฐานข้อมูลแบบเชิงสัมพันธ์ของ Amazon (RDS) คุณสามารถเลือกรูปแบบการแปลงข้อมูลจากการแปลงข้อมูลที่สร้างไว้ล่วงหน้ากว่า 250 แบบใน DataBrew เพื่อทำให้งานเตรียมข้อมูลเป็นไปโดยอัตโนมัติ เช่น การกรองสิ่งผิดปกติ การจัดรูปแบบข้อมูลให้เป็นแบบมาตรฐาน และการแก้ไขค่าที่ไม่ถูกต้อง
.0e1a87155040f71dcc92464a283f1adddd39cf85.png)
กรณีการใช้งาน
ปรับการพัฒนาไปป์ไลน์ ETL ให้เรียบง่าย
ลบการจัดการโครงสร้างพื้นฐานด้วยการจัดการการจัดสรรและคนงาน และรวบรวมการผสานข้อมูลของคุณที่จำเป็นสำหรับบริการเดี่ยว
ค้นพบข้อมูลอย่างมีประสิทธิภาพ
ระบุข้อมูลข้ามหลายชุดข้อมูล AWS อย่างรวดเร็ว จากนั้นทำให้ข้อมูลนั้นพร้อมต่อคำสั่งและการแปลงสภาพ
สำรวจ ทดลอง และประมวลผลของข้อมูลแบบอินเทอร์แอคทีฟ
โดยใช้เซสชันอินเทอร์แอคทีฟ AWS Glue วิศวกรข้อมูลจะสามารถสำรวจและเตรียมข้อมูลแบบอินเทอร์แอคทีฟโดยอาศัยสภาพแวดล้อมการพัฒนาแบบผสานรวม (IDE) หรือ Notebook ที่ต้องการ
สนับสนุนเฟรมเวิร์กและเวิร์กโหลดสำหรับหลากหลายการประมวลผล
สนับสนุนเฟรมเวิร์กหลากหลายการประมวลผลได้ง่ายขึ้น เช่น ETL และ ELT และหลากหลายเวิร์กโหลดซึ่งมี Batch Micro-Batch, และการสตรีม
.a54db519855e546a30ef4da606a8e19ec74317e8.png)
.1e3375d51fc63d9398643f716b0ae70ebbd87b3f.png)
.1fed7571775fddcf80d8213d32e34bfc989b458b.png)
.527a282913a02e03abdca1a69320dc276df755da.png)
วิธีเริ่มต้น
ลอง AWS Glue โดยไม่มีค่าใช้จ่าย
ค้นหา เตรียม ย้าย และรวมข้อมูลจากหลายแหล่งอย่างง่ายดายในสภาพแวดล้อมโดยไม่ต้องใช้เซิร์ฟเวอร์
สร้างด้วย AWS Glue
เรียนรู้วิธีสร้างไปป์ไลน์ข้อมูลโดยใช้อินเทอร์เฟซ ETL แบบแสดงเป็นภาพของ AWS Glue Studio
ผสานรวมข้อมูลของคุณ
ทำตามเพื่อตั้งค่าและเริ่มใช้งาน AWS Glue