เทคนิคการขุดค้นข้อมูลคืออะไร

การประมวลผลข้อมูลล่วงหน้าจะแปลงข้อมูลดิบให้เป็นรูปแบบที่เข้าใจได้โดยใช้นิวรัลเน็ตเวิร์กสำหรับการขุดค้นข้อมูล การประมวลผลดังกล่าวเป็นส่วนสำคัญของการขุดค้นข้อมูล เนื่องจากมีส่งผลต่อประสิทธิภาพของโมเดลข้อมูลอย่างมีนัยสำคัญ บ่อยครั้งที่ข้อมูลดิบอาจมีข้อผิดพลาด ข้อมูลที่ซ้ำกัน และข้อมูลที่ขาดหายไปซึ่งอาจส่งผลเสียต่อผลลัพธ์ของโมเดล เมื่อใช้การประมวลผลข้อมูลล่วงหน้า คุณสามารถทำความสะอาดข้อมูลและลบความผิดปกติดังกล่าวได้ นอกจากนี้ นักวิทยาศาสตร์ข้อมูลยังสามารถเลือกฟีเจอร์ที่มีส่วนในการรวบรวมข้อมูลเชิงลึกทางธุรกิจและนำข้อมูลที่ไม่จำเป็นออกไป ตัวอย่างเช่น เมื่อคาดการณ์อัตราการเลิกใช้งานของลูกค้า คุณเลือกฟีเจอร์ต่าง ๆ เช่น การใช้งานรายเดือนโดยเฉลี่ย วันที่เข้าสู่ระบบครั้งล่าสุด และความถี่ของการร้องขอการสนับสนุน เราเรียกฟีเจอร์นี้ว่างานวิศวกรรม ซึ่งช่วยให้คุณลดทรัพยากรการคำนวณที่จำเป็นสำหรับการขุดค้นข้อมูล

Amazon SageMaker Data Wrangler คือเครื่องมือเตรียมข้อมูลที่ช่วยให้คุณปรับปรุงคุณภาพข้อมูลและผลลัพธ์การวิเคราะห์ได้ ตามลำดับ คุณสามารถใช้ Amazon SageMaker Data Wrangler ในแหล่งที่มาของข้อมูลแหล่งต่าง ๆ ที่เชื่อมต่อกับระบบการเคลื่อนย้ายข้อมูลของคุณได้ แทนที่จะใช้เวลาหลายชั่วโมงไปกับการทำความสะอาดข้อมูล Amazon SageMaker Data Wrangler ทำสิ่งเดียวกันได้ในไม่กี่นาทีด้วยวิธีการแบบไม่ต้องใช้โค้ด วิธีเตรียมข้อมูลสำหรับโมเดลแมชชีนเลิร์นนิงของคุณด้วย SageMaker Data Wrangler มีดังนี้

ขั้นตอนที่ 1: เลือกและสืบค้น

ใช้ตัวสร้างคำสั่งสืบค้นแบบภาพเพื่อเข้าถึงและดึงข้อมูลข้อความ รูปภาพ และตารางใน AWS รวมถึงพื้นที่เก็บข้อมูลของบุคคลที่สาม จากนั้นนำผลการค้นพบในรายงานคุณภาพข้อมูลมาใช้เพื่อตรวจจับความผิดปกติ เช่น ค่าผิดปกติ ความไม่สมดุลของคลาส และการรั่วไหลของข้อมูล

ขั้นตอนที่ 2: ทำความสะอาดและเสริมสร้างประสิทธิภาพ

แปลงข้อมูลของคุณด้วยการแปลง PySpark ที่สร้างไว้ล่วงหน้าและอินเทอร์เฟซภาษาธรรมชาติ Amazon SageMaker Data Wrangler รองรับการแปลงข้อมูลทั่วไป รวมถึงการแปลงข้อความเป็นเวกเตอร์ การสร้างฟีเจอร์จากข้อมูลวันที่และเวลา การเข้ารหัส รวมถึงการปรับสมดุลข้อมูล นอกจากนี้ คุณยังสามารถสร้างการแปลงข้อมูลแบบกำหนดเองเพื่อรองรับกรณีการใช้งานของคุณได้อย่างง่ายดาย

ขั้นตอนที่ 3 - แสดงเป็นภาพและทำความเข้าใจ

ตรวจสอบความถูกต้องของข้อมูลที่เตรียมด้วยแผนภูมิ ไดอะแกรม และเครื่องมือแสดงในรูปแบบภาพอื่น ๆ จากนั้น ให้ดำเนินการวิเคราะห์อย่างรวดเร็วเพื่อคาดการณ์ผลลัพธ์ของโมเดลก่อนฝึกจริง

การวิเคราะห์เชิงคาดการณ์ในการขุดค้นข้อมูลจะใช้รูปแบบข้อมูลที่ค้นพบเพื่อคาดการณ์ผลลัพธ์ในอนาคต เพื่อให้ทำเช่นนั้นได้ ข้อมูลจะถูกป้อนลงในโมเดลแมชชีนเลิร์นนิง ซึ่งจะทำการคาดการณ์ที่ช่วยให้ธุรกิจใช้สนับสนุนการตัดสินใจของตนได้ ทั้งนี้จะขึ้นอยู่กับองค์ความรู้ที่โมเดลเหล่านั้นได้เรียนรู้ไปแล้ว ตัวอย่างเช่น บริษัททางการเงินใช้การวิเคราะห์เชิงคาดการณ์เพื่อคาดการณ์แนวโน้มของตลาด ตรวจจับการฉ้อโกง และประเมินความเสี่ยงด้านเครดิต

Amazon SageMaker Canvas คือเครื่องมือพัฒนาแบบแสดงเป็นภาพที่ช่วยให้คุณฝึก ทดสอบ และปรับใช้โมเดลเชิงคาดการณ์ได้ในวงกว้าง เครื่องมือนี้ช่วยให้สามารถเข้าถึงโมเดลพื้นฐานและอัลกอริทึมแมชชีนเลิร์นนิง (ML) แบบกำหนดเอง ทำให้สามารถสร้างการคาดการณ์ที่ถูกต้องแม่นยำสำหรับกรณีการใช้งานต่าง ๆ ได้

นอกจากนี้ คุณสามารถสร้างเวิร์กโฟลว์ข้อมูลทั้งระบบด้วยภาษาที่ใช้ในการสนทนาโดยใช้ Amazon Q Developer เครื่องมือดังกล่าวเป็นผู้ช่วย AI ช่วยสร้างที่จะทำให้คุณสามารถอธิบายงานเกี่ยวกับแมชชีนเลิร์นนิงและการวิเคราะห์ข้อมูลได้โดยใช้ภาษาที่ใช้ในชีวิตประจำวัน จากนั้น เครื่องมือดังกล่าวจะแปลงคำอธิบายของคุณเป็นคำสั่งสืบค้น, สคริปต์ SQL, ขั้นตอนที่สามารถนำไปดำเนินการได้จริง, คำแนะนำโค้ด และอื่น ๆ เพื่อช่วยให้คุณใช้ AI และข้อมูลได้อย่างมีประสิทธิภาพมากขึ้น

ด้านล่างนี้เป็นโมเดลที่คุณสามารถสร้างและปรับใช้ได้ด้วย Amazon SageMaker Canvas เพื่อเปิดใช้งานการวิเคราะห์เชิงคาดการณ์

การจัดหมวดหมู่

โมเดลการจัดหมวดหมู่สามารถกำหนดป้ายกำกับให้กับข้อมูลที่ไม่เคยเห็นก่อนหน้านี้ตามลักษณะที่โมเดลนั้น ๆ ได้เรียนรู้ไปแล้วได้ ตัวอย่างเช่น ระบบสนับสนุนลูกค้าที่ขับเคลื่อนด้วย AI สามารถจัดหมวดหมู่ความคิดเห็นได้ว่าเป็นแง่บวก แง่ลบ หรือเป็นกลางโดยการวิเคราะห์ถ้อยคำที่ใช้ในการสนทนา Amazon SageMaker Canvas รองรับโมเดลการจัดหมวดหมู่สำหรับปัญหาประเภทต่าง ๆ รวมถึงการจัดหมวดหมู่ข้อความ การจัดหมวดหมู่ภาพ การตรวจจับความผิดปกติ และการตรวจจับอ็อบเจกต์

การขุดค้นข้อมูลตามกฎความเกี่ยวข้อง

การขุดค้นข้อมูลตามกฎความเกี่ยวข้อง (ARM) ทำให้ค้นพบความสัมพันธ์ระหว่างจุดข้อมูลต่าง ๆ และสามารถนำไปใช้เพื่อเสริมประสิทธิภาพให้ระบบการเคลื่อนย้ายข้อมูลการวิเคราะห์เชิงคาดการณ์ได้ ตัวอย่างเช่น คุณสามารถใช้ ARM เพื่อดำเนินการวิเคราะห์ตะกร้าตลาดและค้นหาว่าสินค้าใดที่ผู้คนมักซื้อร่วมกันที่ซูเปอร์มาร์เก็ต Amazon SageMaker ช่วยให้คุณสามารถสร้างอัลกอริทึม ARM แบบกำหนดด้วยตนเองโดยใช้เฟรมเวิร์กต่าง ๆ เช่น Python และนำไปใช้จริงภายในเวิร์กโฟลว์ AI/ML ของคุณบน AWS

การจัดกลุ่ม

การจัดกลุ่มมีส่วนช่วยในการวิเคราะห์เชิงคาดการณ์ทางอ้อม โดยจะทำการจัดกลุ่มข้อมูลที่มีแอตทริบิวต์คล้ายกันเข้าด้วยกัน ตัวอย่างเช่น คุณสามารถจัดกลุ่มลูกค้าตามมูลค่าการใช้จ่ายเฉลี่ย จากนั้นลูกค้าที่ได้รับการแบ่งกลุ่มจะถูกใช้เป็นหนึ่งในฟีเจอร์ในโมเดลเชิงคาดการณ์ ในการจัดกลุ่มข้อมูล นักวิทยาศาสตร์ข้อมูลมักใช้อัลกอริทึม K-mean Amazon SageMaker ใช้อัลกอริทึม K-mean เวอร์ชันดัดแปลง ซึ่งให้ผลลัพธ์ที่ถูกต้องแม่นยำยิ่งขึ้นและความสามารถในการปรับขนาดที่ดีขึ้น

การตรวจจับความผิดปกติ

เราสามารถฝึกโมเดลแมชชีนเลิร์นนิงให้ตรวจจับสิ่งที่แตกต่างออกไปในรูปแบบข้อมูลได้ ตัวอย่างเช่น โรงงานใช้โมเดลเชิงคาดการณ์เพื่อระบุหาความล้มเหลวที่อาจเกิดขึ้นในเครื่องจักร การตรวจจับความผิดปกติมีส่วนช่วยในการดำเนินการลดผลกระทบแบบเชิงรุก เช่น การบำรุงรักษาเชิงป้องกันเพื่อป้องกันไม่ให้การดำเนินงานหยุดชะงัก

เมื่อใช้ Amazon SageMaker คุณจะสามารถตรวจจับรูปแบบที่ผิดปกติได้ด้วยอัลกอริทึม Random Cut Forest ซึ่งจะกำหนดคะแนนต่ำ (ปกติ) และสูง (ผิดปกติ) ให้กับข้อมูล

เทคนิคการขุดค้นข้อมูลช่วยให้ธุรกิจสามารถค้นพบข้อมูลเชิงลึกที่มีคุณค่าจากข้อมูลที่สร้างขึ้น ทำให้สามารถตัดสินใจโดยมีข้อมูลประกอบได้ การขุดค้นข้อมูลที่ประสบความสำเร็จจะต้องใช้ไปป์ไลน์ข้อมูลที่มีประสิทธิภาพ ซึ่งเชื่อมต่อข้อมูลดิบจากแหล่งข้อมูลที่หลากหลายกับโมเดล AI/ML ที่มีประสิทธิภาพ

ไปป์ไลน์ข้อมูลจะทำให้การแยกข้อมูล การจัดเก็บ การทำความสะอาด และการแปลงข้อมูลเป็นไปโดยอัตโนมัติ เพื่อให้แน่ใจว่าโมเดลที่ตามมาจะได้รับข้อมูลคุณภาพสูงและถูกต้อง จากนั้น คุณก็จะใช้เทคนิคการขุดค้นข้อมูลประเภทต่าง ๆ เพื่อรับข้อมูลเชิงลึกที่มีความหมายได้

สำรวจ Amazon SageMaker เพื่อลดความซับซ้อนของเวิร์กโฟลว์ข้อมูลที่ซับซ้อนและรับข้อมูลเชิงลึกเชิงคาดการณ์ที่ช่วยให้ได้ผลลัพธ์ทางธุรกิจที่ดีขึ้น