การเตรียมข้อมูลคืออะไร

การไหลของข้อมูลผ่านองค์กรไม่เหมือนที่เคยเป็นมาก่อน เพราะข้อมูลไหลมาจากทุกสิ่งทุกอย่าง ตั้งแต่สมาร์ทโฟนไปจนถึงเมืองอัจฉริยะ และอยู่ทั้งในรูปข้อมูลที่มีโครงสร้างและข้อมูลที่ไม่มีโครงสร้าง ปัจจุบันนี้ข้อมูลที่ไม่มีโครงสร้างคิดเป็น 80% ของข้อมูลทั้งหมด ML สามารถวิเคราะห์ข้อมูลที่มีโครงสร้าง และยังค้นพบรูปแบบของข้อมูลที่ไม่มีโครงสร้างได้ด้วย ML คือกระบวนการที่คอมพิวเตอร์เรียนรู้ที่จะแปลผลข้อมูล แล้วทำการตัดสินใจและแนะนำโดยอ้างอิงจากข้อมูลนั้น ในระหว่างกระบวนการเรียนรู้¬—และหลังจากนั้นเมื่อใช้ข้อมูลเพื่อคาดการณ์—ข้อมูลที่ไม่ถูกต้อง มีอคติ หรือไม่ครบถ้วนสามารถส่งผลให้การคาดการณ์ไม่แม่นยำได้

การเตรียมข้อมูลจะเกิดขึ้นหลังผ่านขั้นตอนหลายอย่างที่เริ่มด้วยการเก็บรวบรวมข้อมูลที่ถูกต้อง ตามด้วยการทำความสะอาด การระบุประเภทข้อมูล การสอบทวน และการสร้างเป็นภาพ

รวบรวมข้อมูล

การเก็บรวบรวมข้อมูลคือกระบวนการประกอบรวมข้อมูลทั้งหมดที่คุณต้องใช้สำหรับ ML การเก็บรวบรวมข้อมูลอาจเป็นขั้นตอนที่น่าเบื่อ เพราะข้อมูลอยู่ในแหล่งที่มาของข้อมูลมากมาย ซึ่งรวมถึงบนแล็ปท็อป ในคลังข้อมูล ในระบบคลาวด์ ข้างในแอปพลิเคชัน และบนอุปกรณ์ การค้นหาวิธีเพื่อเชื่อมต่อเข้ากับแหล่งที่มาของข้อมูลต่าง ๆ จึงอาจเป็นเรื่องท้าทาย นอกจากนี้ปริมาณของข้อมูลยังเพิ่มขึ้นอย่างทวีคูณ จึงมีข้อมูลมากมายให้ต้องค้นหา อีกทั้งข้อมูลยังมีรูปแบบและประเภทที่แตกต่างกันมากมาย ขึ้นอยู่กับแหล่งที่มาของข้อมูล ตัวอย่างเช่น ข้อมูลวิดีโอและข้อมูลที่เป็นตารางจะนำมาใช้ด้วยกันไม่ได้ง่าย ๆ

ทำความสะอาดข้อมูล

การทำความสะอาดข้อมูลแก้ไขข้อผิดพลาดและเติมข้อมูลที่หายไปเพื่อเป็นขั้นตอนหนึ่งในการรับรองคุณภาพของข้อมูล หลังจากที่คุณทำความสะอาดข้อมูลแล้ว คุณจะต้องแปลงข้อมูลให้อยู่ในรูปแบบที่สอดคล้องกันและสามารถอ่านได้ กระบวนการนี้สามารถรวมถึงการเปลี่ยนแปลงรูปแบบของช่องข้อมูล เช่น วันที่และสกุลเงิน การปรับเปลี่ยนวิธีการกำหนดชื่อ และการแก้ไขค่าและหน่วยวัดเพื่อให้สอดคล้องกัน

ระบุประเภทข้อมูล

การระบุประเภทข้อมูลเป็นกระบวนการระบุข้อมูลดิบ (ภาพ ไฟล์ข้อความ คลิปวิดีโอ ฯลฯ) และเป็นการระบุประเภทที่สื่อความหมายและให้ข้อมูลสำคัญหนึ่งประเภทขึ้นไปเพื่อให้บริบท เพื่อให้แบบจำลอง ML สามารถเรียนรู้จากข้อมูลดังกล่าวได้ เช่น การระบุประเภทอาจระบุว่ารูปถ่ายรูปหนึ่งเป็นรูปของนกหรือรถยนต์ คำไหนที่เปล่งออกมาในการบันทึกเสียง หรือพบความผิดปกติในภาพเอ็กเรย์หรือไม่ การระบุประเภทข้อมูลเป็นขั้นตอนที่จำเป็นสำหรับการใช้งานที่หลากหลาย เช่น คอมพิวเตอร์วิทัศน์ การประมวลผลภาษาธรรมชาติ และการรู้จำคำพูด

สอบทวนและสร้างเป็นภาพ

หลังจากที่ทำความสะอาดและระบุประเภทข้อมูลแล้ว ทีม ML มักสำรวจข้อมูลเพื่อให้แน่ใจว่าข้อมูลถูกต้องและพร้อมสำหรับ ML การสร้างเป็นภาพ เช่น ฮิสโตแกรม แผนภาพการกระจาย กราฟรูปกล่อง แผนภูมิเส้น และกราฟแท่ง ต่างเป็นเครื่องมือที่เป็นประโยชน์ในการยืนยันว่าข้อมูลถูกต้อง นอกจากนี้ การสร้างเป็นภาพยังช่วยให้ทีมวิทยาศาสตร์ข้อมูลทำการวิเคราะห์ข้อมูลเชิงสำรวจได้อีกด้วย กระบวนการนี้ใช้การสร้างเป็นภาพเพื่อค้นพบรูปแบบ มองหาความผิดปกติ ทดสอบสมมติฐาน หรือตรวจสอบข้อตกลงเบื้องต้นทางสถิติ การวิเคราะห์ข้อมูลเชิงสำรวจไม่จำเป็นต้องมีการสร้างโมเดลอย่างเป็นทางการ แต่ทีมวิทยาศาสตร์ข้อมูลสามารถใช้การสร้างเป็นภาพเพื่อถอดรหัสข้อมูลแทนได้