การจัดประเภทข้อความคืออะไร

องค์กรใช้โมเดลการจัดประเภทข้อความด้วยเหตุผลดังต่อไปนี้

ปรับปรุงความถูกต้อง

โมเดลการจำแนกประเภทข้อความจัดหมวดหมู่ข้อความได้อย่างถูกต้องโดยมีการฝึกเพิ่มเติมเล็กน้อยหรือแทบจะไม่มีเลย โมเดลเหล่านี้จะช่วยให้องค์กรเอาชนะข้อผิดพลาดที่มนุษย์อาจทำให้เกิดขึ้นได้เมื่อจำแนกข้อมูลที่เป็นข้อความด้วยตนเอง นอกจากนี้ ระบบการจำแนกข้อความที่มีความสอดคล้องมากกว่ามนุษย์เมื่อกำหนดแท็กให้กับข้อมูลข้อความในหัวข้อต่าง ๆ 

มอบการวิเคราะห์แบบเรียลไทม์

องค์กรต่าง ๆ เผชิญกับแรงกดดันด้านเวลาเมื่อต้องประมวลผลข้อมูลข้อความแบบเรียลไทม์ เมื่อใช้อัลกอริทึมการจัดประเภทข้อความ คุณจะสามารถดึงข้อมูลเชิงลึกที่นำไปปฏิบัติได้จากข้อมูลดิบและกำหนดการตอบสนองได้ทันที ตัวอย่างเช่น องค์กรสามารถใช้ระบบการจำแนกประเภทข้อความเพื่อวิเคราะห์ความคิดเห็นของลูกค้าและตอบสนองต่อคำขอเร่งด่วนได้ทันที

ปรับขนาดงานการจำแนกประเภทข้อความ

ก่อนหน้านี้องค์กรต่าง ๆ อาศัยระบบที่ดำเนินการด้วยตนเองหรือดำเนินการตามกฎเพื่อจัดประเภทเอกสาร วิธีการเหล่านี้มีความล่าช้าและใช้ทรัพยากรมากเกินไป เมื่อใช้การจำแนกประเภทข้อความของแมชชีนเลิร์นนิง คุณจะสามารถขยายความพยายามในการจัดหมวดหมู่เอกสารข้ามแผนกต่าง ๆ ได้อย่างมีประสิทธิภาพมากขึ้นเพื่อรองรับการเติบโตขององค์กร

แปลภาษา

องค์กรสามารถใช้ตัวจำแนกประเภทข้อความเพื่อตรวจหาภาษาได้ โมเดลการจัดประเภทข้อความสามารถตรวจจับภาษาต้นทางในการสนทนาหรือคำขอบริการ และส่งไปยังทีมงานที่เกี่ยวข้อง

การจำแนกประเภทข้อความมีการพัฒนาไปอย่างมากในฐานะที่เป็นส่วนย่อยของการประมวลผลภาษาธรรมชาติ เรามีแนวทางหลายประการที่วิศวกรแมชชีนเลิร์นนิงใช้ในการจำแนกประเภทข้อมูลที่เป็นข้อความ 

การอนุมานภาษาธรรมชาติ

การอนุมานด้วยภาษาธรรมชาติจะกำหนดความสัมพันธ์ระหว่างสมมติฐานและหลักฐานโดยระบุว่าเป็นสิ่งที่เกี่ยวข้อง สิ่งที่ขัดแย้ง หรือสิ่งที่เป็นกลาง สิ่งที่เกี่ยวข้องจะอธิบายความสัมพันธ์เชิงตรรกะระหว่างสถานที่ตั้งและสมมติฐาน ในขณะที่ความขัดแย้งจะแสดงให้เห็นถึงการตัดการเชื่อมต่อระหว่างเอนทิตีที่เป็นข้อความ สิ่งที่เป็นกลางจะใช้เมื่อไม่พบสิ่งที่เกี่ยวข้องหรือข้อขัดแย้ง 

ตัวอย่างเช่น ลองพิจารณาสมมติฐานต่อไปนี้:

ทีมของเราเป็นผู้ชนะการแข่งขันฟุตบอลชิงแชมป์

นี่คือวิธีที่สมมติฐานที่แตกต่างกันจะถูกแท็กโดยตัวจำแนกประเภทการอนุมานภาษาธรรมชาติ

• สิ่งที่เกี่ยวข้อง: ทีมของเราชอบเล่นกีฬา

• สิ่งที่ขัดแย้ง: เราเป็นคนที่ไม่ได้ออกกำลังกาย

• สิ่งที่เป็นกลาง: เรากลายเป็นแชมป์ฟุตบอล

การสร้างโมเดลภาษาความน่าจะเป็น

การสร้างโมเดลภาษาความน่าจะเป็นเป็นวิธีทางสถิติที่โมเดลภาษาใช้ในการทำนายคำถัดไปเมื่อได้รับลำดับของคำมา เมื่อใช้วิธีการนี้ โมเดลจะกำหนดค่าความน่าจะเป็นให้กับแต่ละคำ และคำนวณความน่าจะเป็นของคำต่อไปนี้ เมื่อนำไปใช้กับการจำแนกประเภทข้อความ การสร้างโมเดลภาษาความน่าจะเป็นจะจัดหมวดหมู่เอกสารตามวลีเฉพาะที่พบในข้อความ 

การฝังคำ

การฝังคำเป็นเทคนิคที่ใช้การแสดงตัวเลขกับคำที่สะท้อนถึงการเชื่อมโยงทางด้านความหมาย การฝังคำจะเทียบเท่ากับตัวเลขของคำหนึ่งคำ อัลกอริทึมแมชชีนเลิร์นนิงไม่สามารถวิเคราะห์ข้อความในรูปแบบดั้งเดิมได้อย่างมีประสิทธิภาพ ด้วยการฝังคำ อัลกอริทึมการสร้างโมเดลภาษาจะสามารถเปรียบเทียบข้อความที่แตกต่างกันได้ด้วยการฝังคำเหล่านั้น

หากต้องการใช้การฝังคำ คุณจะต้องฝึกโมเดลการประมวลผลภาษาธรรมชาติ (NLP) ในระหว่างการฝึก โมเดลจะกำหนดคำที่เกี่ยวข้องกับการแสดงตัวเลขซึ่งวางตำแหน่งอย่างใกล้ชิดในพื้นที่หลายมิติที่เรียกว่า Vector Semantics 

ตัวอย่างเช่น เมื่อทำเวกเตอร์ข้อความด้วยการฝัง คุณจะพบว่าสุนัขและแมวอยู่ใกล้กันบนพื้นที่เวกเตอร์สองมิติมากกว่ามะเขือเทศ ผู้คน และก้อนหิน คุณสามารถใช้ Vector Semantics เพื่อระบุข้อความที่คล้ายกันในข้อมูลที่ไม่คุ้นเคยและคาดเดาวลีที่ตามมาได้ วิธีนี้มีประโยชน์ในการจำแนกประเภทความคิดเห็น การจัดระเบียบเอกสาร และงานการจัดประเภทข้อความอื่น ๆ 

โมเดลภาษาขนาดใหญ่

แบบจำลองภาษาขนาดใหญ่ (LLM) เป็นอัลกอริ ทึม การเรียนรู้เชิงลึกที่ฝึกอบรมเกี่ยวกับข้อมูลข้อความจำนวนมาก โมเดลเหล่านี้จะอิงตามสถาปัตยกรรม ตัวแปลง ซึ่งเป็นนิวรัลเน็ตเวิร์กที่มีชั้นซ่อนอยู่หลายชั้น ซึ่งสามารถประมวลผลข้อมูลข้อความแบบขนานได้ โมเดลภาษาขนาดใหญ่มีประสิทธิภาพมากกว่าโมเดลแบบง่าย และเก่งในงานประมวลผลภาษาธรรมชาติ รวมถึงการจำแนกประเภทข้อความ

โมเดลภาษาขนาดใหญ่ต่างจากรุ่นก่อนหน้าตรงที่สามารถจำแนกประเภทข้อความได้โดยไม่ต้องมีการฝึกล่วงหน้า พวกเขาใช้การจำแนกประเภทแบบ Zero-Shot ซึ่งเป็นวิธีการที่ช่วยให้โมเดลจัดหมวดหมู่ข้อมูลข้อความที่มองไม่เห็นเป็นหมวดหมู่ที่กำหนดไว้ล่วงหน้า ตัวอย่างเช่น คุณสามารถปรับใช้แบบจำลองการจำ แนกข้อความแบบ zero-shot บน Amazon Sagemaker Jumpstart เพื่อจัดเรียงโพสต์มติปีใหม่ตามอาชีพ สุขภาพ การเงิน และชั้นเรียนอื่นๆ

คุณสามารถสร้าง ฝึก และปรับใช้แบบจำลองการจำแนกประเภทข้อความโดยทำตามขั้นตอนเหล่านี้

ดูแลจัดการชุดข้อมูลการฝึก

การเตรียมชุดข้อมูลคุณภาพสูงเป็นสิ่งสำคัญในการฝึกหรือปรับแต่งโมเดลภาษาสำหรับการจำแนกประเภทข้อความ ชุดข้อมูลที่หลากหลายและมีป้ายกำกับช่วยให้โมเดลเรียนรู้ที่จะระบุคำ วลี หรือรูปแบบเฉพาะและหมวดหมู่ที่เกี่ยวข้องได้อย่างมีประสิทธิภาพ

เตรียมชุดข้อมูล

โมเดลแมชชีนเลิร์นนิงไม่สามารถเรียนรู้จากชุดข้อมูลดิบได้ ดังนั้น คุณจะต้องทำความสะอาดและเตรียมชุดข้อมูลด้วยวิธีการประมวลผลล่วงหน้า เช่น การแปลงเป็นโทเค็น การแปลงเป็นโทเค็นจะแบ่งแต่ละคำหรือประโยคออกเป็นส่วนเล็ก ๆ ที่เรียกว่าโทเค็น

หลังจากการแปลงเป็นโทเค็น คุณควรลบข้อมูลที่ซ้ำซ้อน ซ้ำกัน และข้อมูลที่ผิดปกติออกจากชุดข้อมูลการฝึก เนื่องจากอาจส่งผลต่อประสิทธิภาพของโมเดลได้ จากนั้นค่อยแบ่งชุดข้อมูลออกเป็นข้อมูลการฝึกและการตรวจสอบ

ฝึกโมเดลการจำแนกประเภทข้อความ

เลือกและฝึกโมเดลภาษาด้วยชุดข้อมูลที่เตรียมไว้ ในระหว่างการฝึก โมเดลจะเรียนรู้จากชุดข้อมูลที่มีคำอธิบายประกอบและพยายามจัดประเภทข้อความเป็นหมวดหมู่ตามลำดับ การฝึกจะเสร็จสมบูรณ์เมื่อโมเดลมาบรรจบกันรวมเป็นผลลัพธ์เดียวกันอย่างสม่ำเสมอ

ประเมินและปรับให้เหมาะสม

ประเมินโมเดลด้วยชุดข้อมูลทดสอบ เปรียบเทียบความแม่นยำ ความถูกต้อง การเรียกคืน และคะแนน F1 ของโมเดลกับเกณฑ์มาตรฐานที่กำหนดไว้ โมเดลที่ผ่านการฝึกอาจต้องมีการปรับแต่งเพิ่มเติมเพื่อแก้ไขปัญหาข้อผิดพลาดแบบ Overfit และปัญหาด้านประสิทธิภาพอื่น ๆ ปรับโมเดลให้เหมาะสมจนกว่าคุณจะได้ผลลัพธ์ที่พึงพอใจ 

Amazon Comprehend เป็นบริการ NLP ที่ใช้แมชชีนเลิร์นนิงเพื่อค้นพบข้อมูลเชิงลึกและการเชื่อมต่อที่มีค่าในข้อความ Custom Classification API (การจัดประเภทแบบกำหนดเอง) จะช่วยให้คุณสร้างโมเดลการจัดหมวดหมู่ข้อความแบบกำหนดเองได้อย่างง่ายดายโดยใช้ป้ายกำกับเฉพาะกับธุรกิจของคุณโดยไม่ต้องเรียนรู้ด้าน ML

ตัวอย่างเช่น องค์กรสนับสนุนลูกค้าของคุณสามารถใช้ Custom Classification (การจัดประเภทแบบกำหนดเอง) เพื่อจัดหมวดหมู่คำขอขาเข้าตามประเภทปัญหาโดยอัตโนมัติตามวิธีที่ลูกค้าอธิบายปัญหา เมื่อใช้งานโมเดลที่คุณกำหนดเอง คุณจะสามารถกลั่นกรองความคิดเห็นจากเว็บไซต์ คัดแยกความคิดเห็นของลูกค้า และจัดระเบียบเอกสารของกลุ่มงานได้อย่างง่ายดาย

Amazon SageMaker เป็นบริการที่มีการจัดการอย่างเต็มที่เพื่อเตรียมข้อมูลและสร้าง ฝึกอบรม และปรับใช้โมเดล ML สำหรับทุกกรณีใช้งาน โดยมีโครงสร้างพื้นฐาน เครื่องมือ และเวิร์กโฟลว์ที่ได้รับการจัดการอย่างเต็มรูปแบบ

ด้วย Amazon SageMaker JumpStart คุณสามารถเข้าถึงโมเดลที่ผ่านการฝึกอบรมและแบบรองพื้นฐาน (FM) และปรับแต่งให้เหมาะกับกรณีการใช้งานของคุณด้วยข้อมูลของคุณ SageMaker JumpStart นำเสนอโซลูชันแบบครบวงจรภายในการคลิกเพียงครั้งเดียวสำหรับกรณีการใช้งาน ML ทั่วไปจำนวนมาก คุณสามารถใช้งานเพื่อการจัดประเภทข้อความ การสรุปเอกสาร การจดจำลายมือ การแยกความสัมพันธ์ คำถามและการตอบ และการเติมค่าที่หายไปในข้อมูลบันทึกแบบตาราง

เริ่มต้นด้วยการจำแนกข้อความบน Amazon Web Services (AWS) โดย การสร้างบัญชี วันนี้