RLHF คืออะไร

การประยุกต์ใช้ปัญญาประดิษฐ์ (AI) มีหลากหลายตั้งแต่รถยนต์ที่ขับเคลื่อนด้วยตนเองไปจนถึงการประมวลผลภาษาธรรมชาติ (NLP) เครื่องทำนายตลาดหุ้น และบริการร้านค้าปลีกที่ได้รับการปรับแต่ง ไม่ว่าจะเป็นการประยุกต์ใช้ใดก็ตาม เป้าหมายของ AI ในท้ายที่สุดคือการเลียนแบบการตอบสนอง พฤติกรรม และการตัดสินใจของมนุษย์ โมเดล ML จะต้องเข้ารหัสอินพุตของมนุษย์เป็นข้อมูลการฝึก เพื่อให้ AI เลียนแบบมนุษย์ได้ใกล้เคียงยิ่งขึ้นเมื่อทำงานที่ซับซ้อนเสร็จสิ้น

RLHF เป็นเทคนิคเฉพาะที่ใช้ในการฝึกระบบ AI ให้ดูเหมือนมนุษย์มากขึ้น ควบคู่ไปกับเทคนิคอื่นๆ เช่น การเรียนรู้แบบมีผู้สอนและแบบไม่มีผู้ดูแล ประการแรก การตอบสนองของโมเดลจะถูกเปรียบเทียบกับการตอบสนองของมนุษย์ จากนั้นมนุษย์จะประเมินคุณภาพของการตอบสนองที่แตกต่างจากเครื่อง โดยให้คะแนนว่าการตอบสนองใดฟังดูเป็นมนุษย์มากกว่า คะแนนอาจขึ้นอยู่กับคุณสมบัติโดยกำเนิดของมนุษย์ เช่น ความเป็นมิตร ระดับบริบทที่เหมาะสม และอารมณ์ 

RLHF โดดเด่นในด้านความเข้าใจภาษาธรรมชาติ แต่ยังใช้กับการประยุกต์ใช้ AI ช่วยสร้างอื่นๆ อีกด้วย

อ่านข้อมูลเกี่ยวกับปัญญาประดิษฐ์

อ่านเกี่ยวกับการประมวลผลภาษาธรรมชาติ

อ่านข้อมูลเกี่ยวกับการเรียนรู้แบบมีผู้ดูแลแตกต่างกับแบบไม่มีผู้ดูแลอย่างไร

เพิ่มประสิทธิภาพ AI

RLHF ช่วยให้โมเดล ML มีความแม่นยำยิ่งขึ้น คุณสามารถฝึกโมเดลที่สามารถฝึกกับข้อมูลของมนุษย์ที่สร้างไว้ล่วงหน้าได้ แต่การมีลูปป้อนกลับของมนุษย์เพิ่มเติมจะช่วยเพิ่มประสิทธิภาพของโมเดลได้อย่างมากเมื่อเทียบกับสถานะเริ่มต้น

ตัวอย่างเช่น เมื่อข้อความถูกแปลจากภาษาหนึ่งเป็นอีกภาษาหนึ่ง โมเดลอาจสร้างข้อความที่มีความถูกต้องทางเทคนิคแต่ฟังดูไม่เป็นธรรมชาติสำหรับผู้อ่าน นักแปลมืออาชีพสามารถทำการแปลได้ก่อน โดยให้คะแนนการแปลที่สร้างโดยเครื่องเทียบกับการแปลนั้น จากนั้นจึงให้คะแนนคุณภาพการแปลที่สร้างโดยคอมพิวเตอร์ชุดหนึ่ง การเพิ่มการฝึกเพิ่มเติมให้กับโมเดลนี้ทำให้สามารถผลิตคำแปลที่ฟังดูเป็นธรรมชาติได้ดีขึ้น

แนะนำพารามิเตอร์การฝึกที่ซับซ้อน

ในบางกรณีใน AI ช่วยสร้าง การฝึกโมเดลสำหรับพารามิเตอร์บางตัวอย่างแม่นยำอาจเป็นเรื่องยาก ตัวอย่างเช่น คุณจะกำหนดอารมณ์ของเพลงได้อย่างไร อาจมีพารามิเตอร์ทางเทคนิค เช่น คีย์และจังหวะที่บ่งบอกถึงอารมณ์บางอย่าง แต่จิตวิญญาณของผลงานดนตรีนั้นขึ้นอยู่กับอัตวิสัยมากกว่าและมีการนิยามได้ชัดเจนน้อยกว่าการใช้เพียงชุดของเทคนิค แต่คุณสามารถให้คำแนะนำของมนุษย์โดยที่ผู้แต่งสร้างผลงานที่มีอารมณ์แปรปรวน จากนั้นคุณสามารถติดป้ายกำกับผลงานที่สร้างโดยเครื่องตามระดับความแปรปรวนได้ สิ่งนี้ช่วยให้เครื่องสามารถเรียนรู้พารามิเตอร์เหล่านี้ได้เร็วขึ้นมาก

เพิ่มความพึงพอใจของผู้ใช้

แม้ว่าโมเดล ML จะแม่นยำ แต่ก็อาจดูไม่เหมือนมนุษย์ จำเป็นต้องใช้ RL เพื่อนำทางโมเดลไปสู่การตอบสนองที่ดีที่สุดและน่าดึงดูดที่สุดสำหรับผู้ใช้ที่เป็นมนุษย์

ตัวอย่างเช่น หากคุณถามแชทบอทว่าสภาพอากาศข้างนอกเป็นอย่างไร แชทบอทอาจตอบว่า “อุณหภูมิ 30 องศาเซลเซียส มีเมฆและมีความชื้นสูง” หรืออาจตอบว่า “ขณะนี้อุณหภูมิประมาณ 30 องศา” ท้องฟ้ามีเมฆมากและอากาศชื้น ดังนั้นอากาศจึงอาจดูหนาแน่นขึ้น!” แม้ว่าคำตอบทั้งสองจะพูดในสิ่งเดียวกัน แต่คำตอบที่สองฟังดูเป็นธรรมชาติมากกว่าและให้บริบทมากกว่า 

เนื่องจากผู้ใช้ที่เป็นมนุษย์ให้คะแนนการตอบสนองของโมเดลที่พวกเขาต้องการ คุณสามารถใช้ RLHF เพื่อรวบรวมคำติชมของมนุษย์ และปรับปรุงโมเดลของคุณเพื่อให้บริการคนจริงได้ดีที่สุด

RLHF ได้รับการยอมรับว่าเป็นเทคนิคมาตรฐานอุตสาหกรรมในการรับรองว่า LLM ผลิตเนื้อหาที่เป็นความจริง ไม่เป็นอันตราย และเป็นประโยชน์ อย่างไรก็ตาม การสื่อสารของมนุษย์เป็นกระบวนการที่เป็นอัตนัยและสร้างสรรค์ และประโยชน์ของผลลัพธ์ LLM นั้นได้รับอิทธิพลอย่างลึกซึ้งจากค่านิยมและความชอบของมนุษย์ โมเดลแต่ละโมเดลได้รับการฝึกฝนแตกต่างกันเล็กน้อยและใช้การตอบสนองของมนุษย์ที่แตกต่างกัน ดังนั้นผลลัพธ์จึงแตกต่างกันแม้ระหว่าง LLM ของคู่แข่งก็ตาม ระดับที่แต่ละโมเดลเกี่ยวข้องกับค่านิยมของมนุษย์นั้นขึ้นอยู่กับผู้สร้างโดยสิ้นเชิง

แอปพลิเคชันของ RLHF ขยายขอบเขตของ LLM ไปสู่ AI ช่วยสร้างประเภทอื่นๆ ดังตัวอย่างต่อไปนี้

• RLHF สามารถใช้ในการสร้างภาพด้วย AI ได้ เช่น การวัดระดับความสมจริง เทคนิค หรืออารมณ์ของงานศิลปะ
• ในการสร้างดนตรี RLHF สามารถช่วยในการสร้างเพลงที่ตรงกับอารมณ์และเพลงประกอบกับกิจกรรมต่างๆ
• สามารถใช้ RLHF ในผู้ช่วยเสียงได้ โดยแนะนำเสียงให้ฟังดูเป็นมิตร น่าสนใจ และน่าเชื่อถือมากขึ้น