Retrieval-Augmented Generation คืออะไร
Retrieval-Augmented Generation (RAG) เป็นกระบวนการปรับเอาต์พุตโมเดลภาษาขนาดใหญ่ให้เหมาะสม ดังนั้นจึงอ้างอิงฐานความรู้ที่เชื่อถือได้นอกแหล่งที่มาของข้อมูลการฝึกอบรมก่อนที่จะสร้างการตอบสนอง โมเดลภาษาขนาดใหญ่ (LLM) ได้รับการฝึกบนข้อมูลจำนวนมากและใช้พารามิเตอร์หลายพันล้านรายการเพื่อสร้างเอาต์พุตต้นฉบับสำหรับงาน เช่น ตอบคำถาม แปลภาษา และการเติมประโยค RAG ขยายความสามารถที่ทรงพลังอยู่แล้วของ LLM ไปยังโดเมนเฉพาะหรือฐานความรู้ภายในขององค์กรโดยไม่จำเป็นต้องรักษาโมเดลไว้ เป็นวิธีการที่คุ้มค่าในการปรับปรุงเอาต์พุต LLM เพื่อคงความเกี่ยวข้อง แม่นยำ และมีประโยชน์ในบริบทต่าง ๆ
เหตุใด Retrieval-Augmented Generation จึงมีความสำคัญ
LLM เป็นเทคโนโลยีปัญญาประดิษฐ์ (AI) ที่สำคัญที่ขับเคลื่อนแชทบอทอัจฉริยะและแอปพลิเคชันการประมวลผลภาษาธรรมชาติ (NLP) อื่น ๆ เป้าหมายคือการสร้างบอทที่สามารถตอบคำถามของผู้ใช้ในบริบทต่าง ๆ โดยการอ้างอิงข้ามแหล่งความรู้ที่เชื่อถือได้ น่าเสียดายที่ลักษณะของเทคโนโลยี LLM ทำให้เกิดการคาดการณ์ไม่ได้ในการตอบสนอง LLM นอกจากนี้ข้อมูลการฝึก LLM ยังเป็นข้อมูลที่คงที่และแนะนำวันที่ตัดยอดความรู้ที่มีอยู่
ความท้าทายที่รู้จักของ LLM ได้แก่:
- การนำเสนอข้อมูลเท็จเมื่อไม่มีคำตอบ
- การนำเสนอข้อมูลที่ล้าสมัยหรือข้อมูลทั่วไปเมื่อผู้ใช้คาดหวังการตอบสนองที่เฉพาะเจาะจงในปัจจุบัน
- การสร้างการตอบสนองจากแหล่งที่มาที่ไม่ได้รับอนุญาต
- การสร้างการตอบสนองที่ไม่ถูกต้องเนื่องจากความสับสนในคำศัพท์ ซึ่งแหล่งที่มาของการฝึกที่แตกต่างกันจะใช้คำศัพท์เดียวกันในการพูดคุยเกี่ยวกับสิ่งต่าง ๆ
คุณสามารถนึกถึงโมเดลภาษาขนาดใหญ่ว่าเป็นพนักงานใหม่ที่กระตือรือร้นมากเกินไปและปฏิเสธที่จะรับทราบเหตุการณ์ปัจจุบัน แต่จะตอบทุกคำถามด้วยความมั่นใจเสมอ น่าเสียดายที่ทัศนคติดังกล่าวอาจส่งผลเสียต่อความไว้วางใจของผู้ใช้ และไม่ใช่สิ่งที่คุณต้องการให้แชทบอทของคุณเลียนแบบ!
RAG เป็นวิธีหนึ่งในการแก้ปัญหาความท้าทายเหล่านี้ โดยจะเปลี่ยนเส้นทาง LLM เพื่อดึงข้อมูลที่เกี่ยวข้องจากแหล่งที่มาของความรู้ที่เชื่อถือได้และกำหนดไว้ล่วงหน้า องค์กรสามารถควบคุมเอาต์พุตข้อความที่สร้างได้มากขึ้น และผู้ใช้จะได้รับข้อมูลเชิงลึกเกี่ยวกับวิธีที่ LLM สร้างการตอบสนอง
ประโยชน์ของ Retrieval-Augmented Generation มีอะไรบ้าง
เทคโนโลยี RAG นำประโยชน์หลายประการมาสู่ความพยายามขององค์กรในการสร้าง AI ช่วยสร้าง
การดำเนินการที่คุ้มค่า
การพัฒนาแชทบอทโดยทั่วไปจะเริ่มต้นโดยการใช้โมเดลพื้นฐาน โมเดลพื้นฐาน (FM) เป็น LLM ที่เข้าถึง API ได้และได้รับการฝึกเกี่ยวกับสเปกตรัมกว้าง ๆ ของภาพรวมและข้อมูลที่ไม่มีป้ายกำกับ การฝึกอบรม FM ใหม่สำหรับข้อมูลเฉพาะขององค์กรหรือโดเมนมีค่าใช้จ่ายสูงในแง่ของการประมวลผลและการเงิน RAG เป็นวิธีการที่คุ้มค่ามากขึ้นในการแนะนำข้อมูลใหม่ไปยัง LLM โดยการทำให้เทคโนโลยีปัญญาประดิษฐ์ช่วยสร้าง (AI ช่วยสร้าง) เข้าถึงได้อย่างกว้างขวางขึ้นและใช้งานได้มากขึ้น
ข้อมูลปัจจุบัน
แม้ว่าแหล่งที่มาของข้อมูลการฝึกต้นฉบับสำหรับ LLM จะเหมาะสมกับความต้องการของคุณก็ตาม แต่การรักษาความเกี่ยวข้องก็ยังเป็นเรื่องท้าทายอยู่ RAG ช่วยให้นักพัฒนาสามารถจัดหาการวิจัย สถิติ หรือข่าวล่าสุดให้กับโมเดลช่วยสร้าง นักพัฒนาสามารถใช้ RAG เพื่อเชื่อมต่อ LLM โดยตรงกับฟีดโซเชียลมีเดีย ไซต์ข่าว หรือแหล่งข้อมูลอื่น ๆ ที่อัปเดตบ่อยครั้ง จากนั้น LLM จะสามารถให้ข้อมูลล่าสุดแก่ผู้ใช้ได้
เพิ่มความไว้วางใจของผู้ใช้
RAG ช่วยให้ LLM สามารถนำเสนอข้อมูลที่แม่นยำพร้อมการระบุแหล่งที่มา เอาต์พุตอาจรวมถึงการกล่าวอ้างหรือการอ้างอิงถึงแหล่งที่มา นอกจากนี้ผู้ใช้ยังสามารถค้นหาเอกสารต้นฉบับได้ด้วยตนเอง หากต้องการคำชี้แจงเพิ่มเติมหรือรายละเอียดเพิ่มเติม ซึ่งสามารถเพิ่มความไว้วางใจและความมั่นใจให้โซลูชัน AI ช่วยสร้างของคุณ
ควบคุมนักพัฒนาได้มากขึ้น
เมื่อใช้ RAG นักพัฒนาสามารถทดสอบและปรับปรุงแอปพลิเคชันแชทให้มีประสิทธิภาพมากขึ้นได้ นักพัฒนาสามารถควบคุมและเปลี่ยนแหล่งที่มาของข้อมูล LLM เพื่อปรับให้เข้ากับข้อกำหนดที่กำลังเปลี่ยนแปลงไปหรือการใช้งานข้ามฟังก์ชัน นอกจากนี้นักพัฒนายังสามารถจำกัดการดึงข้อมูลที่ละเอียดอ่อนไว้ในระดับการอนุญาตที่แตกต่างกัน และแน่ใจได้ว่า LLM จะสร้างการตอบสนองที่เหมาะสม นอกจากนี้พวกเขายังสามารถแก้ไขปัญหาและแก้ไขหาก LLM อ้างอิงแหล่งข้อมูลที่ไม่ถูกต้องสำหรับคำถามเฉพาะ องค์กรสามารถใช้เทคโนโลยี AI ช่วยสร้างได้อย่างมั่นใจมากขึ้นสำหรับการใช้งานที่หลากหลายมากขึ้น
Retrieval-Augmented Generation ทำงานอย่างไร
หากไม่มี RAG จากนั้น LLM จะใช้อินพุตของผู้ใช้และสร้างการตอบสนองตามข้อมูลที่ได้รับการฝึกหรือสิ่งที่รู้อยู่แล้ว เมื่อใช้ RAG ระบบจะเริ่มใช้คอมโพเนนต์การดึงข้อมูลที่ใช้อินพุตของผู้ใช้ในการดึงข้อมูลจากแหล่งที่มาของข้อมูลแหล่งใหม่ก่อน LLM จะได้รับทั้งการสืบค้นผู้ใช้และข้อมูลที่เกี่ยวข้อง LLM ใช้ความรู้ใหม่และข้อมูลการฝึกเพื่อสร้างการตอบสนองที่ดีขึ้น ส่วนต่อไปนี้ให้ภาพรวมของกระบวนการ
สร้างข้อมูลภายนอก
ข้อมูลใหม่ที่อยู่นอกชุดข้อมูลการฝึกต้นฉบับของ LLM เรียกว่า ข้อมูลภายนอก ซึ่งสามารถมาจากแหล่งที่มาของข้อมูลหลายแหล่ง เช่น API, ฐานข้อมูล หรือที่เก็บเอกสาร ข้อมูลอาจอยู่ในรูปแบบต่าง ๆ เช่น ไฟล์ ระเบียนฐานข้อมูล หรือข้อความแบบฟอร์มยาว เทคนิค AI อีกอย่างหนึ่งที่เรียกว่าการฝังโมเดลภาษา ให้แปลงข้อมูลเป็นการแสดงข้อมูลตัวเลขและจัดเก็บไว้ในฐานข้อมูลเวกเตอร์ กระบวนการนี้สร้างไลบรารีความรู้ที่โมเดล AI ช่วยสร้างสามารถเข้าใจได้
ดึงข้อมูลที่เกี่ยวข้อง
ขั้นตอนต่อไปคือการค้นหาความเกี่ยวข้อง ระบบจะแปลงการสืบค้นของผู้ใช้เป็นการแสดงข้อมูลเวกเตอร์และจับคู่กับฐานข้อมูลเวกเตอร์ ตัวอย่างเช่น พิจารณาแชทบอทอัจฉริยะที่สามารถตอบคำถามทรัพยากรมนุษย์ให้กับองค์กรได้ หากพนักงานค้นหา"ฉันมีวันลาประจำปีกี่วัน" ระบบจะดึงเอกสารนโยบายการลาประจำปีพร้อมกับบันทึกการลาที่ผ่านมาของพนักงานแต่ละคน เอกสารเฉพาะเหล่านี้จะถูกส่งคืน เนื่องจากมีความเกี่ยวข้องอย่างมากกับสิ่งที่พนักงานป้อนอินพุตเข้ามา ระบบจะสร้างและคำนวณความเกี่ยวข้องโดยใช้การคำนวณและการแสดงข้อมูลเวกเตอร์ทางคณิตศาสตร์
เพิ่มพรอมต์ของ LLM
ถัดไป โมเดล RAG จะเพิ่มอินพุต (หรือพรอมต์) ของผู้ใช้ โดยการเพิ่มข้อมูลที่ดึงที่เกี่ยวข้องในบริบท ขั้นตอนนี้ใช้เทคนิคทางวิศวกรรมการโต้ตอบเพื่อสื่อสารกับ LLM อย่างมีประสิทธิภาพ พรอมต์เสริมช่วยให้โมเดลภาษาขนาดใหญ่สามารถสร้างคำตอบที่ถูกต้องสำหรับการสืบค้นของผู้ใช้
อัปเดตข้อมูลภายนอก
คำถามถัดไปอาจเป็นคำถามที่ว่า จะเกิดอะไรขึ้นถ้าข้อมูลภายนอกเป็นข้อมูลที่เก่าแล้ว หากต้องการรักษาข้อมูลปัจจุบันไว้สำหรับการดึงข้อมูล ให้อัปเดตเอกสารแบบอะซิงโครนัสและอัปเดตการฝังการแสดงข้อมูลของเอกสาร คุณสามารถทำได้ผ่านทางกระบวนการแบบเรียลไทม์อัตโนมัติหรือการประมวลผลแบบแบตช์เป็นระยะ ๆ นี่คือความท้าทายที่พบบ่อยในการวิเคราะห์ข้อมูล ซึ่งสามารถใช้แนวทางวิทยาศาสตร์ข้อมูลที่แตกต่างกันในการจัดการการเปลี่ยนแปลงได้
แผนภาพต่อไปนี้แสดงขั้นตอนแนวคิดของการใช้ RAG กับ LLM
ความแตกต่างระหว่าง Retrieval-Augmented Generation และการค้นหาความหมายคืออะไร
การค้นหาความหมายจะช่วยเพิ่มประสิทธิภาพของผลลัพธ์ RAG สำหรับองค์กรที่ต้องการเพิ่มแหล่งความรู้ภายนอกซึ่งมีอยู่มากมายให้กับแอปพลิเคชัน LLM องค์กรสมัยใหม่จัดเก็บข้อมูลจำนวนมากไว้ในหลายระบบ ไม่ว่าจะเป็นคู่มือ คำถามที่พบบ่อย รายงานการวิจัย คู่มือการบริการลูกค้า และเอกสารด้านทรัพยากรบุคคล เป็นต้น การดึงบริบทเป็นเรื่องท้าทายในวงกว้างและส่งผลให้เอาต์พุตช่วยสร้างมีคุณภาพลดลง
เทคโนโลยีการค้นหาความหมายสามารถสแกนฐานข้อมูลขนาดใหญ่ที่มีข้อมูลที่แตกต่างกันและดึงข้อมูลได้อย่างแม่นยำยิ่งขึ้น ตัวอย่างเช่น ความสามารถในการตอบคำถามอย่าง “เมื่อปีที่แล้วใช้จ่ายไปกับการซ่อมแซมเครื่องจักรเท่าใด” โดยการแม็บคำถามกับเอกสารที่เกี่ยวข้องและส่งคืนข้อความที่เฉพาะเจาะจงแทนผลการค้นหา จากนั้นนักพัฒนาสามารถใช้คำตอบนั้นเพื่อให้บริบทเพิ่มเติมกับ LLM
โซลูชันการค้นหาคำสำคัญหรือแบบดั้งเดิมใน RAG ให้ผลลัพธ์ที่ จำกัดสำหรับงานที่ใช้ความรู้หนาแน่น นอกจากนี้นักพัฒนายังต้องจัดการกับการฝังคำ การแบ่งเอกสาร และความซับซ้อนอื่น ๆ ในระหว่างการเตรียมข้อมูลด้วยตนเองอีกด้วย ในทางตรงกันข้าม เทคโนโลยีการค้นหาความหมายจะทำงานทั้งหมดที่เกี่ยวกับการจัดเตรียมฐานความรู้ ดังนั้นนักพัฒนาจึงไม่จำเป็นต้องทำเอง นอกจากนี้ยังสามารถสร้างข้อความที่เกี่ยวข้องกับความหมายและคำโทเค็นที่เรียงตามความเกี่ยวข้อง เพื่อเพิ่มคุณภาพของเพย์โหลด RAG ให้สูงสุด
AWS จะรองรับข้อกำหนดของ Retrieval-Augmented Generation ของคุณได้อย่างไร
Amazon Bedrock (FM) เป็นบริการที่มีการจัดการเต็มรูปแบบซึ่งเสนอโมเดลพื้นฐาน (FM) ที่มีประสิทธิภาพสูงควบคู่ไปกับความสามารถอันหลากหลายที่คุณต้องใช้ในการสร้างแอปพลิเคชัน AI ช่วยสร้าง ทำให้การพัฒนานั้นง่ายดายขึ้น พร้อมทั้งยังมีความปลอดภัยและเป็นส่วนตัว ด้วยฐานความรู้สำหรับ Amazon Bedrock คุณสามารถเชื่อมต่อ FM กับแหล่งที่มาของข้อมูลของคุณสำหรับ RAG ได้ในไม่กี่คลิก การแปลงเวกเตอร์ การดึงข้อมูล และการสร้างผลลัพธ์ที่ดีขึ้นทั้งหมดจะได้รับการจัดการโดยอัตโนมัติ
สำหรับองค์กรที่จัดการ RAG ของตนเอง Amazon Kendra เป็นบริการค้นหาองค์กรที่แม่นยำสูงซึ่งขับเคลื่อนโดยแมชชีนเลิร์นนิง โดยให้บริการ Kendra Retrieve API ที่ปรับให้เหมาะสมซึ่งคุณสามารถใช้กับการจัดอันดับความหมายด้วยความแม่นยำสูงของ Amazon Kendra ในฐานะตัวรับระดับองค์กรสำหรับเวิร์กโฟลว์ RAG ของคุณ ตัวอย่างเช่น ด้วย Receive API คุณสามารถ:
- ดึงข้อความที่เกี่ยวข้องกับความหมายได้สูงสุด 100 คำ โดยมีคำโทเค็นมากถึง 200 คำ โดยเรียงลำดับตามความเกี่ยวข้อง
- ใช้ตัวเชื่อมต่อที่สร้างไว้ล่วงหน้ากับเทคโนโลยีข้อมูลยอดนิยม เช่น Amazon Simple Storage Service, SharePoint, Confluence และเว็บไซต์อื่น ๆ
- รองรับรูปแบบเอกสารที่หลากหลายเช่น HTML, Word, PowerPoint, PDF, Excel และไฟล์ข้อความ
- กรองการตอบสนองตามเอกสารเหล่านั้นที่ได้รับอนุญาตตามสิทธิ์ของผู้ใช้ปลายทาง
Amazon ยังเสนอตัวเลือกสำหรับองค์กรที่ต้องการสร้างโซลูชัน AI ช่วยสร้างแบบกำหนดเองมากขึ้น Amazon SageMaker JumpStart เป็นฮับ ML ที่มีโมเดลพื้นฐาน (FM) อัลกอริทึมในตัว และโซลูชัน ML ที่สร้างไว้ล่วงหน้า ซึ่งคุณสามารถปรับใช้ได้ด้วยการคลิกเพียงไม่กี่ครั้ง คุณสามารถเร่งการใช้งาน RAG ได้โดยอ้างอิงถึงโน้ตบุ๊ก SageMaker ที่มีอยู่และตัวอย่างโค้ด
เริ่มต้นด้วย Retrieval-Augmented Generation บน AWS ด้วยการสร้างบัญชีฟรีวันนี้
ขั้นตอนถัดไปบน AWS
