โมเดลพื้นฐานคืออะไร

คุณลักษณะเฉพาะของโมเดลพื้นฐานคือความสามารถในการปรับตัวได้ โมเดลเหล่านี้สามารถทำงานต่างๆ ที่แตกต่างกันได้อย่างหลากหลาย โดยมีระดับความแม่นยำสูงโดยอิงตามพรอมต์อินพุต ตัวอย่างงานที่สามารถทำได้ ได้แก่ การประมวลผลภาษาธรรมชาติ (NLP) การตอบคำถาม และการจัดหมวดหมู่รูปภาพ ขนาดและลักษณะการใช้งานทั่วไปของ FM ทำให้มีความแตกต่างจากโมเดล ML แบบดั้งเดิม ซึ่งโดยทั่วไปจะทำงานเฉพาะ เช่น การวิเคราะห์ข้อความสำหรับความรู้สึก การจัดหมวดหมู่รูปภาพ และการคาดการณ์แนวโน้ม

คุณสามารถใช้โมเดลพื้นฐานเป็นโมเดลพื้นฐานสำหรับการพัฒนาแอปพลิเคชันดาวน์สตรีมเฉพาะทางเพิ่มเติมได้ โมเดลเหล่านี้เป็นผลงานชิ้นเอกของการทำงานมานานกว่าทศวรรษที่มีขนาดและความซับซ้อนเพิ่มขึ้นตามเวลา

ตัวอย่างเช่น BERT ซึ่งเป็นหนึ่งในโมเดลพื้นฐานแบบสองทิศทางรุ่นแรกๆ ที่เปิดตัวในปี 2018 ได้รับการฝึกฝนโดยใช้พารามิเตอร์ 340 ล้านตัวและชุดข้อมูลการฝึกขนาด 16 GB ในปี 2023 เพียงห้าปีต่อมา OpenAI ฝึกฝน GPT-4 โดยใช้พารามิเตอร์ 170 ล้านล้านพารามิเตอร์และชุดข้อมูลการฝึกฝน 45 GB จากข้อมูลของ OpenAI พลังการคำนวณที่จำเป็นสำหรับการสร้างโมเดลพื้นฐานเพิ่มขึ้นสองเท่าในทุกๆ 3.4 เดือนนับตั้งแต่ปี 2012 FM ในปัจจุบัน เช่น โมเดลภาษาขนาดใหญ่ (LLM) Claude 2 และ Llama 2 และโมเดลข้อความเป็นรูปภาพ Stable Diffusion จาก Stability AI สามารถทำงานด้านต่างๆ นอกกรอบซึ่งครอบคลุมไปหลายโดเมน เช่น การเขียนโพสต์ในบล็อก การสร้างภาพ การแก้ปัญหาทางคณิตศาสตร์ การมีส่วนร่วมในบทสนทนา และการตอบคำถามจากเอกสาร

อ่านเกี่ยวกับโมเดลภาษาขนาดใหญ่ »

แม้ว่าโมเดลพื้นฐานจะได้รับการฝึกฝนล่วงหน้ามาแล้ว แต่ก็ยังสามารถเรียนรู้ต่อไปได้จากการป้อนข้อมูลหรือพรอมต์ในระหว่างการอนุมาน ซึ่งหมายความว่าคุณจะสามารถพัฒนาผลลัพธ์ที่ครอบคลุมผ่านพรอมต์ที่ได้รับการดูแลจัดการอย่างระมัดระวัง งานที่ FM สามารถทำได้ ได้แก่ การประมวลผลภาษา ความเข้าใจด้วยภาพ การสร้างโค้ด และการมีส่วนร่วมที่มีมนุษย์เป็นศูนย์กลาง

การประมวลผลภาษา

โมเดลเหล่านี้มีความสามารถที่โดดเด่นในการตอบคำถามที่ใช้ภาษาธรรมชาติ และแม้กระทั่งความสามารถในการเขียนสคริปต์สั้นๆ หรือเขียนบทความเพื่อตอบสนองต่อคำแนะนำ นอกจากนี้ โมเดลเหล่านี้ยังสามารถแปลภาษาโดยใช้เทคโนโลยี NLP ได้อีกด้วย

ความเข้าใจภาพ

FM เก่งกาจในด้านคอมพิวเตอร์วิทัศน์ โดยเฉพาะอย่างยิ่งในเรื่องการระบุภาพและวัตถุทางกายภาพ อาจพบการใช้งานความสามารถเหล่านี้ได้ในแอปพลิเคชันต่างๆ เช่น การขับขี่อัตโนมัติและหุ่นยนต์ ความสามารถอีกอย่างหนึ่งคือการสร้างภาพจากการป้อนข้อความ ตลอดจนการแก้ไขรูปภาพและวิดีโอ

การสร้างโค้ด

โมเดลพื้นฐานสามารถสร้างโค้ดคอมพิวเตอร์ในภาษาการเขียนโปรแกรมต่างๆ ตามอินพุตภาษาธรรมชาติได้ นอกจากนี้ยังเป็นไปได้ที่จะใช้ FM เพื่อประเมินและแก้ไขโค้ด

การมีส่วนร่วมที่มีมนุษย์เป็นศูนย์กลาง

โมเดล AI ช่วยสร้างใช้อินพุตของมนุษย์เพื่อเรียนรู้และปรับปรุงการคาดการณ์ ความสามารถของโมเดลเหล่านี้ในการสนับสนุนการตัดสินใจของมนุษย์คือการปรับใช้ที่สำคัญและบางครั้งอาจถูกมองข้าม การใช้งานที่เป็นไปได้ ได้แก่ การวินิจฉัยทางคลินิก ระบบสนับสนุนการตัดสินใจ และการวิเคราะห์

ความสามารถอีกอย่างหนึ่งคือการพัฒนาแอปพลิเคชัน AI แบบใหม่โดยการปรับแต่งโมเดลพื้นฐานที่มีอยู่อย่างละเอียด 

การแปลงคำพูดเป็นข้อความ

เนื่องจาก FM สามารถเข้าใจภาษา จึงสามารถใช้สำหรับงานข้อความจากคำพูดได้ เช่น การถอดเสียงและคำบรรยายวิดีโอในภาษาต่างๆ

จำนวนและขนาดของโมเดลพื้นฐานในตลาดเพิ่มขึ้นอย่างรวดเร็ว ขณะนี้มีโมเดลหลายสิบรุ่นให้เลือกใช้งาน ต่อไปนี้คือรายการโมเดลพื้นฐานที่โดดเด่นซึ่งเปิดตัวตั้งแต่ปี 2018

BERT

BiDirectional Encoder Representations from Transformers (BERT) เปิดตัวในปี 2018 เป็นหนึ่งในโมเดลพื้นฐานรุ่นแรกๆ BERT เป็นโมเดลสองทิศทางที่วิเคราะห์บริบทของลำดับที่สมบูรณ์แล้วจึงทำการทำนาย ซึ่งได้รับการฝึกฝนเกี่ยวกับคลังข้อความธรรมดาและ Wikipedia โดยใช้โทเค็น (คำ) 3.3 พันล้านโทเค็น และพารามิเตอร์ 340 ล้านพารามิเตอร์ BERT สามารถตอบคำถาม คาดเดาประโยค และแปลข้อความได้

GPT

โมเดล Generative Pre-trained Transformer (GPT) ได้รับการพัฒนาโดย OpenAI ในปี 2018 ใช้ตัวถอดรหัส Transformer 12 เลเยอร์พร้อมกลไกดูแลตนเอง และได้รับการฝึกฝนเกี่ยวกับชุดข้อมูล BookCorpus ซึ่งมีนวนิยายฟรีมากกว่า 11,000 เล่ม คุณลักษณะเด่นของ GPT-1 คือความสามารถในการเรียนรู้แบบ Zero-Shot

GPT-2 เปิดตัวในปี 2019 OpenAI ฝึกฝนโดยใช้พารามิเตอร์ 1.5 พันล้านพารามิเตอร์ (เทียบกับพารามิเตอร์ 117 ล้านตัวที่ใช้ใน GPT-1) GPT-3 มีนิวรัลเน็ตเวิร์ก 96 เลเยอร์และพารามิเตอร์ 175 พันล้านพารามิเตอร์ และได้รับการฝึกโดยใช้ชุดข้อมูล Common Crawl ที่มีความยาว 500 พันล้านคำ Chatbot ChatGPT ยอดนิยมใช้ GPT-3.5 และ GPT-4 เวอร์ชันล่าสุดเปิดตัวช่วงไปแล้วปลายปี 2022 และผ่านการตรวจบาร์เครื่องแบบได้สำเร็จด้วยคะแนน 297 (76%)

อ่านเพิ่มเติมเกี่ยวกับ GPT »

Amazon Titan

Amazon Titan FM ได้รับการฝึกฝนล่วงหน้าโดยใช้ชุดข้อมูลขนาดใหญ่ ทำให้เป็นโมเดลอเนกประสงค์ที่ทรงพลัง ซึ่งสามารถใช้ได้ตามที่ตั้งค่ามาหรือจะปรับแต่งแบบส่วนตัวโดยอิงจากข้อมูลเฉพาะของบริษัทให้ทำงานแบบเฉพาะเจาะจง โดยไม่ต้องใส่คำอธิบายประกอบข้อมูลจำนวนมาก ในขั้นแรก Titan จะมีอยู่ด้วยกันสองรุ่น รุ่นแรกคือ LLM ช่วงสร้างสำหรับงานต่างๆ เช่น การสรุป การสร้างข้อความ การจัดหมวดหมู่ การถามตอบแบบปลายเปิด และการดึงข้อมูล รุ่นที่สองคือการฝัง LLM ที่แปลการป้อนข้อความซึ่งรวมถึงคำ วลี และหน่วยข้อความขนาดใหญ่ให้เป็นการแสดงตัวเลข (เรียกว่าการฝัง) ที่มีความหมายเชิงความหมายของข้อความ แม้ว่า LLM นี้จะไม่สร้างข้อความ แต่ก็ถือว่ามีประโยชน์สำหรับแอปพลิเคชัน เช่น การทำให้เป็นส่วนตัวและการค้นหา เนื่องจากโดยการเปรียบเทียบการฝัง โมเดลจะสร้างการตอบสนองที่เกี่ยวข้องและตามบริบทมากกว่าการจับคู่คำ เพื่อสนับสนุนแนวทางปฏิบัติที่ดีที่สุดในการใช้ AI อย่างมีความรับผิดชอบ Titan FM จึงถูกสร้างขึ้นเพื่อตรวจจับและลบเนื้อหาที่เป็นอันตรายในข้อมูล ปฏิเสธเนื้อหาที่ไม่เหมาะสมในอินพุตของผู้ใช้ และกรองเอาต์พุตของโมเดลที่มีเนื้อหาที่ไม่เหมาะสม เช่น คำพูดแสดงความเกลียดชัง คำหยาบคาย และความรุนแรง

AI21 Jurassic

Jurassic-1 เปิดตัวในปี 2021 เป็นโมเดลภาษาถอยหลังอัตโนมัติ 76 เลเยอร์พร้อมพารามิเตอร์ 178 พันล้านพารามิเตอร์ Jurassic-1 สร้างข้อความที่เหมือนมนุษย์และแก้ไขงานที่ซับซ้อน ประสิทธิภาพเทียบได้กับ GPT-3

ในเดือนมีนาคม 2023 AI21 Labs ได้เปิดตัว Jurassic-2 ซึ่งได้รับการปรับปรุงความสามารถด้านคำสั่งและภาษา

Claude

Claude 2 เป็นโมเดลที่ล้ำสมัยของ Anthropic ที่เป็นเลิศในด้านบทสนทนาที่รอบคอบ การสร้างเนื้อหา การใช้เหตุผลที่ซับซ้อน ความคิดสร้างสรรค์ และการเขียนโค้ด ซึ่งสร้างขึ้นด้วย Constitutional AI Claude 2 สามารถรับโทเค็นได้มากถึง 100,000 โทเค็นในแต่ละพรอมต์ ซึ่งหมายความว่าสามารถทำงานกับข้อความได้หลายร้อยหน้า หรือแม้แต่หนังสือทั้งเล่ม นอกจากนี้ Claude 2 ยังสามารถเขียนเอกสารที่ยาวขึ้นได้ เช่น บันทึกช่วยจำและเรื่องราว โดยใช้โทเค็นไม่กี่พันโทเค็น เมื่อเทียบกับเวอร์ชันก่อนหน้า

Cohere

Cohere มี LLM อยู่สองแบบได้แก่ แบบที่หนึ่งคือโมเดลรุ่นที่มีความสามารถคล้ายกันกับ GPT-3 และอีกแบบหนึ่งคือโมเดลการนำเสนอที่มีจุดประสงค์เพื่อการทำความเข้าใจภาษา แม้ว่า Cohere จะมีพารามิเตอร์เพียง 52 พันล้านพารามิเตอร์ แต่ก็มีประสิทธิภาพเหนือกว่า GPT-3 หลายประการ

Stable Diffusion

Stable Diffusion คือโมเดลการแปลงข้อความเป็นรูปภาพที่สามารถสร้างภาพที่ดูสมจริงและมีความละเอียดสูง ซึ่งเปิดตัวในปี 2022 และมีโมเดลการแพร่กระจายที่ใช้เทคโนโลยีการลดสัญญาณรบกวนและการลดสัญญาณรบกวนเพื่อเรียนรู้วิธีสร้างภาพ

โมเดลนี้มีขนาดเล็กกว่าเทคโนโลยีการแพร่กระจายของคู่แข่ง เช่น DALL-E 2 ซึ่งหมายความว่าไม่จำเป็นต้องใช้โครงสร้างพื้นฐานการประมวลผลที่กว้างขวาง Stable Diffusion จะทำงานบนการ์ดกราฟิกแบบปกติ หรือแม้แต่บนสมาร์ทโฟนที่มีแพลตฟอร์ม Snapdragon Gen2

อ่านเพิ่มเติมเกี่ยวกับ Stable Diffusion »

BLOOM

BLOOM คือโมเดลหลายภาษาที่มีสถาปัตยกรรมคล้ายกับ GPT-3 ซึ่งได้รับการพัฒนาในปี 2022 จากความร่วมมือระหว่างนักวิทยาศาสตร์กว่าพันคนและทีมงานของ Hugging Space โมเดลนี้มีพารามิเตอร์ 176 พันล้านพารามิเตอร์ และการฝึกฝนใช้เวลาสามเดือนครึ่งโดยใช้ GPU Nvidia A100 จำนวน 384 ตัว แม้ว่าจุดตรวจสอบของ BLOOM จะต้องใช้พื้นที่เก็บข้อมูล 330 GB แต่จะทำงานบนพีซีแบบสแตนด์อโลนที่มี RAM ขนาด 16 GB BLOOM สามารถสร้างข้อความใน 46 ภาษา และเขียนโค้ดในภาษาโปรแกรม 13 ภาษา

Hugging Face

Hugging Face คือแพลตฟอร์มที่มีเครื่องมีโอเพนซอร์สให้คุณใช้ในการสร้างและปรับใช้โมเดลแมชชีนเลิร์นนิง ซึ่งจะทำหน้าที่เป็นศูนย์กลางชุมชน และนักพัฒนาสามารถแบ่งปันและสำรวจโมเดลและชุดข้อมูลได้ คุณสามารถสมัครเป็นสมาชิกได้แบบไม่มีค่าใช้จ่าย แม้ว่าการสมัครสมาชิกแบบชำระเงินจะให้การเข้าถึงในระดับที่สูงกว่าก็ตาม คุณมีสิทธิ์เข้าถึงแบบจำลองเกือบ 200,000 รายการและชุดข้อมูล 30,000 ชุดแบบสาธารณะ

Amazon Bedrock คือวิธีที่ง่ายที่สุดในการสร้างและปรับขนาดแอปพลิเคชันแบบใช้ AI ช่วยสร้างด้วยโมเดลพื้นฐาน Amazon Bedrock เป็นบริการที่มีการจัดการเต็มรูปแบบซึ่งทำให้โมเดลพื้นฐานจาก Amazon และบริษัทสตาร์ทอัพ AI ชั้นนำพร้อมใช้งานผ่าน API ดังนั้นคุณจึงสามารถเลือกจาก FM ต่างๆ เพื่อค้นหาโมเดลที่เหมาะสมที่สุดสำหรับกรณีการใช้งานของคุณ การใช้งาน Bedrock จะทำให้คุณสามารถเร่งการพัฒนาและปรับใช้แอปพลิเคชัน AI ช่วยสร้างที่ปรับขนาดได้ เชื่อถือได้ และปลอดภัย โดยไม่ต้องจัดการโครงสร้างพื้นฐาน

Amazon SageMaker JumpStart ซึ่งเป็นฮับ ML ที่มีโมเดล อัลกอริทึม และโซลูชัน จะมอบการเข้าถึงโมเดลพื้นฐานหลายร้อยโมเดล รวมถึงโมเดลพื้นฐานที่มีประสิทธิภาพสูงสุดที่เผยแพร่ต่อสาธารณะ มีการเพิ่มโมเดลพื้นฐานเข้ามาใหม่อย่างต่อเนื่อง ได้แก่Llama 2, Falcon และ Stable Diffusion XL 1.0