ทำความรู้จัก MoE และ Long Context: สถาปัตยกรรมเบื้องหลัง AI ยุคใหม่

ความก้าวหน้าของโมเดลภาษาขนาดใหญ่ (Large Language Model หรือ LLM) ในช่วงหลายปีที่ผ่านมา ไม่ได้มาจากการเพิ่มขนาดพารามิเตอร์แบบดุ่มๆ เพียงอย่างเดียวอีกต่อไป แต่มาจากการออกแบบสถาปัตยกรรมที่ฉลาดขึ้นกว่าเดิม สองแนวคิดที่ปรากฏซ้ำๆ ในเปเปอร์วิชาการและประกาศเปิดตัวโมเดลใหม่ๆ คือ MoE (Mixture of Experts) และ Long Context ซึ่งทั้งคู่เป็นปัจจัยสำคัญที่ทำให้ AI ยุคใหม่ทั้งฉลาดขึ้น เร็วขึ้น และรองรับข้อมูลปริมาณมหาศาลได้ในคราวเดียว บทความนี้จะพาไปทำความเข้าใจว่าสถาปัตยกรรมทั้งสองนี้ทำงานอย่างไร และเหตุใดจึงมีความสำคัญต่อวงการ AI

รู้จักกับ Mixture of Experts (MoE)
โมเดล Transformer แบบดั้งเดิม เช่น GPT-3 หรือ LLaMA รุ่นแรก ใช้สถาปัตยกรรมที่เรียกว่า Dense Model ซึ่งหมายความว่าทุกครั้งที่โมเดลประมวลผลข้อความ พารามิเตอร์ทุกตัวในโมเดลจะถูกใช้งานพร้อมกันทั้งหมด ไม่ว่าโจทย์นั้นจะง่ายหรือซับซ้อนแค่ไหน ผลที่ตามมาคือการเพิ่มขนาดโมเดลมักมาพร้อมต้นทุนการประมวลผลที่เพิ่มขึ้นตามสัดส่วนโดยตรงเสมอ

Mixture of Experts (MoE) เข้ามาเปลี่ยนแนวคิดนี้อย่างสิ้นเชิง แทนที่จะใช้พารามิเตอร์ทั้งหมดพร้อมกันทุกครั้ง MoE จะแบ่งโมเดลออกเป็นกลุ่มย่อยที่เรียกว่า "ผู้เชี่ยวชาญ" หรือ experts ซึ่งแต่ละกลุ่มเป็นเครือข่ายประสาทเทียมขนาดเล็กที่ถนัดจัดการงานต่างกัน แล้วมีกลไกที่เรียกว่า Router หรือ Gating Network คอยตัดสินใจว่า token แต่ละตัวที่เข้ามาควรถูกส่งไปให้ expert กลุ่มใดประมวลผล

ยกตัวอย่างเช่น หากโมเดลมี expert ทั้งหมด 8 กลุ่ม Router อาจเลือกใช้งานเพียง 2 กลุ่มต่อหนึ่ง token ซึ่งเทคนิคนี้เรียกว่า top-k routing (นิยมใช้ top-2) ผลลัพธ์ที่ได้คือ แม้โมเดลจะมีพารามิเตอร์รวมมหาศาลนับแสนล้านตัว แต่ในการประมวลผลจริงแต่ละครั้งจะมีเพียงบางส่วนเท่านั้นที่ถูกกระตุ้นใช้งาน ทำให้ต้นทุนการคำนวณจริงต่ำกว่าขนาดโมเดลทั้งหมดอย่างมีนัยสำคัญ

เหตุใด MoE จึงเป็นก้าวสำคัญ
จุดเด่นของ MoE คือการแยก ขนาดพารามิเตอร์รวม ออกจาก ต้นทุนการประมวลผลต่อการอนุมาน อย่างชัดเจน ตัวอย่างที่เห็นภาพชัดคือ Mixtral 8x7B ของ Mistral AI ซึ่งแม้จะมีพารามิเตอร์รวมประมาณ 47 พันล้านตัว แต่ในการประมวลผลแต่ละครั้งใช้งานจริงเพียงราว 13 พันล้านตัว ทำให้ได้ประสิทธิภาพใกล้เคียงโมเดลขนาดใหญ่ แต่ความเร็วในการรันเทียบเท่าโมเดลขนาดเล็กกว่ามาก โมเดลระดับแนวหน้าหลายตัวในปัจจุบันจึงหันมาใช้แนวทาง MoE เพราะเป็นวิธีที่คุ้มค่าที่สุดในการขยายความสามารถของโมเดลโดยไม่ทำให้ต้นทุนพุ่งสูงเกินควบคุม

แน่นอนว่า MoE ก็มาพร้อมความท้าทาย เช่น การฝึกให้ Router กระจายงานอย่างสมดุล (load balancing) เพื่อไม่ให้ expert บางตัวถูกใช้งานหนักเกินไปจนกลายเป็นคอขวด และยังต้องใช้หน่วยความจำมากกว่าที่คิด เพราะแม้จะกระตุ้นใช้เพียงบาง expert ต่อครั้ง แต่พารามิเตอร์ของ expert ทั้งหมดยังต้องถูกโหลดค้างไว้ในหน่วยความจำตลอดเวลาเพื่อความพร้อมใช้งาน

รู้จักกับ Long Context
อีกหนึ่งความก้าวหน้าที่สำคัญไม่แพ้ MoE คือ Long Context หรือความสามารถของโมเดลในการประมวลผลข้อความยาวๆ ได้ในครั้งเดียว คำว่า context length หรือ context window หมายถึงจำนวน token สูงสุดที่โมเดลอ่านและจดจำได้ในการประมวลผลหนึ่งรอบ

ย้อนไปในยุคแรกของ LLM เช่น GPT-3 มี context window เพียงราว 2,000-4,000 token เทียบเท่าเอกสารไม่กี่หน้ากระดาษเท่านั้น แต่ปัจจุบันโมเดลชั้นนำหลายตัวรองรับ context window ได้ถึงหลักแสนหรือหลักล้าน token เช่น Gemini 1.5 Pro ของ Google ที่รองรับได้ถึง 1-2 ล้าน token หรือเทียบเท่าหนังสือความยาวหลายเล่มรวมกัน

ความท้าทายทางเทคนิคของ Long Context
อุปสรรคหลักของการขยาย context window มาจากกลไก Self-Attention ซึ่งเป็นหัวใจของสถาปัตยกรรม Transformer โดยธรรมชาติ self-attention ต้องคำนวณความสัมพันธ์ระหว่าง token ทุกคู่ในข้อความ ทำให้ต้นทุนการคำนวณและหน่วยความจำเพิ่มขึ้นแบบ กำลังสอง (quadratic) เมื่อเทียบกับความยาวข้อความ กล่าวคือหากความยาวข้อความเพิ่มขึ้นสองเท่า ต้นทุนการคำนวณจะพุ่งขึ้นถึงสี่เท่า นี่คือเหตุผลที่การขยาย context window ในอดีตทำได้ยากและมีค่าใช้จ่ายสูงมาก

เพื่อรับมือกับข้อจำกัดนี้ นักวิจัยได้คิดค้นเทคนิคหลายอย่าง ได้แก่
Sparse Attention ที่ให้โมเดลเลือกคำนวณความสัมพันธ์เฉพาะคู่ token ที่สำคัญ แทนที่จะคำนวณทุกคู่
Sliding Window Attention ที่จำกัดขอบเขตการมองเห็นของแต่ละ token ให้อยู่ในช่วงที่กำหนด แล้วซ้อนทับหลายชั้นเพื่อให้ข้อมูลไหลถึงกันได้ในภาพรวม
Rotary Position Embedding (RoPE) และเทคนิคขยาย positional encoding อื่นๆ ที่ช่วยให้โมเดลเข้าใจตำแหน่งของ token ได้แม้ในข้อความที่ยาวกว่าช่วงที่เคยฝึกมา
Ring Attention และ Flash Attention ซึ่งเป็นเทคนิคระดับฮาร์ดแวร์ที่เพิ่มประสิทธิภาพด้านหน่วยความจำในการคำนวณ attention ทำให้ประมวลผลข้อความยาวมากได้โดยไม่ล้นหน่วยความจำ GPU

ประโยชน์ของ Long Context ในการใช้งานจริง
การรองรับ context ยาวๆ เปิดโอกาสใหม่ในหลายด้าน เช่น การให้โมเดลอ่านและวิเคราะห์เอกสารกฎหมายทั้งฉบับในครั้งเดียว การสรุปหนังสือทั้งเล่ม การวิเคราะห์โค้ดเบสขนาดใหญ่ทั้งโปรเจกต์เพื่อหาบั๊กหรือเสนอแนวทางปรับปรุง หรือแม้แต่การจดจำบทสนทนาที่ยาวนานหลายชั่วโมงโดยไม่หลุดบริบทเดิม ซึ่งแต่ก่อนต้องพึ่งพาเทคนิคอย่าง Retrieval-Augmented Generation (RAG) เพื่อดึงข้อมูลที่เกี่ยวข้องมาช่วย แต่เมื่อ context window ใหญ่พอ โมเดลก็สามารถ "อ่านทุกอย่างในคราวเดียว" ได้โดยตรงโดยไม่ต้องแยกขั้นตอนดึงข้อมูลอีกต่อไป

เมื่อ MoE และ Long Context ทำงานร่วมกัน
สิ่งที่น่าสนใจคือ MoE และ Long Context ไม่ใช่เทคโนโลยีที่แยกขาดจากกัน แต่มักถูกผสมผสานเข้าด้วยกันในโมเดลระดับแนวหน้ายุคปัจจุบัน เพราะทั้งสองแนวทางมีเป้าหมายร่วมกันคือ การเพิ่มความสามารถของโมเดลโดยไม่ทำให้ต้นทุนการประมวลผลพุ่งสูงจนใช้งานจริงไม่ได้

MoE ช่วยลดต้นทุนด้านการคำนวณของพารามิเตอร์ ในขณะที่เทคนิคด้าน Long Context อย่าง Flash Attention และ Sparse Attention ช่วยลดต้นทุนของการประมวลผลข้อความยาว เมื่อทั้งสองแนวคิดถูกนำมารวมกัน จึงเกิดโมเดลที่มีขนาดใหญ่มาก จดจำบริบทได้ยาวมาก แต่ยังรันได้ในต้นทุนที่เหมาะสมสำหรับการใช้งานเชิงพาณิชย์จริง

บทสรุป
MoE และ Long Context คือสองสถาปัตยกรรมสำคัญที่อยู่เบื้องหลังความก้าวหน้าของ AI ยุคปัจจุบัน MoE ช่วยให้โมเดลมีความสามารถสูงขึ้นโดยไม่ต้องแบกรับต้นทุนการประมวลผลที่เพิ่มขึ้นตามสัดส่วนของขนาดพารามิเตอร์ ส่วน Long Context เปิดโอกาสให้โมเดลเข้าใจและประมวลผลข้อมูลปริมาณมหาศาลได้ในครั้งเดียว ทั้งสองแนวคิดนี้ไม่ได้เป็นเพียงศัพท์เทคนิคในแวดวงวิชาการอีกต่อไป แต่กลายเป็นรากฐานสำคัญที่ทำให้ผู้ใช้งานทั่วไปได้สัมผัสประสบการณ์ AI ที่ฉลาดขึ้น เร็วขึ้น และเข้าใจบริบทได้ลึกซึ้งกว่าที่เคยเป็นมา และมีแนวโน้มสูงว่าทั้งสองสถาปัตยกรรมนี้จะยังคงถูกพัฒนาต่อไปเพื่อรองรับความต้องการที่ซับซ้อนยิ่งขึ้นของโลก AI ในอนาคต

สำหรับธุรกิจที่ต้องการมีแอปพลิเคชันเป็นของตัวเองเพื่อเพิ่มยอดขาย สร้างฐานลูกค้า และยกระดับการให้บริการ เราขอแนะนำ Appsmez ผู้ให้บริการรับทำแอปมือถือและพัฒนาแอปสำหรับธุรกิจ ทั้งระบบ iOS และ Android มีให้เลือกทั้งแบบแอปสำเร็จรูปพร้อมใช้งานและพัฒนาแบบ Custom ตามความต้องการ เหมาะสำหรับธุรกิจ E-Commerce, ร้านอาหาร, ระบบสมาชิก, ระบบจอง และธุรกิจทุกขนาด ดูรายละเอียดเพิ่มเติมได้ที่ https://appsmez.com/