โดย Nokka (นก-กา) | 4 พ.ย. 2026
ทีมวิจัยสี่คนจาก MIT CSAIL เผยแพร่งานเมื่อวันที่ 2 พฤศจิกายนที่ผ่านมา ด้วยชื่อที่อ่านแล้วสะดุด: Sparks of Weight-Space Programming [1]
แก่นของงานคือการให้ GPT-6 Astra อ่านและเขียนค่าน้ำหนักของโครงข่ายประสาทเทียมโดยตรง โดยไม่ใช้การไล่ระดับสีและไม่มีการเทรนใหม่ [1]
ถ้าฟังแค่พาดหัว จะเข้าใจว่านี่คือการอัปเกรดโมเดลให้ฉลาดขึ้น
แต่ถ้าอ่านรายละเอียด จะเห็นว่างานนี้ซ่อมอาการค้างของโมเดล ไม่ได้เติมความรู้ใหม่ [1]
ตัวเลขที่ทำให้คนพูดถึง
ในการทดลองที่ชัดที่สุด ทีมงานให้ Astra แก้โมเดล Qwen3.5-0.8B ซึ่งมีพารามิเตอร์ราว 800 ล้านตัว [1]
Astra แก้ไปเพียง 131,072 ค่าน้ำหนัก หรือราว 0.016% ของทั้งโมเดล [2]
ผลคือคะแนน MATH-500 ขยับจาก 7.9% เป็น 48.1% [2]
GSM8K ขึ้นจาก 13.8% เป็น 67.1% และ IFEval ซึ่งวัดการทำตามคำสั่ง ขึ้นจาก 21.0% เป็น 62.3% [2]
ตัวเลขที่ผมคิดว่าสำคัญที่สุดคือสัดส่วนคำตอบที่วนซ้ำจนชนเพดานโทเคน ลดจาก 93.0% เหลือ 33.1% [2]
อาการที่ถูกซ่อมคืออะไร
ก่อนแก้ โมเดลนี้มักเขียนซ้ำประโยคเดิมจนหมดโควตาคำตอบ แล้วจบด้วยคำตอบที่ไม่สมบูรณ์ [1]
Astra ตรวจพฤติกรรมของโมเดลผ่านสภาพแวดล้อม Python ที่จำกัดสิทธิ์ แล้วสรุปว่ามีทิศทางตัวเลขหนึ่งทิศในชั้นที่ 15 และ 19 ที่ผลักให้โมเดลวนซ้ำ [1]
มันจึงลบทิศทางนั้นออก ผลคือโมเดลได้ใช้ความสามารถที่มันมีอยู่แล้ว แต่ถูกอาการค้างบดบังไว้ [1]
ทีมงานจึงเรียกงานนี้ว่าการซ่อม ไม่ใช่การเพิ่มความสามารถ
งานนี้ใช้เวลาเท่าไร
จุดที่บทความข่าวส่วนใหญ่ไม่พูดถึงคือต้นทุนการค้นหาคำตอบ
ความพยายามครั้งที่ดีที่สุดใช้คำขอประเมินผล 50 ครั้ง โดยแต่ละครั้งอาจมีตัวอย่างหลายร้อยข้อ [2]
ตลอดกระบวนการมีบทสนทนา 158 รอบ การรัน Python 80 ครั้ง และใช้เวลาทั้งหมด 20.3 ชั่วโมง ซึ่งในจำนวนนี้ 4.7 ชั่วโมงเป็นการรอระบบภายนอกขัดข้อง [2]
แปลว่าการแก้น้ำหนัก 0.016% ไม่ใช่การแก้ห้านาที แต่เป็นการสอบสวนที่กินเวลารวม 20.3 ชั่วโมง
กรณีที่แก้ไม่ได้
เมื่อทีมงานลองกับ Gemma 3 270M ซึ่งไม่ค่อยมีอาการวนซ้ำ Astra ทำคะแนนคณิตได้ดีขึ้นเพียงเล็กน้อยจาก 6.8% เป็น 7.7% ที่การรัน 25 รอบ ส่วนการรัน 50 รอบกลับได้ 7.0% และทีมงานสรุปเองว่าไม่ถือว่าเป็นการปรับปรุงด้านคณิต [1][3]
การทดลองนี้คือหลักฐานว่าเทคนิคนี้ลบอุปสรรคที่บังอยู่ ไม่ได้เติมความสามารถที่ไม่มี
มีอีกกรณีที่ Astra แยกไม่ออกระหว่างโมเดลสองตัว ตัวหนึ่งถูกฝึกให้คล้อยตามผู้ใช้ อีกตัวถูกฝึกให้ตอบถูก กระทั่งทีมงานป้อนรูปแบบการให้ความสนใจ (attention patterns) ระหว่างทำงานให้ [1]
ส่วนที่ไกลกว่าการซ่อม
Astra ยังระบุได้ว่าโครงข่ายสี่ตัวที่หน้าตาเหมือนกันทุกอย่างกำลังเล่นเกมอะไร โดยไม่ได้รับเครื่องมือหรือรายชื่อเกมให้เลือก [1]
ในงานขับรถจำลอง อุปกรณ์ควบคุมตัวหนึ่งติดอยู่ที่ทางลาด Astra รับน้ำหนักของมัน เข้าใจฉาก และเห็นเส้นทางการล้มเหลวหนึ่งครั้ง แล้วส่งแพตช์กลับมาในคำตอบเดียว [1]
แพตช์นั้นแตะน้ำหนัก 3.5% และทีมงานรายงานว่าอัตราความสำเร็จขึ้นเป็น 100% [1]
ในงาน MinAtar โครงข่าย Breakout ที่ Astra สร้างได้คะแนน 517.4 เทียบกับโครงข่ายที่ฝึกด้วยวิธี PPO 500 ล้านก้าวได้ 25.3 [1]
แต่ส่วนได้เปรียบนั้นไม่ได้เกิดทุกเกม เพราะ Astra แพ้โครงข่าย PPO ใน Seaquest และแพ้เล็กน้อยใน Asterix [1] แม้จะชนะ baseline PPO ที่ฝึก 100 ล้านก้าวทั้งสามเกม [2]
เสียงจากคนนอก
นักวิจัยที่ไม่ได้ร่วมงานบางคนมองบวก บางคนมองลบ และมีข้อสังเกตที่ตรงประเด็น
บัญชี X ชื่อ @1a3orn ชี้ว่าเธรดประกาศของผู้เขียนตัดผลลัพธ์ด้านลบออก คือกรณี Gemma ที่ไม่มีการปรับปรุงด้านคณิต [2]
แต่เขาให้เครดิตผู้เขียนด้วยว่าใส่เคสล้มเหลวไว้ครบในบล็อก [2]
Maxime Fournes ซีอีโอของ PauseAI เขียนว่าถ้างานนี้จริง มันจะเร่งความก้าวหน้าอย่างมาก พาโลกใกล้หายนะ และเขาเห็นว่าเป็นทิศทางการวิจัยที่ประมาท [2]
ผมอ่านความเห็นทั้งสองแบบว่าเป็นเรื่องคนละชั้น คนแรกถามเรื่องความแข็งของหลักฐาน คนที่สองถามเรื่องผลที่จะตามมา
ฝั่งมองบวกก็มี ชื่อที่ถูกอ้างในรายงานคือ Yuchen Jin จาก Databricks และ Chandan Singh จาก Voyage AI [2]
สิ่งที่งานนี้ยังไม่ได้พิสูจน์
- ไม่ได้พิสูจน์ว่าแก้ค่าน้ำหนักเร็วกว่าหรือถูกกว่าการเทรนแบบเดิม ทีมงานเองก็ยังไม่ได้วัดส่วนนี้ [2]
- ไม่ได้พิสูจน์ว่า Astra เข้าใจกลไกภายในของโครงข่ายจริง หรือแค่จับสัญญาณบางอย่างได้
- ผลทั้งหมดมาจากการทดลองในสภาพแวดล้อมที่ทีมงานจัดเตรียม ยังไม่มีงานอิสระทำซ้ำ
ถ้าคุณโหลดโมเดลโอเพนเวตไปใช้
มีสองเรื่องที่ผมอยากให้จำจากงานนี้
เรื่องแรก คะแนนที่พุ่งขึ้นอาจมาจากการเอาอุปสรรคออก ไม่ใช่จากความรู้ใหม่ ถ้าโมเดลของคุณไม่มีอาการวนซ้ำ เทคนิคนี้ก็อาจไม่ช่วยอะไร
เรื่องที่สอง การตรวจไฟล์ด้วยค่าแฮชบอกได้แค่ว่าไฟล์ถูกแก้ แต่บอกไม่ได้ว่าแก้ไปทำอะไร
แหล่งอ้างอิง
[1] Rikiya Takehi และคณะ · Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (MIT CSAIL, 2 พ.ย. 2026) · https://rikiyat.github.io/blog/weight-space-programming/
[2] VentureBeat · MIT researchers used GPT-6 Astra to edit Qwen's open weights directly, boosting math performance (2 พ.ย. 2026) · https://venturebeat.com/technology/like-gene-editing-for-neural-networks-mit-researchers-used-gpt-6-astra-to-edit-qwens-open-weights-directly-boosting-math-performance
[3] GitHub · lm_understand-logs exp8_math/gemma_followup (ผลการทดลอง Gemma ของผู้เขียน, 2026) · https://github.com/RikiyaT/lm_understand-logs/blob/main/exp8_math/gemma_followup/README.md
บทความนี้เขียนโดย AI (deepseek-v4.1-flash · ผู้ให้บริการโมเดล: ollama-cloud) ผ่าน Hermes Agent ภายใต้การควบคุมและตรวจสอบคุณภาพโดยมนุษย์ - Nokka (นก-กา)
Top comments (0)