Self-Improving AI Agents บทที่ 4: Skill Library, Memory และ 4 Layers

บทที่ 4 — Skill Library, Memory และ 4 Layers ของ Self-Evolution

โดย Nokka (นก-กา) | กันยายน 2026

บทความนี้เขียนโดย AI (DeepSeek V4 Pro) ผ่าน Hermes Agent — ตรวจสอบและเรียบเรียงโดย Nokka

ในบทที่แล้วเราเห็นกลไกสามตระกูลที่ทำให้ AI เก่งขึ้น แต่มีปัญหาหนึ่งที่ยังไม่ได้แก้: การเก่งขึ้นจะไร้ค่า ถ้า AI จำสิ่งที่เรียนรู้ไม่ได้

ลองนึกภาพนักเรียนที่เรียนเก่งมาก แต่ทุกเช้าตื่นมาแล้วลืมทุกอย่างที่เรียนเมื่อวาน — เขาจะเก่งขึ้นได้ยังไง?

นี่คือปัญหาพื้นฐานของ AI agent ส่วนใหญ่: โมเดลถูกแช่แข็ง ความรู้ใหม่ที่ได้จากประสบการณ์จะหายไปทันทีที่งานจบ

บทนี้จะดูสองวิธีแก้ปัญหานี้ — Skill Library (คลังทักษะ) และ Memory (ความจำ) — แล้วปิดท้ายด้วยกรอบคิด "4 Layers" ที่ช่วยให้เห็นภาพรวมว่า self-evolution เกิดที่ชั้นไหนได้บ้าง

Skill Library — คลังทักษะที่สะสมได้

แนวคิด

แทนที่จะให้ AI เรียนรู้แล้วลืม Skill Library คือการให้ AI จดบันทึกทักษะที่เรียนรู้ไว้เป็นไฟล์ แล้วเรียกใช้ซ้ำได้ในอนาคต

Voyager — งานบุกเบิก

Voyager (Wang et al., 2023) เป็นงานที่ทำให้แนวคิดนี้โด่งดัง นี่คือ agent ที่เล่นเกม Minecraft และเรียนรู้การเล่นด้วยตัวเอง

หลักการของ Voyager คือ:

1. agent เจอสถานการณ์ใหม่ (เช่น ต้องสร้างเครื่องมือ)
2. มันเขียน "โค้ดทักษะ" (skill code) เพื่อแก้สถานการณ์นั้น
3. ถ้าโค้ดใช้ได้ผล มันจะ บันทึกโค้ดนั้นลงคลังทักษะ
4. ครั้งหน้าเจอสถานการณ์คล้ายกัน มันเรียกโค้ดจากคลังมาใช้ทันที ไม่ต้องเขียนใหม่

ผลลัพธ์คือ Voyager สะสมทักษะได้เรื่อย ๆ จนเก่งขึ้นแบบทบต้น — ทักษะใหม่ต่อยอดจากทักษะเก่า

SAGE — พัฒนาการล่าสุด

SAGE (Wang et al., ACL 2026) เป็นงานล่าสุดจาก Amazon ที่แก้จุดอ่อนของ Voyager

ปัญหาของ Voyager คือการจัดการคลังทักษะอาศัย "prompting" ล้วน ๆ — ให้ LLM ตัดสินใจเองว่าจะเก็บทักษะอะไร จะเรียกใช้เมื่อไหร่ ซึ่งไม่เสถียร

SAGE แก้ด้วยการใช้ Reinforcement Learning (RL) เข้ามาจัดการคลังทักษะอย่างเป็นระบบ ผ่านเทคนิคที่เรียกว่า Sequential Rollout — ให้ agent ทำงานเป็นลูกโซ่ของงานที่คล้ายกัน ทักษะที่ได้จากงานแรกจะสะสมเข้า library และพร้อมใช้ในงานถัดไป

ผลลัพธ์จากงานวิจัย: SAGE ทำคะแนน Scenario Goal Completion สูงขึ้น 8.9% พร้อมกับใช้ interaction steps น้อยลง 26% และสร้าง token น้อยลง 59% — เก่งขึ้น เร็วขึ้น และประหยัดขึ้นพร้อมกัน

Memory — ความจำที่ข้ามงานได้

แนวคิด

Skill Library เก็บ "ทักษะ" (วิธีทำ) แต่ Memory เก็บ "ความรู้" (ข้อเท็จจริงและประสบการณ์)

MemGPT เป็นงานสำคัญในสายนี้ — แนวคิดคือให้ agent มีระบบความจำแบบ "ลำดับชั้น" เหมือนระบบปฏิบัติการคอมพิวเตอร์:

• Main context (ความจำหลัก) — สิ่งที่กำลังคิดอยู่ตอนนี้
• External memory (ความจำภายนอก) — สิ่งที่เก็บไว้ดึงกลับมาใช้ทีหลัง

เมื่อ agent เจอข้อมูลสำคัญ มันจะ "เขียนลงความจำภายนอก" แล้วดึงกลับมาใช้เมื่อจำเป็น — เหมือนมนุษย์ที่จดบันทึกแล้วเปิดอ่านทีหลัง

ทำไม Memory ถึงสำคัญต่อ self-improvement

เพราะ self-improvement ที่แท้จริงต้อง "ข้ามงาน" ได้ — บทเรียนจากงาน A ต้องช่วยให้งาน B ดีขึ้น

ถ้าไม่มี memory agent ก็เหมือนคนความจำสั้น — เก่งขึ้นในงานเดียว แล้วลืมหมดเมื่อเริ่มงานใหม่

4 Layers ของ Self-Evolution

ตอนนี้เรามีชิ้นส่วนครบแล้ว มาดูภาพรวมด้วยกรอบคิด "4 Layers" — ว่า self-evolution เกิดได้ที่ชั้นไหนบ้าง และแต่ละชั้นมีข้อดีข้อเสียต่างกันยังไง

งานวิจัยปี 2024-2026 แบ่ง "สิ่งที่ถูกอัปเดต" ออกเป็น 4 ชั้น:

Layer 1 — Parameter (น้ำหนักโมเดล)

อัปเดตอะไร: น้ำหนักของโมเดลโดยตรง ผ่าน SFT, RL, หรือเทคนิคอื่น

ข้อดี: เปลี่ยนความสามารถถาวรที่สุด — โมเดลเก่งขึ้นจริงในระดับรากฐาน

ข้อเสีย: แพง เสี่ยง (forgetting, model collapse) และยากที่จะ rollback ถ้าผิดพลาด

ตัวอย่าง: STaR, SPIN, SAGE (เทรนโมเดลด้วยข้อมูลที่สร้างเอง)

Layer 2 — Capability (ทักษะ)

อัปเดตอะไร: คลังทักษะ — ไฟล์ markdown หรือโค้ดที่บันทึกวิธีทำสิ่งต่าง ๆ

ข้อดี: ปลอดภัยกว่า ตรวจสอบได้ง่ายกว่า และต่อยอดได้ (ทักษะใหม่ใช้ทักษะเก่า)

ข้อเสีย: ไม่เปลี่ยนโมเดลจริง — ถ้าโมเดลพื้นฐานไม่เก่งพอ ทักษะก็ช่วยได้จำกัด

ตัวอย่าง: Voyager, Ctx2Skill, CoEvoSkills

Layer 3 — Memory (ความรู้โลก)

อัปเดตอะไร: ความรู้และประสบการณ์ที่สะสมจากการสำรวจ

ข้อดี: ช่วยให้ agent จำสิ่งที่เรียนรู้ข้ามงานได้

ข้อเสีย: เสี่ยง "memory drift" — ความจำที่ขัดแย้งกันสะสมจน agent สับสน

ตัวอย่าง: MemGPT, MVMem

Layer 4 — System (workflow/orchestration)

อัปเดตอะไร: ตัว workflow เอง — วิธีที่ agent จัดการงาน เรียกใช้เครื่องมือ ลำดับขั้นตอน

ข้อดี: ใกล้เคียง "แก้ตัวเอง" ที่สุด — agent ปรับวิธีทำงานของตัวเอง

ข้อเสีย: เสี่ยงสูงสุด เพราะแก้โค้ดที่รันตัวเอง

ตัวอย่าง: self-debugging code agents, self-modifying agents

สรุปบทนี้

• Skill Library ให้ AI สะสมทักษะไว้ใช้ซ้ำ (Voyager, SAGE)
• Memory ให้ AI จำความรู้ข้ามงานได้ (MemGPT)
• 4 Layers ช่วยให้เห็นว่า self-evolution เกิดได้ 4 ชั้น: Parameter (น้ำหนัก), Capability (ทักษะ), Memory (ความรู้), System (workflow)
• แต่ละชั้นมี trade-off ต่างกัน — ยิ่งลึกยิ่งเปลี่ยนถาวร แต่ยิ่งเสี่ยง

ตอนนี้เรามีชิ้นส่วนครบทุกชิ้นแล้ว — กลไก (บทที่ 3) + ความจำ (บทที่ 4) ในบทถัดไป เราจะดู "ทฤษฎีรวม" ที่อธิบายว่าทำไมทุกอย่างที่เราเรียนมา แท้จริงแล้วคือสิ่งเดียวกัน

---

เอกสารอ้างอิง

• Wang, G. et al. (2023). Voyager: An Open-Ended Embodied Agent with Large Language Models. arXiv:2305.16291 — https://arxiv.org/abs/2305.16291
• Wang, J. et al. (2026). Reinforcement Learning for Self-Improving Agent with Skill Library. ACL 2026 — https://aclanthology.org/2026.acl-long.69/
• Packer, C. et al. (2023). MemGPT: Towards LLMs as Operating Systems. arXiv:2310.08560 — https://arxiv.org/abs/2310.08560

---

📚 อ่านต่อในซีรีส์นี้

← บทก่อนหน้า: บทที่ 3: Reflection, Self-Training, Self-Play
บทถัดไป: บทที่ 5: GVU Operator และ Recursive Self-Improvement →