DEV Community

supachai jaturaprom
supachai jaturaprom

Posted on Originally published at dev.to

โมเดลเดียวกัน 11 Harness: อ่าน Harness Leaderboard v0.1.9 แบบ Engineer

ผมไม่ได้รัน trial เหล่านี้เอง ตัวเลขทั้งหมดมาจาก Harness Leaderboard v0.1.9 (Hugging Face Space ของ Joel Niklaus) ที่ผมอ่านเมื่อ 20 พฤศจิกายน 2026 รวมแท็บ Method ด้วย บอร์ดนี้อัปเดตบ่อย ก่อนนำตัวเลขไปอ้างควรเช็กหน้าจริงอีกครั้ง ฉบับภาษาอังกฤษอยู่ท้ายบทความ

สรุปสั้น

  • ใช้โมเดลเดียวกัน weights เดียวกัน task ชุดเดียวกัน แต่เปลี่ยน coding-agent harness 11 ตัว ค่า macro avg resolve rate อยู่ระหว่าง 42.7% (OpenClaw) ถึง 52.5% (OpenCode) ห่างกัน 10 จุด และถ้าดูเป็นรายโมเดล ห่างกันได้ถึง 22 จุด
  • บนกราฟ accuracy vs cost มีแค่ 3 ตัวที่อยู่บน Pareto frontier คือ OpenClaw (ถูกสุด), Pi (ถูกสุดต่องานที่สำเร็จ) และ OpenCode (แม่นสุด)
  • แค่รัน harness ตัวเดิมซ้ำ task ก็ flip ไปแล้ว 24.1% ถ้าเปลี่ยน harness จะ flip 27.1% และถ้าเปลี่ยนโมเดลจะ flip 33.8% แปลว่า harness มีผล แต่น้อยกว่าโมเดล และ noise ระหว่างการรันแต่ละครั้งก็สูง
  • harness ที่ดีที่สุดขึ้นกับโมเดลที่ใช้ มีแค่ OpenCode กับ Kimi Code ที่ติดกลุ่มอันดับหนึ่งครบทั้ง 4 โมเดล
  • ส่วนที่มีประโยชน์ที่สุดสำหรับ engineer คือรายการ bug ของแต่ละ harness ที่บอร์ดเจอ เช่น context window default ผิด, reply cap ที่ไม่บอกกัน และ compaction ที่ไม่ทำงาน

กราฟ Pareto จาก Harness Leaderboard v0.1.9: macro-average resolve rate เทียบ cost per trial ของ coding-agent harness 11 ตัวบนโมเดลเปิดชุดเดียวกัน

ภาพ: screenshot หน้า Pareto ของ Harness Leaderboard v0.1.9 (All models, All efforts) กราฟและข้อมูลเป็นของผู้จัดทำบอร์ด

ทำไมบอร์ดนี้น่าอ่าน

leaderboard ส่วนใหญ่จัดอันดับโมเดล หรือจัดอันดับโมเดลภายใน agent ตัวเดียว แต่ตอนใช้งานจริงเราต้องเลือกทั้งสองอย่าง คือโมเดล และ harness ที่จะขับโมเดลนั้น harness เป็นตัวกำหนด system prompt, tool schema, edit format, การ compact history, การ retry และ subagent บอร์ดนี้ล็อกโมเดลไว้แล้วเปลี่ยนแค่ harness ความต่างที่เห็นจึงมาจาก harness ล้วนๆ

Setup

Harness 11 ตัว แต่ละตัว pin version ไว้: Claude Code 2.1.300, Codex 0.162.1, Pi 1.2.0, OpenCode 2.2.6, Hermes Agent v0.22.1, mini-swe-agent 2.4.6, Kimi Code 2.2.0, Qwen Code 0.25.2, OpenClaw 2026.11.1, DeepSeek Harness 0.2.2-rc.1, Grok Build 1.0.77

โมเดลเปิด 4 ตัว:

  • GLM-5.3-Flash และ DeepSeek-V4.1-Flash ใช้ context 1,048,576 tokens
  • Flint และ Ripple-65B-Preview ใช้ context 262,144 tokens

การใช้ context สองขนาดนี้ตั้งใจไว้ เพราะ window ที่เล็กกว่าจะบังคับให้ harness ต้อง compact history บอร์ดจึงได้ทดสอบเรื่อง compaction ไปด้วย

Benchmark:

  • Terminal-Bench 2.1: 87 จาก 89 tasks (งาน build, debug, configure บน terminal)
  • DeepSWE v1.1: 111 จาก 113 tasks (feature/fix แบบ long-horizon ใน repo จริง ภาษา Go, Python, TS/JS, Rust)

ทุก harness รันทุก task 3 ครั้งต่อหนึ่งคู่ model กับ reasoning effort รวมบนบอร์ด 39,204 attempts รันบน HF Sandbox, HF Jobs และ Harbor ส่วน trajectory เผยแพร่ใน public bucket

วิธีทำให้เทียบกันได้อย่างยุติธรรม

สิ่งที่ทุก harness ได้เหมือนกัน

  • model weights และ reasoning effort เดียวกัน มี metering proxy ใน sandbox บังคับ effort ทุก call และนับ token ค่าใช้จ่ายกับเวลาจึงวัดจากภายนอก harness
  • task text, time limit, internet access และ scoring ชุดเดียวกัน
  • ไม่จำกัด step, token หรือ cost ต่อ task
  • ส่ง context window, max reply และข้อมูลว่าโมเดลรับภาพได้หรือไม่ ให้ทุก harness ผ่าน setting ของ harness เอง ไม่ต้องให้ harness ไปเดาค่าเอง

สิ่งที่ปล่อยให้ harness ตัดสินใจเองตามค่าที่ shipped มา ได้แก่ prompt, tools, compaction, retry และ subagent

provider ต้องผ่าน equivalence check ก่อนเข้าร่วม คือต้องใช้ weights และ precision ตามที่ประกาศ, reasoning length ใกล้กับ reference, ตอบ known-answer ได้ตรง, ทำ tool call ได้สะอาด และนับ token ตรงกับที่เรียกเก็บ ส่วน cost คิดจาก list price ของ provider ที่ถูกที่สุดในกลุ่มที่ผ่านการตรวจ ไม่ว่า trial นั้นจะรันบน provider ไหนก็ตาม

การให้คะแนน

  • score ของ task = สัดส่วน attempt ที่ผ่าน, score ของ benchmark = ค่าเฉลี่ยข้าม task และ headline = ค่าเฉลี่ยของ 2 benchmark พร้อม 95% CI
  • ใช้ paired bootstrap ตัดสินว่า harness ไหนเสมอกับ leader
  • infra failure รันใหม่ได้สูงสุด 2 ครั้งและไม่นับคะแนน แต่ agent error กับ timeout นับเป็น fail
  • ถ้า agent เข้าถึงคำตอบ เช่นอ่าน hidden tests, reference solution หรือไป fetch fix จาก upstream นับเป็น fail ทันทีแม้ grader จะให้ผ่าน

ผลลัพธ์ (All models, All efforts)

Harness Macro (95% CI) TB 2.1 DeepSWE $/trial $/solve
OpenCode 52.5% (49.8–55.3) 60.9% 44.1% $0.52 $1.11
Kimi Code 51.7% (49.0–54.4) 59.8% 43.6% $0.63 $1.37
Grok Build 50.3% (47.7–53.0) 57.1% 43.5% $0.66 $1.57
DeepSeek Harness 49.9% (47.2–52.7) 56.9% 43.0% $0.57 $1.31
mini-swe-agent 49.9% (47.2–52.6) 58.8% 41.0% $0.59 $1.41
Pi 49.4% (46.7–52.1) 57.4% 41.4% $0.48 $1.02
Hermes Agent 49.3% (46.5–52.1) 56.2% 42.4% $0.61 $1.35
Claude Code 48.8% (46.2–51.5) 55.2% 42.4% $0.63 $1.51
Codex 47.5% (44.8–50.2) 58.4% 36.6% $0.52 $1.23
Qwen Code 43.9% (41.3–46.5) 52.7% 35.1% $0.52 $1.33
OpenClaw 42.7% (40.0–45.4) 49.4% 36.0% $0.36 $1.13

ตาม paired bootstrap มีแค่ Kimi Code ที่เสมอกับ OpenCode (−0.9) ตัวอื่นตามหลัง leader ทั้งหมด คือ Grok Build −2.2, DeepSeek Harness −2.6, mini-swe-agent −2.6, Pi −3.1, Hermes Agent −3.2, Claude Code −3.7, Codex −5.0, Qwen Code −8.6, OpenClaw −9.8

Pareto frontier

ถ้าดู accuracy เทียบ cost per trial มี 3 ตัวที่ไม่มีใครชนะได้ทั้งสองแกน

  • OpenClaw: $0.36 ต่อ trial ได้ 42.7% ถูกที่สุดแต่แม่นน้อยที่สุด
  • Pi: $0.48 ต่อ trial ได้ 49.4% และต้นทุนต่องานที่สำเร็จต่ำสุดที่ $1.02
  • OpenCode: $0.52 ต่อ trial ได้ 52.5% แม่นที่สุด

อีก 8 ตัวถูก dominate หมด จากตัวเลขบนบอร์ด OpenCode ถูกกว่าและแม่นกว่า Kimi Code, Grok Build, Claude Code และ Hermes Agent พร้อมกัน ส่วนต้นทุนข้าม harness ต่างกันราว 1.8 เท่า

Harness effect เทียบกับ noise

ส่วนนี้ผมแนะนำให้อ่านก่อน บอร์ดนับว่า task "flip" เมื่อ attempt หนึ่งผ่าน แต่อีก attempt หนึ่งไม่ผ่าน

การเปรียบเทียบ Flip rate (macro)
harness เดิม รันซ้ำ 24.1%
เปลี่ยน harness 27.1%
harness เดิม เปลี่ยน effort 27.1%
harness เดิม เปลี่ยนโมเดล 33.8%

การเปลี่ยน harness เพิ่ม flip เกิน rerun noise เพียง 3.0 จุด (Terminal-Bench 2.1 +4.0, DeepSWE +2.0) สรุปได้ว่า

  • การเลือกโมเดลยังมีผลมากกว่าการเลือก harness
  • การรันครั้งเดียวบอกอะไรได้น้อย ถ้ารันตัวเดิมซ้ำยัง flip ได้ถึงหนึ่งในสี่ของ task demo ที่รันรอบเดียวแล้วบอกว่า agent A ชนะ agent B ส่วนใหญ่ก็คือ noise

ตัวที่ชนะขึ้นกับโมเดล

  • มีแค่ OpenCode กับ Kimi Code ที่ติดกลุ่มอันดับหนึ่งครบทั้ง 4 โมเดล
  • Hermes Agent ติดกลุ่มอันดับหนึ่งบน GLM-5.3-Flash และ Flint แต่ได้อันดับ 11 บน DeepSeek-V4.1-Flash
  • Codex ติดกลุ่มอันดับหนึ่งบน DeepSeek-V4.1-Flash และ Ripple-65B-Preview แต่ได้อันดับ 11 บน GLM-5.3-Flash (47.4%)
  • บน Ripple-65B-Preview ตัวดีสุดกับแย่สุดห่างกัน 22 จุด คือ Kimi Code 56.4% เทียบ OpenClaw 34.4%

ค่าเฉลี่ยรวมทุกโมเดลใช้เป็นจุดเริ่มต้นได้ แต่ถ้าเลือกโมเดลไว้แล้ว ให้ดูคอลัมน์ของโมเดลนั้นโดยตรง

Harness bug ที่บอร์ดเจอ

ส่วนนี้ควรรู้แม้จะไม่สนอันดับเลยก็ตาม เพราะจะเจอแน่ตอนเอา harness ไปใช้กับโมเดลที่มันไม่รู้จัก

  • OpenClaw: ถ้าไม่ได้บอก max reply จะขอแค่ 8,192 tokens ทั้งที่ docs บอกว่าจะไม่ส่ง limit นอกจากนี้ยังส่ง reasoning ของ call ก่อนหน้ากลับไปเฉพาะ provider ที่มันรู้จัก ไม่ส่งให้ custom OpenAI-compatible endpoint จนกว่าจะเปิด setting เอง
  • Codex: กับโมเดลที่มันไม่รู้จัก จะ assume context window 272,000 tokens และ setting ของ window ปรับขึ้นไม่ได้ ต้องแก้ผ่าน model catalog file เท่านั้น และยังตัด command output ที่ 10,000 bytes
  • Claude Code: ลด reply limit ตามพื้นที่ context ที่เหลือเฉพาะตอนต่อกับ server ของ Anthropic
  • DeepSeek Harness: คำนวณจุด compaction จาก max reply ของโมเดล ถ้า max reply เท่ากับ context window (เช่น Flint) auto-compaction จะไม่ทำงานเลย
  • Grok Build: ส่งภาพที่เปิดอ่านไปให้โมเดล แม้จะตั้งโมเดลไว้เป็น text-only

บทเรียนคือ ถ้าเอา harness ไปใช้กับโมเดลที่ไม่ใช่ของค่ายตัวเอง ให้ตั้ง context window กับ max output tokens เองให้ชัดเจน อย่าพึ่ง default

ข้อควรระวัง

  • บอร์ดใช้เฉพาะโมเดลเปิด คะแนนของ Claude Code กับ Codex จึงบอกว่ามันขับ GLM, DeepSeek, Flint และ Ripple ได้ดีแค่ไหน ไม่ได้บอกผลตอนใช้กับ Claude หรือ GPT
  • แต่ละ harness รันคนละวัน ความเร็วของ provider เปลี่ยนไปทุกวันแต่ time limit ต่อ task คงที่ ตัวที่บังเอิญรันวันที่ provider เร็วจะเรียกโมเดลได้มากกว่าในเวลาเท่ากัน
  • cost คิดจาก list price ไม่ได้รวม cache discount เฉพาะ vendor หรือ subscription
  • มีแค่ 2 benchmark ไม่ได้ครอบคลุมงานอย่าง network automation, infra ops หรือ codebase ของเราเอง
  • บอร์ดมี version และยังเปลี่ยนอยู่ ตัวเลขในบทความนี้เป็นของ v0.1.9

สิ่งที่ผมได้จากบอร์ดนี้

  1. ถ้าใช้โมเดลเปิด OpenCode กับ Kimi Code ให้ผลสม่ำเสมอที่สุด ถ้าเน้นต้นทุนต่องานที่สำเร็จ ให้ดู Pi
  2. แพงกว่าไม่ได้แปลว่าดีกว่า Grok Build กับ Claude Code มี cost per trial สูงที่สุด แต่ไม่ได้อยู่บน frontier ทั้งคู่
  3. ก่อนสรุปว่า agent ตัวไหนเก่งกว่า ให้รันซ้ำหลายรอบ เพราะรันตัวเดิมซ้ำยัง flip ถึง 24%
  4. ส่ง model limits ให้ harness เองเสมอ
  5. ถ้าจะเลือกใช้จริงในทีม ให้ทำ eval เล็กๆ บนงานของตัวเอง แล้วดูทั้ง pass rate, cost per solve และสัดส่วน task ที่ผ่านครบทั้ง 3 attempts ตัวสุดท้ายสำคัญมากถ้างานต้องรันแบบไม่มีคนเฝ้า

แหล่งที่มา


English version: https://dev.to/supachai/same-model-11-harnesses-what-the-harness-leaderboard-v019-tells-engineers-3lpb

Top comments (0)