DEV Community

Cover image for ผลเบนช์มาร์ก Grok 4.5: xAI เปิดเผยอะไร และควรอ่านอย่างไร
Thanawat Wongchai
Thanawat Wongchai

Posted on • Originally published at apidog.com

ผลเบนช์มาร์ก Grok 4.5: xAI เปิดเผยอะไร และควรอ่านอย่างไร

xAI เปิดตัว Grok 4.5 เมื่อวันที่ 8 กรกฎาคม 2026 พร้อมเกณฑ์มาตรฐานการเขียนโค้ด 4 รายการและแผนภูมิประสิทธิภาพ 1 รายการ ตัวเลขน่าสนใจ แต่ควรอ่านแบบนักพัฒนา: ดูแหล่งที่มา ดูสิ่งที่ยังไม่ถูกวัด แล้วรัน evaluation กับงานจริงของคุณก่อนตัดสินใจเปลี่ยนโมเดล

ลองใช้ Apidog วันนี้

สรุปสั้นๆ: Grok 4.5 ทำคะแนนเหมือนโมเดลเขียนโค้ดระดับสองที่แข็งแรง ผลลัพธ์ใกล้กับ Claude Opus 4.8 แต่ยังตามหลังโมเดลแนวหน้า จุดเด่นหลักไม่ใช่ accuracy สูงสุด แต่เป็นประสิทธิภาพของ output token

ตัวเลขทุกรายการที่ xAI เผยแพร่

จาก ประกาศ xAI เผยแพร่ผล benchmark ดังนี้

DeepSWE 1.0 pass@1

โมเดล คะแนน
Claude Fable 5 (สูงสุด) 66.1%
GPT 5.5 (xhigh) 64.31%
Grok 4.5 62.0%
Claude Opus 4.8 (สูงสุด) 55.75%
Claude Opus 4.7 (สูงสุด) 40.12%

DeepSWE 1.1

โมเดล คะแนน
Claude Fable 5 (สูงสุด) 70%
GPT 5.5 (xhigh) 67%
Claude Opus 4.8 (สูงสุด) 59%
Grok 4.5 53%
GLM 5.2 44%

Terminal Bench 2.1

โมเดล คะแนน
Claude Fable 5 (สูงสุด) 84.3%
GPT 5.5 (xhigh) 83.4%
Grok 4.5 83.3%
Claude Opus 4.8 (สูงสุด) 78.9%
Claude Opus 4.7 (สูงสุด) 78.9%

SWE Bench Pro อัตราการแก้ไข

โมเดล คะแนน
Claude Fable 5 (สูงสุด) 80.4%
Claude Opus 4.8 (สูงสุด) 69.2%
Grok 4.5 64.7%
Claude Opus 4.7 (สูงสุด) 64.3%
GLM 5.2 62.1%
GPT 5.5 (xhigh) 58.6%

xAI ยังเผยแพร่แผนภูมิประสิทธิภาพ: Grok 4.5 ใช้ output เฉลี่ย 15,954 tokens ต่องาน SWE Bench Pro เทียบกับ 67,020 tokens สำหรับ Opus 4.8 (สูงสุด) ต่างกันประมาณ 4.2 เท่า

ที่มาของตัวเลขเหล่านี้

หมายเหตุบนกราฟของ xAI สำคัญกว่าที่เห็น:

  • DeepSWE 1.0 “สร้างโดย Datacurve และดำเนินการด้วยชุดเครื่องมือของผู้ให้บริการโมเดลแต่ละรายโดย AA”
  • DeepSWE 1.1 ใช้ “mini-swe-agent harness ที่ดำเนินการโดย Datacurve”
  • “ตัวเลขของคู่แข่งได้มาจาก System Card หรือตารางจัดอันดับเกณฑ์มาตรฐานที่เผยแพร่โดยผู้พัฒนาที่เกี่ยวข้อง”

แปลว่า benchmark ชุดนี้เป็นการรวมตัวเลขจากหลายแหล่ง ไม่ใช่การทดสอบอิสระแบบเดียวกันทั้งหมด บางส่วนมาจากผู้ประเมินภายนอก บางส่วนมาจาก system card หรือ leaderboard ของผู้จำหน่ายรายอื่น แล้วนำมารวมในหน้าเปิดตัวของ xAI

สำหรับนักพัฒนา ประเด็นที่ต้องระวังคือ:

  • harness อาจต่างกัน
  • effort setting อาจต่างกัน
  • tool configuration อาจต่างกัน
  • วิธีนับ success/fix rate อาจต่างกัน
  • คะแนน agent benchmark สามารถแกว่งได้หลายจุดจากรายละเอียดเหล่านี้

ดังนั้นตัวเลขเหล่านี้ใช้เป็น baseline ได้ แต่ไม่ควรใช้เป็นเหตุผลเดียวในการย้าย production workload

อ่านผล benchmark อย่างไร

1. เทียบกับ Claude Opus 4.8: ใกล้เคียงจริง

เมื่อเทียบกับ Opus 4.8:

  • Grok 4.5 ชนะ DeepSWE 1.0 อยู่ 6.25 จุด
  • Grok 4.5 ชนะ Terminal Bench อยู่ 4.4 จุด
  • Grok 4.5 แพ้ DeepSWE 1.1 อยู่ 6 จุด
  • Grok 4.5 แพ้ SWE Bench Pro อยู่ 4.5 จุด

คำกล่าวว่า Grok 4.5 อยู่ “ระดับ Opus” ยังพอรับได้จากข้อมูลที่ xAI เผยแพร่ แต่ถ้าบอกว่าเหนือกว่าอย่างชัดเจน ข้อมูลชุดนี้ยังไม่พอ

รูปแบบที่เห็นคือ Grok ชนะ benchmark ที่เน้น terminal และชุดเก่ากว่า ส่วน Opus ชนะงานระดับ repo ที่ใหม่กว่าและซับซ้อนกว่า หากต้องการดูแบบตัวต่อตัวพร้อมราคา อ่านต่อได้ที่ Grok 4.5 vs Claude Opus 4.8

2. เทียบกับโมเดลแนวหน้า: ยังไม่ใช่อันดับหนึ่ง

Claude Fable 5 (สูงสุด) อยู่อันดับหนึ่งในทั้ง 4 แผนภูมิของ xAI ส่วน GPT 5.5 (xhigh) ชนะ Grok 4.5 ใน 3 จาก 4 benchmark

สิ่งที่น่าสนใจคือ xAI เลือกแสดงตัวเลขเหล่านี้ตรงๆ แปลว่า positioning ของ Grok 4.5 น่าจะเป็น “ประสิทธิภาพต่อราคา” มากกว่า “accuracy สูงสุด”

ถ้าต้องการเข้าใจคะแนนของ Fable ในเชิง benchmark ดู การวิเคราะห์เกณฑ์มาตรฐาน Fable 5

3. เทียบกับรุ่นก่อนและโมเดลราคาถูกกว่า: ต้องดู cost-performance

การอัปเกรดมีจริง แต่ไม่ได้เปลี่ยนภาพรวมทั้งหมด Grok 4.5 นำ GLM 5.2 อยู่ 9-11 จุดใน benchmark ที่มีร่วมกัน ขณะที่ GLM 5.2 มีราคาถูกกว่ามาก

ถ้าคุณกำลังเลือกโมเดลสำหรับ coding agent อย่าดูแค่คะแนน ให้เทียบอย่างน้อย 3 ค่า:

quality_score
latency_ms
output_tokens
Enter fullscreen mode Exit fullscreen mode

สำหรับ workload จำนวนมาก โมเดลที่คะแนนต่ำกว่าเล็กน้อยแต่ออก token น้อยกว่ามาก อาจคุ้มกว่าใน production

เมตริกที่ xAI ต้องการให้คุณดู: output token

แผนภูมิประสิทธิภาพคือจุดขายหลักของ Grok 4.5:

Grok 4.5:      15,954 output tokens / solved SWE Bench Pro task
Opus 4.8:      67,020 output tokens / solved SWE Bench Pro task
Difference:   ~4.2x
Enter fullscreen mode Exit fullscreen mode

ถ้า agent ของคุณทำงานหลายรอบ เช่น read file → plan → edit → run test → fix → summarize จำนวน output token จะสะสมเร็วมาก โมเดลที่สร้าง output น้อยกว่าจะช่วยลดทั้ง cost และ elapsed time

จากข้อมูลที่เผยแพร่ Grok 4.5 คะแนน SWE Bench Pro ต่ำกว่า Opus 4.8 อยู่ 4.5 จุด แต่ใช้ output token น้อยกว่าประมาณ 4.2 เท่า นี่เป็น trade-off ที่สมเหตุสมผลสำหรับ pipeline ที่รันงานจำนวนมาก โดยเฉพาะเมื่อคุณวัดผลเป็นต้นทุนต่อ task ที่แก้สำเร็จ ซึ่ง การวิเคราะห์ราคาของเรา ประเมินไว้ประมาณ $0.10 เทียบกับ ~$1.68 ของ output ต่องานที่แก้สำเร็จในราคาปกติ

แต่มีข้อควรระวัง:

  • ตัวเลขนี้วัดโดยผู้จำหน่าย
  • ใช้ benchmark เดียว
  • output ยาวไม่ได้แปลว่า waste เสมอไป
  • output ยาวของ Opus อาจเป็น reasoning ที่ช่วยให้ชนะงานยากกว่า

ดังนั้นให้มองเป็น trade-off ระหว่าง efficiency กับ depth ไม่ใช่ของฟรี

สิ่งที่ยังขาดหายไป

ก่อนนำ Grok 4.5 เข้า production ควรรอหรือทดสอบเอง เพราะยังมีช่องว่างสำคัญ:

  • ยังไม่มี evaluation อิสระจากบุคคลที่สาม

    ณ วันที่ 9 กรกฎาคม ยังไม่มีข้อมูลจาก Artificial Analysis Intelligence Index, ยังไม่มีตำแหน่งใน LMArena และยังไม่มี community reproduction ของ SWE-bench

  • มีเฉพาะ benchmark การเขียนโค้ด

    xAI ยังไม่ได้เผยแพร่ benchmark ด้าน reasoning ทั่วไป คณิตศาสตร์ วิทยาศาสตร์ หรือ safety สำหรับโมเดลที่ทำตลาดกับ “งานความรู้” ด้วย

  • ไม่เปิดเผย effort mode ของ Grok 4.5 ชัดเจน

    คู่แข่งมีป้ายกำกับ เช่น “สูงสุด” หรือ “xhigh” แต่คะแนนของ Grok 4.5 ไม่ได้ระบุชัดว่าเป็น default หรือ maximum configuration

  • ยังเป็นโมเดลสัปดาห์แรก

    regression, serving instability และความสามารถที่เปลี่ยนเล็กน้อยเป็นเรื่องปกติในเดือนแรกหลังเปิดตัวโมเดลใหม่

วิธีรัน benchmark ของคุณเอง

Public benchmark บอกค่าเฉลี่ยของงานสาธารณะ ไม่ได้บอกว่าโมเดลจะทำงานกับ codebase ของคุณได้ดีแค่ไหน วิธีที่แม่นกว่าคือทำ private evaluation ขนาดเล็ก

1. เลือกงานจริง 10-20 งาน

ดึงจาก backlog หรือ issue ที่คุณรู้คำตอบแล้ว เช่น:

  • แก้ bug ที่มี test fail ชัดเจน
  • refactor function โดยไม่เปลี่ยน behavior
  • เพิ่ม endpoint ใหม่
  • เพิ่ม validation
  • เขียน unit test
  • แก้ TypeScript error
  • migration เล็กๆ ใน repo จริง

บันทึกข้อมูลต่อ task:

id: bugfix-auth-refresh-token
prompt: "แก้ bug refresh token หมดอายุแล้วไม่ redirect ไป login"
repo_context: "path/to/files หรือคำอธิบายไฟล์ที่เกี่ยวข้อง"
expected_result: "test auth.spec.ts ต้องผ่าน และ behavior ต้องไม่เปลี่ยนใน flow อื่น"
scoring:
  - tests_pass
  - patch_minimal
  - no_unrelated_changes
  - explanation_quality
Enter fullscreen mode Exit fullscreen mode

2. สร้าง request สำหรับแต่ละโมเดลใน Apidog

ใน Apidog ให้สร้าง request ที่บันทึกไว้ต่อโมเดลผู้สมัคร เช่น:

  • grok-4.5
  • โมเดล production ปัจจุบัน
  • Opus หรือโมเดลอื่นที่ต้องการเปรียบเทียบ

ทั้ง xAI และ Anthropic มี interface ที่เข้ากันได้กับ OpenAI ในระดับการใช้งานทั่วไป ทำให้คุณใช้ request structure ใกล้เคียงกัน แล้วเปลี่ยนเฉพาะ provider/model แทนการสร้าง harness หลายชุด

ตัวอย่าง request body แบบ OpenAI-compatible:

{
  "model": "grok-4.5",
  "messages": [
    {
      "role": "system",
      "content": "คุณเป็น coding agent ที่แก้ไขโค้ดอย่างระมัดระวัง ตอบเป็น patch และเหตุผลสั้นๆ"
    },
    {
      "role": "user",
      "content": "แก้ issue นี้ใน repo: ...\nบริบทไฟล์: ...\nเกณฑ์ผ่าน: ..."
    }
  ],
  "temperature": 0.2
}
Enter fullscreen mode Exit fullscreen mode

3. เก็บ quality, latency และ token usage พร้อมกัน

สำหรับแต่ละ run ให้บันทึกอย่างน้อย:

{
  "task_id": "bugfix-auth-refresh-token",
  "model": "grok-4.5",
  "passed": true,
  "latency_ms": 18420,
  "input_tokens": 12345,
  "output_tokens": 2310,
  "review_score": 4
}
Enter fullscreen mode Exit fullscreen mode

ถ้า API response มี usage ให้ดึงค่าเหล่านี้โดยตรง:

{
  "usage": {
    "prompt_tokens": 12345,
    "completion_tokens": 2310,
    "total_tokens": 14655
  }
}
Enter fullscreen mode Exit fullscreen mode

4. ให้คะแนนแบบ blind review

ถ้าเป็นไปได้ ให้ซ่อนชื่อโมเดลก่อนให้ reviewer ดู patch เพราะชื่อโมเดลมีผลต่อการตัดสินมากกว่าที่คิด

ตัวอย่าง scoring rubric:

เกณฑ์ คะแนน
test ผ่าน 0/1
แก้ตรงจุด 1-5
ไม่แก้ไฟล์ที่ไม่เกี่ยวข้อง 1-5
patch อ่านง่าย 1-5
output สั้นและ actionable 1-5

5. คำนวณ cost-performance

หลังรันครบทุก task ให้เปรียบเทียบแบบนี้:

success_rate = passed_tasks / total_tasks
avg_latency = sum(latency_ms) / total_tasks
avg_output_tokens = sum(output_tokens) / total_tasks
tokens_per_success = sum(output_tokens) / passed_tasks
Enter fullscreen mode Exit fullscreen mode

จุดสำคัญคือการตรวจว่า claim เรื่องประสิทธิภาพเกิดขึ้นกับ prompt ของคุณจริงหรือไม่ ถ้า Grok 4.5 ไม่ได้สร้าง output สั้นลงอย่างเห็นได้ชัดในงานของคุณ เศรษฐศาสตร์ตาม headline ก็อาจใช้กับ workload ของคุณไม่ได้

คุณสามารถ ดาวน์โหลด Apidog ฟรี และตั้งค่า evaluation harness แบบเบาๆ ได้ภายในประมาณหนึ่งชั่วโมง รายละเอียดฝั่ง xAI อยู่ใน คู่มือ API ของ Grok 4.5

คำถามที่พบบ่อย

xAI เผยแพร่ benchmark ใดบ้างสำหรับ Grok 4.5?

มี benchmark การเขียนโค้ด 4 รายการ: DeepSWE 1.0, DeepSWE 1.1, Terminal Bench 2.1 และ SWE Bench Pro รวมถึงการเปรียบเทียบ output token กับ Opus 4.8 ยังไม่มี benchmark นอกเหนือจากการเขียนโค้ด

มี benchmark Grok 4.5 จากแหล่งอิสระหรือยัง?

ยังไม่มี ตัวเลขที่เผยแพร่เป็นการรวมผลจาก Datacurve และตัวเลขจาก system card หรือ leaderboard ของผู้จำหน่ายรายอื่น โดยปกติ index อิสระมักออกตามมาหลังการเปิดตัวใหญ่ภายในไม่กี่สัปดาห์

Grok 4.5 ชนะ Claude Opus 4.8 หรือไม่?

ชนะ 2 จาก 4 benchmark ที่เผยแพร่ และมีต้นทุน output ต่ำกว่ามาก ส่วน Opus ชนะ benchmark ระดับ repo ที่ยากกว่า 2 รายการ ดู การเปรียบเทียบฉบับเต็ม

Grok 4.5 เป็นโมเดลเขียนโค้ดที่แข็งแกร่งที่สุดหรือไม่?

ไม่ใช่ แผนภูมิของ xAI เองแสดงว่า Claude Fable 5 (สูงสุด) นำทุก benchmark ที่เผยแพร่ จุดแข็งของ Grok 4.5 คือการแข่งขันด้านความฉลาดต่อดอลลาร์มากกว่าอันดับหนึ่งด้าน accuracy

Top comments (0)