DEV Community

Cover image for คลอดด์ โอปัส 5: วิเคราะห์ผลทดสอบ ตัวเลขบอกอะไร
Thanawat Wongchai
Thanawat Wongchai

Posted on • Originally published at apidog.com

คลอดด์ โอปัส 5: วิเคราะห์ผลทดสอบ ตัวเลขบอกอะไร

Anthropic เปิดตัว Claude Opus 5 เมื่อวันที่ 24 กรกฎาคม 2026 พร้อมข้อกล่าวอ้างด้านเกณฑ์มาตรฐานที่โดดเด่น: เหนือกว่า Opus 4.8 ถึง 2 เท่าในหนึ่งการประเมิน, สูงกว่าโมเดลรองลงมาประมาณ 3 เท่าในอีกการประเมิน, และเหนือกว่า Fable 5 ด้วยต้นทุนเพียงหนึ่งในสามในบางงาน

ลองใช้ Apidog วันนี้

ข้อกล่าวอ้างเหล่านี้อาจถูกต้อง แต่ควรอ่านแบบเดียวกับแผนภูมิเปิดตัวของผู้ให้บริการทุกเจ้า: ตรวจสอบว่าเกณฑ์มาตรฐานวัดอะไร ใช้การตั้งค่าใด เปรียบเทียบกับใคร และไม่ได้วัดอะไร บทความนี้สรุปตัวเลขที่ Anthropic เผยแพร่ อธิบายข้อจำกัด และเสนอขั้นตอนประเมิน Opus 5 กับงานจริงของคุณใน Apidog

สำหรับรายละเอียดโมเดล เช่น รหัส claude-opus-5, บริบท 1M, เอาต์พุตสูงสุด 128k และข้อมูลตัด ณ เดือนพฤษภาคม 2026 โปรดดู Claude Opus 5 คืออะไร แหล่งข้อมูลหลักของบทความนี้คือ โพสต์เปิดตัว Claude Opus 5 ของ Anthropic

ทุกข้อกล่าวอ้างที่เผยแพร่ในตารางเดียว

ตารางนี้รวบรวมข้อความเกณฑ์มาตรฐานทั้งหมดที่ Anthropic แถลงตอนเปิดตัว โดยคอลัมน์ “ระบุเป็น” สำคัญพอ ๆ กับผลลัพธ์ เพราะหลายรายการรายงานเป็นอัตราส่วนแทนคะแนนจริง

เกณฑ์มาตรฐาน ข้อกล่าวอ้างของ Anthropic ระบุเป็น เปรียบเทียบกับ
Frontier-Bench v0.1 เหนือกว่าโมเดลอื่นทั้งหมด; คะแนนมากกว่า Opus 4.8 ถึง 2 เท่า โดยมีต้นทุนต่อภารกิจต่ำกว่า อัตราส่วน + ข้อกล่าวอ้างต้นทุน Opus 4.8 และโมเดลอื่น
ARC-AGI 3 คะแนนประมาณ 3 เท่าของโมเดลที่ดีที่สุดถัดไป อัตราส่วน โมเดลที่ดีที่สุดถัดไปที่ไม่ระบุชื่อ
OSWorld 2.0 เหนือกว่า Fable 5 ด้วยต้นทุนเพียงหนึ่งในสาม ลำดับ + ข้อกล่าวอ้างต้นทุน Fable 5
CursorBench 3.2 อยู่ภายใน 0.5% ของประสิทธิภาพสูงสุดของ Fable 5 ในราคาครึ่งหนึ่ง ส่วนต่าง + ข้อกล่าวอ้างต้นทุน Fable 5
Zapier AutomationBench อัตราการผ่านประมาณ 1.5 เท่าของโมเดลที่ดีที่สุดถัดไป อัตราส่วน โมเดลที่ดีที่สุดถัดไปที่ไม่ระบุชื่อ
เคมีอินทรีย์ +10.2 คะแนนเหนือ Opus 4.8 ผลต่างสัมบูรณ์ Opus 4.8
การวิเคราะห์โปรตีน +7.7 คะแนนเหนือ Opus 4.8 ผลต่างสัมบูรณ์ Opus 4.8
การใช้ประโยชน์จากช่องโหว่ทางไซเบอร์ ตามหลัง Mythos 5 ลำดับ Mythos 5
การวิจัยชีววิทยาอัตโนมัติ ตามหลัง Mythos 5 ลำดับ Mythos 5

แหล่งข้อมูลทั้งหมดข้างต้นมาจากโพสต์เปิดตัวและเอกสารโมเดลของ Anthropic ณ เวลาที่เขียน ยังไม่มีการเผยแพร่ผลการทำซ้ำโดยบุคคลที่สาม

แผนภูมิเกณฑ์มาตรฐาน Claude Opus 5

ข้อสังเกตเบื้องต้นมีสองข้อ:

  1. มีเพียง 2 จาก 9 แถวที่รายงานการเปลี่ยนแปลงเป็นคะแนนสัมบูรณ์
  2. Anthropic ระบุเองว่าโมเดลเรือธงใหม่ยังแพ้ใน 2 หมวดงาน

ปัญหาของอัตราส่วน และเหตุใดจึงสำคัญ

ข้อกล่าวอ้างสำหรับ Frontier-Bench, ARC-AGI 3, AutomationBench และส่วนหนึ่งของ CursorBench ใช้อัตราส่วนหรือส่วนต่างแทนคะแนนเต็ม จึงตีความได้ยากกว่าผลต่างสัมบูรณ์

  • อัตราส่วนซ่อนตัวหาร

    “ประมาณ 3 เท่าของโมเดลที่ดีที่สุดถัดไป” บน ARC-AGI 3 อาจหมายถึง 8% → 24% หรือ 25% → 75% ทั้งคู่เป็น “3x” แต่มีนัยต่างกันมาก Anthropic ไม่ได้เผยแพร่คะแนนฐาน

  • การเพิ่มเป็นสองเท่าง่ายกว่าเมื่อคะแนนเริ่มต้นต่ำ

    “มากกว่า Opus 4.8 ถึง 2 เท่า” บน Frontier-Bench v0.1 อาจเป็นการเพิ่มขึ้นสัมบูรณ์เพียงเล็กน้อย หากคะแนนก่อนหน้าอยู่ระดับหลักเดียว หรืออาจเป็นก้าวกระโดดมากหากคะแนนฐานสูงอยู่แล้ว ชื่อเวอร์ชัน v0.1 ยังบ่งชี้ว่าเป็นเกณฑ์มาตรฐานใหม่ที่ไม่มีประวัติผลทดสอบหรือการจำลองจากชุมชน

  • “โมเดลที่ดีที่สุดถัดไป” ไม่ได้ระบุชื่อ

    การไม่เปิดเผยคู่แข่งทำให้ตรวจสอบความหมายของอัตราส่วนได้ยาก เพราะไม่รู้ว่าเทียบกับ Fable 5, Mythos 5 หรือโมเดลจากห้องปฏิบัติการอื่น

  • ส่วนต่างต้องระบุหน่วยให้ชัดเจน

    ข้อความ “อยู่ภายใน 0.5% ของประสิทธิภาพสูงสุดของ Fable 5” บน CursorBench 3.2 ไม่ได้บอกว่าเป็น 0.5 จุดเปอร์เซ็นต์ หรือความต่างสัมพัทธ์ 0.5% คำว่า “สูงสุด” ยังอาจหมายถึงการรันที่ใช้การตั้งค่าที่ดีที่สุด ไม่ใช่ค่าเริ่มต้น ดูรายละเอียดการตีความตัวเลขของโมเดลนั้นได้ใน การวิเคราะห์เกณฑ์มาตรฐาน Fable 5

ตัวเลขด้านวิทยาศาสตร์ชัดเจนกว่า เพราะเป็นผลต่างสัมบูรณ์: +10.2 คะแนนในเคมีอินทรีย์ และ +7.7 คะแนนในการวิเคราะห์โปรตีนเมื่อเทียบกับ Opus 4.8 แม้ไม่มีคะแนนฐาน แต่ยังบอกขนาดการเปลี่ยนแปลงได้โดยตรง

ข้อกล่าวอ้างเรื่องต้นทุนต่อภารกิจขึ้นอยู่กับการกำหนดค่า

Anthropic ผูกความสามารถเข้ากับต้นทุนใน 3 จุด:

  • Frontier-Bench: ต้นทุนต่อภารกิจต่ำกว่า
  • OSWorld 2.0: ต้นทุนเพียงหนึ่งในสาม
  • CursorBench 3.2: ราคาครึ่งหนึ่ง

ราคาต่อโทเค็นที่แสดงตรวจสอบได้: Opus 5 ราคา 5 ดอลลาร์ต่อล้านโทเค็นอินพุต และ 25 ดอลลาร์ต่อล้านโทเค็นเอาต์พุต เท่ากับ Opus 4.8 และเป็นครึ่งหนึ่งของ Fable 5 ที่ 10/50 ดอลลาร์ ตาม หน้าการกำหนดราคา ของ Anthropic

อย่างไรก็ตาม ต้นทุนต่อภารกิจ ไม่ใช่ต้นทุนต่อโทเค็นโดยตรง เพราะขึ้นกับ:

  • ระดับ effort
  • การเปิดหรือปิด thinking
  • จำนวนรอบใน agentic loop
  • จำนวน subagents
  • cache read และ cache write
  • ความยาวของอินพุตและเอาต์พุตจริง

คำแนะนำการพร้อมต์ของ Anthropic ระบุว่า Opus 5 อาจสร้างคำตอบเริ่มต้นที่ยาวกว่า Opus 4.8 มอบหมายงานให้ subagents ได้ง่ายกว่า และขยายขอบเขตงานบ่อยขึ้น ปัจจัยเหล่านี้เพิ่มการใช้โทเค็นในงานจริง

การเปรียบเทียบต้นทุน Claude Opus 5

ดังนั้น “ราคาครึ่งหนึ่ง” เป็นข้อมูลราคาที่ตรวจสอบได้ แต่ “ต้นทุนต่อภารกิจต่ำกว่า” เป็นผลจากการตั้งค่าและเวิร์กโหลดเฉพาะของการทดสอบ คุณควรวัดด้วยชุดงานของตัวเอง ดูองค์ประกอบด้านราคาเพิ่มเติมได้ใน การวิเคราะห์ราคา Opus 5 และ การเปรียบเทียบ Opus 5 กับ Fable 5

ขีดจำกัดที่ Anthropic ระบุเอง

Anthropic ระบุว่า Opus 5 ยังตามหลัง Mythos 5 ในงาน:

  • การใช้ประโยชน์จากช่องโหว่ทางไซเบอร์
  • การวิจัยชีววิทยาอัตโนมัติ

และ Fable 5 ยังคงเป็น “โมเดลที่เปิดตัวในวงกว้างที่มีความสามารถมากที่สุด”

ข้อจำกัดและการเปรียบเทียบ Claude Opus 5

สรุปที่ตรงไปตรงมาคือ Opus 5 ให้ความสามารถระดับแนวหน้าด้วยราคาครึ่งหนึ่งของ Fable 5 แต่ไม่ใช่โมเดลสูงสุดในทุกงาน สำหรับงานวิจัยความปลอดภัยระดับแนวหน้าหรืองานวิทยาศาสตร์อัตโนมัติ ผลทดสอบยังชี้ไปที่ระดับ Mythos ดูบริบทเพิ่มเติมได้ใน คำอธิบายโมเดลระดับ Mythos และ การเปรียบเทียบ Fable 5 กับ Mythos 5

ในเชิงปฏิบัติ Anthropic ยังมีตัวเลือก:

{
  "fallbacks": "default"
}
Enter fullscreen mode Exit fullscreen mode

โดยใช้เฮดเดอร์เบต้า:

server-side-fallback-2026-07-01
Enter fullscreen mode Exit fullscreen mode

การตั้งค่านี้จะ fallback ไปยัง Opus 4.8 เมื่อ Opus 5 ปฏิเสธคำขอในหมวดไซเบอร์ หากระบบของคุณมีงานประเภทนี้ ให้ทดสอบอัตราการปฏิเสธและเส้นทาง fallback แยกจากคะแนนความสามารถ

สิ่งที่เกณฑ์มาตรฐานไม่ได้ครอบคลุม

เกณฑ์มาตรฐานวัดความสำเร็จของงาน แต่ไม่ได้ตอบคำถามสำคัญต่อการนำไปใช้จริงทั้งหมด

  • พฤติกรรมเปลี่ยนเมื่อย้ายระบบ

    Opus 5 ตรวจสอบงานของตัวเองโดยไม่ต้องสั่ง หากพร้อมต์เดิมยังมีคำสั่งอย่าง “ตรวจสอบคำตอบอีกครั้ง” คุณอาจได้การตรวจสอบซ้ำและใช้โทเค็นเพิ่ม คู่มือการพร้อมต์สำหรับ Opus 5 แนะนำให้ลบคำสั่งลักษณะนี้ออก

  • ความยาวของเอาต์พุต

    การลด effort ช่วยลดโทเค็นด้านการคิด แต่ไม่ได้รับประกันว่าคำตอบที่ผู้ใช้เห็นจะสั้นลง หากต้องการผลลัพธ์กระชับ ให้กำหนดรูปแบบและขีดจำกัดอย่างชัดเจนในพร้อมต์

  • โหมดล้มเหลวเมื่อปิด thinking

    เมื่อใช้:

  {
    "thinking": {
      "type": "disabled"
    }
  }
Enter fullscreen mode Exit fullscreen mode

การเรียกใช้เครื่องมือบางครั้งอาจปรากฏเป็นข้อความธรรมดาที่รันไม่ได้ และแท็ก XML ภายในอาจรั่วออกมาในเอาต์พุตที่ผู้ใช้เห็น

  • ต้องปรับเทียบ effort ใหม่

    ระดับ effort ถูกปรับเทียบใหม่บน Opus 5 อย่านำค่าเดิมจาก Opus 4.8 มาใช้โดยไม่ทดสอบ ดูขั้นตอนทดสอบได้ใน คู่มือพารามิเตอร์ความพยายาม

  • ข้อผิดพลาด 400 จากการตั้งค่าที่ใช้ร่วมกันไม่ได้

    การรวม:

  {
    "thinking": {
      "type": "disabled"
    },
    "output_config": {
      "effort": "xhigh"
    }
  }
Enter fullscreen mode Exit fullscreen mode

หรือระดับ max จะส่งกลับ HTTP 400 รายละเอียดการย้ายระบบอยู่ใน คู่มือการย้ายจาก Opus 4.8 ไปยัง Opus 5

สิ่งที่คุณควรทดสอบด้วยตัวเอง

ใช้เกณฑ์มาตรฐานของผู้จำหน่ายเป็นสมมติฐานเริ่มต้น แล้วรันการประเมินของคุณเองด้วยขั้นตอนนี้

  1. สร้างชุดงานจริง 20–50 งาน

    ใช้ตั๋วที่ปิดแล้ว, PR ที่ merge แล้ว, เคสซัพพอร์ต หรือ task จริงจาก backlog ข้อมูลจริงมีรูปแบบ ความกำกวม และ edge cases ที่ข้อมูลสังเคราะห์ไม่มี

  2. ล็อกการกำหนดค่าให้ชัดเจน

    บันทึก model, output_config.effort, สถานะ thinking, max_tokens, เครื่องมือที่เปิดใช้ และเวอร์ชันพร้อมต์

  3. วัดต้นทุนต่อภารกิจที่สำเร็จ

    บันทึก usage ของทุกการรัน ได้แก่ input tokens, output tokens, cache read และ cache write จากนั้นคำนวณ:

   ต้นทุนต่อภารกิจที่สำเร็จ =
   ต้นทุนรวมของการรันทั้งหมด / จำนวนภารกิจที่ผ่านเกณฑ์ยอมรับ
Enter fullscreen mode Exit fullscreen mode
  1. ทดสอบทุกระดับ effort ที่เกี่ยวข้อง

    รันชุดงานเดิมที่ low, medium, high และ xhigh อย่าคาดเดาว่าระดับที่แพงสุดคุ้มที่สุด และตรวจสอบว่า max_tokens เพียงพอสำหรับระดับสูง

  2. ทดสอบ agentic loop จริง ไม่ใช่ single turn

    OSWorld, CursorBench และ AutomationBench เป็นงานแบบ agentic ให้เชื่อมต่อเครื่องมือจริง รันหลายรอบ และบันทึกจำนวนรอบ, tool calls, failures และ retries

  3. เปรียบเทียบกับโมเดลปัจจุบันของคุณบนชุดงานเดียวกัน

    ไม่ว่าคุณกำลังใช้ Opus 4.8, Sonnet 5 หรือโมเดลอื่น ให้ใช้พร้อมต์ เครื่องมือ และเกณฑ์ยอมรับเดียวกัน

  4. บันทึกการปฏิเสธแยกต่างหาก

    โดยเฉพาะงานด้านไซเบอร์ ให้บันทึกจำนวน refusal และตรวจสอบว่า fallback จำเป็นต่อระบบของคุณหรือไม่

สำหรับตัวอย่างระเบียบวิธีเปรียบเทียบ ดู บทความเกณฑ์มาตรฐาน Sonnet 5 และดูรูปแบบคำขอได้จาก คู่มือ API ของ Opus 5

การรันการประเมินใน Apidog

การประเมินนี้ประกอบด้วยคำขอ HTTP ที่มี authorization headers, JSON body, streaming response และ usage ที่ต้องบันทึกทุกครั้ง ซึ่งจัดการได้ใน Apidog

การทดสอบ API ใน Apidog

ตั้งค่าคอลเลกชันสำหรับการทดสอบตามนี้:

  1. สร้างคำขอไปยัง Anthropic Messages endpoint
  2. เก็บ API key ไว้ใน environment variable ไม่ใส่ลงใน body
  3. ทำสำเนาคำขอตามระดับ effort
  4. เปลี่ยนเพียงตัวแปรเดียวต่อการรัน
  5. เปิด streaming เมื่อต้องตรวจสอบ SSE events
  6. ตรวจสอบ tool call payload ว่าเป็น structured tool call จริง
  7. เพิ่ม assertion สำหรับฟิลด์ usage
  8. บันทึกคำขอทั้งหมดเป็น collection เพื่อใช้ซ้ำเมื่อเปลี่ยนโมเดลรุ่นถัดไป

ตัวอย่างคำขอพื้นฐาน:

curl https://api.anthropic.com/v1/messages \
  --header "x-api-key: $ANTHROPIC_API_KEY" \
  --header "anthropic-version: 2023-06-01" \
  --header "content-type: application/json" \
  --data '{
    "model": "claude-opus-5",
    "max_tokens": 8192,
    "output_config": {"effort": "medium"},
    "messages": [
      {"role": "user", "content": "Fix the failing test in this diff."}
    ]
  }'
Enter fullscreen mode Exit fullscreen mode

เปลี่ยนทีละฟิลด์ รักษาส่วนที่เหลือให้เหมือนเดิม และบันทึก usage ทุกครั้ง หากต้องการตั้งค่าสภาพแวดล้อมและ assertions สำหรับงานลักษณะนี้ ให้ ดาวน์โหลด Apidog

สรุปอย่างตรงไปตรงมา

เรื่องราวเกณฑ์มาตรฐานของ Opus 5 ดูแข็งแกร่ง: Anthropic ระบุว่าเป็นก้าวกระโดดใหญ่เมื่อเทียบกับ Opus รุ่นก่อน โดยราคาต่อโทเค็นที่แสดงไม่เปลี่ยนแปลง

แต่ผลลัพธ์ทั้งหมดเป็นตัวเลขจากผู้จำหน่าย ยังไม่มีการทำซ้ำโดยอิสระ ณ วันที่ 25 กรกฎาคม 2026 และหลายข้อกล่าวอ้างรายงานเป็นอัตราส่วนที่ไม่มีคะแนนฐาน ทั้งหมดนี้เป็นจริงได้พร้อมกัน

ใช้ตารางด้านบนเป็นสมมติฐานของ Anthropic แล้ววัดจากเวิร์กโหลดจริงของคุณเอง การตัดสินใจย้ายโมเดลจะเกิดขึ้นจากช่องว่างระหว่างแผนภูมิเปิดตัวกับข้อมูลจากระบบของคุณ ดูรายละเอียดเพิ่มเติมเกี่ยวกับโมเดลได้ใน คู่มือหลักของ Opus 5

คำถามที่พบบ่อย

เกณฑ์มาตรฐานของ Claude Opus 5 ได้รับการตรวจสอบอย่างเป็นอิสระหรือไม่?

ไม่ ณ วันที่ 25 กรกฎาคม 2026 ผลลัพธ์เกณฑ์มาตรฐานที่เผยแพร่ทั้งหมดมาจาก Anthropic ยังไม่มีห้องปฏิบัติการบุคคลที่สามหรือผู้ประเมินอิสระเผยแพร่การทำซ้ำ

ข้อกล่าวอ้างเกณฑ์มาตรฐานที่ใหญ่ที่สุดของ Opus 5 คืออะไร?

คือ Frontier-Bench v0.1 ซึ่ง Anthropic ระบุว่า Opus 5 มีคะแนนมากกว่า Opus 4.8 ถึง 2 เท่า พร้อมต้นทุนต่อภารกิจต่ำกว่า Anthropic เผยแพร่อัตราส่วน แต่ไม่ได้เผยแพร่คะแนนฐาน

Claude Opus 5 เป็นโมเดล Claude ที่มีความสามารถมากที่สุดหรือไม่?

ไม่ Fable 5 ยังมีสถานะ “โมเดลที่เปิดตัวในวงกว้างที่มีความสามารถมากที่สุด” และ Anthropic ระบุว่า Opus 5 ตามหลัง Mythos 5 ในงานใช้ประโยชน์จากช่องโหว่ทางไซเบอร์และการวิจัยชีววิทยาอัตโนมัติ

Opus 5 ดีกว่า Opus 4.8 ในงานวิทยาศาสตร์แค่ไหน?

Anthropic รายงานว่าเพิ่มขึ้น +10.2 คะแนนในเคมีอินทรีย์ และ +7.7 คะแนนในการวิเคราะห์โปรตีนเหนือ Opus 4.8 ตัวเลขทั้งสองเป็นผลต่างสัมบูรณ์ จึงตีความง่ายกว่าอัตราส่วน แม้ยังไม่มีคะแนนฐาน

Opus 5 เอาชนะ Fable 5 ได้หรือไม่?

ตามตัวเลขของ Anthropic Opus 5 เหนือกว่า Fable 5 ใน OSWorld 2.0 ด้วยต้นทุนเพียงหนึ่งในสาม และมีผลงานใกล้เคียงจุดสูงสุดของ Fable 5 ภายใน 0.5% ใน CursorBench 3.2 ด้วยราคาครึ่งหนึ่ง Fable 5 ยังคงเป็นโมเดลที่มีความสามารถโดยรวมสูงกว่า ดูเพิ่มได้ใน การเปรียบเทียบฉบับเต็ม

ฉันควรทดสอบอะไรด้วยตัวเอง?

วัดต้นทุนต่อภารกิจที่สำเร็จจากงานจริง 20–50 งานใน backlog ของคุณ รันที่หลายระดับ effort เชื่อมต่อเครื่องมือจริง เปิด agentic loop หลายรอบ และเปรียบเทียบกับโมเดลที่คุณใช้อยู่บนระบบทดสอบเดียวกัน

Top comments (0)