Điểm chuẩn Muse Wonder

Muse Wonder Full đạt 56 điểm trên Artificial Analysis Intelligence Index, còn Muse Wonder đạt 52 điểm. So sánh với 58 của Claude Opus 5.5, 56 của Claude Sonnet 5.5 và 53 cho từng mẫu GPT-6 Astra, Gemini 4 Argon và Claude Fable 5.1, đây không phải chiến thắng toàn diện. Nhưng model card của Meta lại kể một câu chuyện mạnh hơn: dẫn đầu về lập trình kéo dài, công việc pháp lý, tự động hóa doanh nghiệp và bộ nhớ. Cả hai đều đúng vì chúng đo những thứ khác nhau, và khoảng cách giữa chúng là dữ kiện hữu ích nhất trong bài viết này.

Dùng thử Apidog ngay

Dưới đây là mọi con số đã công bố từ Meta và nguồn độc lập, kèm nội dung từng bài đo, nơi Wonder dẫn đầu, nơi bị tụt lại và những số liệu không ai ngoài Meta có thể tái hiện. Nếu cần nền tảng về chính mô hình, hãy bắt đầu với bài giải thích Muse Wonder.

Bảng model card của Meta

Meta so sánh Muse Wonder Full, Muse Wonder, GPT-6 Astra và Claude Opus 5.5 ở mức nỗ lực suy luận tối đa. Các hàng sau dựa trên báo cáo của VentureBeat về model card:

Benchmark	Nội dung đo	Wonder Full	Wonder	GPT-6 Astra	Claude Opus 5.5
Artificial Analysis Intelligence Index	Chỉ số tổng hợp từ mười bài đánh giá	56	52	53	58
Harvey LAB-AA	Tác vụ pháp lý cho agent	13.1	10.0	8.6	4.2
AutomationBench-AA	Tự động hóa quy trình kinh doanh	45.4	39.1	41.6	41.2
JobBench	Công việc chuyên môn	75.3	70.5	66.1	75.4
DeepSWE 1.1	Kỹ thuật phần mềm	79.0	78.8	74.1	74.2
SWE-Marathon	Phiên lập trình kéo dài	57.5	53.1	42.5	46.3
Terminal-Bench 4.0-AA	Tác vụ agent trên terminal	57.1	52.0	59.1	59.6
HealthBench Pro	Câu hỏi sức khỏe	62.3	60.5	65.3	65.6

Đọc ngang bảng sẽ thấy hình thái rõ ràng. Wonder Full thắng ở các tác vụ dài và mang tính agent: SWE-Marathon hơn Opus 5.5 tới 11 điểm, DeepSWE hơn 5 điểm và pháp lý cao gấp ba. Ngược lại, nó thua ở công việc terminal, sức khỏe và chỉ số tổng hợp. Ngay cả trên bảng của Meta, Opus 5.5 vẫn thông minh hơn khi tính tổng thể; Wonder Full bền bỉ hơn.

Meta nêu hai lưu ý quan trọng. Các lần chạy đối thủ theo cách best-effort, với cấu hình có thể chưa tối ưu cho những mô hình đó. Ngoài ra, một số so sánh lập trình dùng công cụ khác nhau, nên những hàng đó kém được kiểm soát hơn phần còn lại.

Benchmark nội bộ của Meta: bộ nhớ và tập trung

Ba con số trong tài liệu ra mắt của Meta đến từ các bài kiểm tra chỉ Meta mới có thể chạy.

Benchmark	Wonder Full	Wonder	GPT-6 Astra	Claude Opus 5.5	Claude Fable 5.1
MemoryBench	85.5	85.6	81.4	81.5	79.0
FocusBench	54.2	44.9	47.7	45.8	36.6

MemoryBench giấu dữ kiện trong hội thoại từ 64K đến 100K token, thêm yếu tố gây nhiễu và thay đổi một số dữ kiện ở nửa sau; mô hình phải nhớ phiên bản hiện tại. Đây là bằng chứng cho tính năng Active Memory. FocusBench đo xem mô hình có tiếp tục theo đuổi mục tiêu qua các trở ngại hay không, tương ứng tính năng Active Focus. Lưu ý Wonder nhỏ hơn得分 thấp hơn Astra và Opus trên FocusBench; chỉ Full mới dẫn đầu. Con số nội bộ thứ ba, Personal Superintelligence Index, không có so sánh đối thủ nào được công bố.

Đây là những bài kiểm tra hợp lý về hành vi thực, nhưng cũng chính là những hành vi Meta huấn luyện mô hình hướng tới. Cho đến khi bên ngoài Meta có thể chạy chúng, hãy coi chúng là mô tả mục tiêu huấn luyện.

Điểm độc lập: Artificial Analysis

Artificial Analysis đã đưa cả hai mô hình qua Intelligence Index v4.3 ở mức nỗ lực tối đa. Chỉ số tổng hợp và các thành phần:

Bài đánh giá	Wonder Full	Wonder	Muse Spark 1.3	So sánh đáng chú ý
Intelligence Index	56	52	48	Opus 5.5: 58; Sonnet 5.5: 56; Astra / Argon / Fable 5.1: 53; Grok 4.6: 44
Terminal-Bench 4.0	57%	52%	33%	Gemini 4 Argon: 57%
GDPval-AA (Elo)	1857, #2	Không có	1681	Opus 5.5: 1866; Sonnet 5.5: 1838
AA-Briefcase (Elo)	1729, #3	Không có	1581
CritPt	33%, #1	Không có	Không có	Đối thủ gần nhất: 31–32%
GDP.pdf	33%, #1	Không có	Không có	Đối thủ gần nhất: 31–32%
SciCode	63%, #3	Không có	Không có
AA-Omniscience (kiến thức)	30	25	25	Opus 5.5: 46; Astra: 43; Argon: 42; Sonnet 5.5: 32
Tỷ lệ ảo giác	23%	27%	33%	Gemini 4 Argon: 15%
Coding Agents Index	68	63	54	Claude Code với Sonnet 5.5: 68; Opus 5.5: 66

Ba điểm nổi bật:

Bước nhảy từ Spark là thật. Tăng 8 điểm trên chỉ số tổng hợp sau sáu tuần, và Terminal-Bench gần như tăng gấp đôi. Artificial Analysis gọi đây là bước tiến đáng kể về trí tuệ so với các mô hình Meta trước đó.

Kiến thức là điểm yếu. Điểm Omniscience 30 so với 46 của Opus 5.5 nghĩa là Wonder biết ít dữ kiện hơn, dù tỷ lệ ảo giác thấp khiến nó ít có khả năng bịa ra chúng. Với sản phẩm phụ thuộc nặng vào truy xuất, điều này ủng hộ việc căn cứ vào tìm kiếm hoặc tài liệu riêng thay vì dựa vào khả năng ghi nhớ.

Vài vị trí dẫn đầu rất sát. CritPt và GDP.pdf chỉ hơn nhóm còn lại 1–2 điểm, còn lợi thế của GDPval so với Sonnet 5.5 nằm trong khoảng tin cậy. Kết quả hòa Coding Agents Index với Claude Code dùng Sonnet 5.5 là con số phù hợp nhất cho người chọn runtime agent, và đó là kết quả của Full, không phải mô hình API.

Hàng Meta và Artificial Analysis bất đồng

Model card của Meta liệt kê Wonder Full ở 59.0 trên một hàng Artificial Analysis Intelligence Index, trong khi Artificial Analysis công bố 56. Khác biệt có thể đến từ phiên bản chỉ số, ngày chạy hoặc bộ đánh giá của chính Meta, và chưa bên nào giải thích công khai. Khi thấy số 59 được trích dẫn, đó là số của Meta; khi thấy 56, đó là số độc lập.

Khoảng cách tương tự cũng xuất hiện trên AutomationBench: bảng Meta có 45.4 và 39.1, còn Artificial Analysis báo 71% và 68% trên phiên bản có vẻ khác của bài kiểm tra. Khi trích dẫn, hãy ghi rõ nguồn kèm con số.

Token và chi phí sau điểm số

Điểm ở mức nỗ lực tối đa đi kèm hóa đơn token. Artificial Analysis đo khoảng 54.000 output token mỗi tác vụ cho cả hai mô hình Wonder, so với 62.000 của Argon, 78.000 của Fable 5.1 và 27.000 của GPT-6 Astra.

Về input, Wonder dùng 7,69 triệu token trên toàn bộ chỉ số còn Full dùng 6,44 triệu, cao gấp hai đến bảy lần các mô hình OpenAI và Google. Vì vậy, chi phí mỗi tác vụ của Wonder là 4,52 USD, thấp hơn 5,98 USD của Opus 5.5 nhưng cao hơn 3,26 USD của Astra dù giá niêm yết của Astra cao gấp 2,5 lần. Bài viết về giá phân tích ý nghĩa của điều này cho khối lượng thực tế.

Điều bạn nên tự kiểm tra

Benchmark cho biết nơi cần nhìn, không quyết định thứ nên phát hành. Với các điểm mạnh agent mà Meta tuyên bố, bài kiểm tra phù hợp là tác vụ dài của chính bạn:

• Refactor 30 bước trên một codebase quen thuộc.
• Duyệt nhiều tài liệu và trả lời dựa trên phiên bản dữ kiện mới nhất.
• Chạy vòng công cụ có lỗi cố ý được cài vào để đo khả năng phục hồi.
• So sánh output có cấu trúc và chi phí token giữa các mô hình.

Trong Apidog, thiết lập cùng prompt và định nghĩa công cụ cho Muse Wonder, Opus 5.5 và mô hình bạn đang dùng, kiểm chứng output có cấu trúc rồi so sánh usage của từng mô hình. Bộ kiểm thử tool-call và hướng dẫn kiểm thử agent không tất định hướng dẫn cách cài đặt. Bạn cũng có thể tải Apidog để chạy ba mô hình song song.

Hãy nhớ API cung cấp Wonder chứ không phải Full. Mọi tiêu đề benchmark bạn đọc về mô hình biên giới của Meta có lẽ đang mô tả mô hình mà bạn không thể gọi.

Câu hỏi thường gặp

Muse Wonder có phải mô hình tốt nhất hiện có không?

Không theo chỉ số tổng hợp độc lập. Opus 5.5 đạt 58, so với 56 của Full và 52 của Wonder. Wonder Full dẫn đầu một số benchmark agent cụ thể: SWE-Marathon, DeepSWE, Harvey LAB và FocusBench.

Nên tin benchmark nào?

Các lần chạy của Artificial Analysis có thể tái hiện và thuộc bên thứ ba. Bảng so sánh mô hình của Meta do Meta chạy với cấu hình đối thủ theo cách best-effort. MemoryBench, FocusBench và Personal Superintelligence Index chỉ dành cho Meta.

So với Gemini 4 Argon thì sao?

Argon đạt 53 trên chỉ số, cao hơn 52 của Wonder với một nửa giá, hòa Full trên Terminal-Bench với 57% và ảo giác ít hơn, 15% so với 27%. Bài benchmark Argon có bảng đầy đủ.

Mức nỗ lực tối đa có làm thay đổi mô hình không?

Không. Nỗ lực thay đổi thời gian Wonder suy luận; nó không bao giờ biến muse-wonder-1.0 thành Muse Wonder Full.

Bước tiếp theo

Chọn một benchmark gần khối lượng công việc của bạn nhất: SWE-Marathon cho phiên lập trình dài, hoặc Omniscience cho khả năng nhớ dữ kiện. Để benchmark đó quyết định Wonder có đáng thử trong use case cụ thể hay không. Con số tổng hợp sẽ không làm được điều đó.