Recent News in Agent Evaluation (Nov 5–10) | 智能体评测领域近期资讯（11.5–11.10）

智能体评测领域近期资讯（近几天，11.5–11.10）

核心主线：行业共识快速转向 区分「模型能力」和「Harness/运行框架可靠性」；不再只看最终任务通过率，开始做过程审计、失败归因、Harness本身评测；国内大厂、开源Harness、Langfuse、新Benchmark集中释放结果。

一、开源Harness & 评测基准（论文+开源）

1. DeepSeek Harness vs Claude Code 对照评测（11月5日，The Product Compass）

• 固定模型（DeepSeek V4.1 Flash 1017），在Bug Hunt Bench上，控制变量对比：DeepSeek Harness、Claude Code、Pi、OpenCode
• 结论：DeepSeek Harness在三档思考强度下均小幅领先；Max effort档位：DeepSeek Harness 42.7/105，Claude Code 39.1/105；但样本量有限，差距在统计噪声区间内
• 背景：DeepSeek Harness MIT开源，开发者预览版；是当前和OpenClaw并列的两大主流开源Agent评测脚手架 > 重点：同一个模型，换Harness，分数会明显漂移，这也是TraceTrial-Bench最近重点论证的结论

2. TraceTrial-Bench（持续发酵，11月9日国内解读稿）

• 中科院自动化所、清华、北理工、TraceLite AI联合，专门评测Harness本身，而不是只测模型，是近期最有影响力的评测论文（10.27 arXiv，11月上旬大量技术社区转发）
• 两层评估：Agent任务结果 + Harness机制可靠性（上下文、工具、权限、状态、可观测、生命周期、验证）
• 关键结论：3420次运行，只有8.4%同时满足Agent任务成功 + Harness全部合规判据；31.1%任务跑成功，但Harness存在违规/漏洞
• 覆盖Harness：Claude Code、OpenClaw、DeepSeek Harness、Pi；OpenClaw在Harness宏观可靠性得分最高（72.0%），Claude Code在Agent综合得分最高（73.5）
• 代码MIT开源，95个专家级任务，主打失败归因，解决传统榜单“不知道是模型不行还是脚手架坑了”

3. 美团 LongCat-2.5 配套Agent榜单（11.2发布，11.9权重正式开源）

• 1.6T MoE、百万上下文原生多模态，官方在主流Agent评测集（BrowseComp、AutomationBench、Character’s Last Exam）上跑分，在网页浏览、跨应用自动化上超越Claude Opus5
• 全部跑分基于DeepSeek Harness、OpenClaw两套主流Harness跑出来，国内少数同时在两套Harness上做对照的大模型
• 配套长期动态Agent评测基准VitaBench（更早版本，主打生活场景、长期用户记忆）

二、Langfuse（ClickHouse收购的LLMOps/Agent评测创业公司）

注意：Langfuse不是Benchmark，是生产链路的评测、追踪、LLM-as-judge平台，企业落地Agent评测最主流工具栈之一

• 重要时间提醒：Langfuse Cloud 11月16日起全面切换v4，不再支持旧版数据模型，最近大量企业在做迁移评估，迁移助手已经上线，影响线上Agent评测链路（v4重点优化Agent链路追踪、多模态Evaluator、批量回溯评测backfill）
• 近期核心评测能力：
  • Jev-as-a-judge：低成本、高速、类型化打分，替代一部分LLM-as-judge，适合全量生产流评分，而不是抽样
  • 原生支持Bedrock AgentCore OpenTelemetry追踪、Agent Tool Call链路可视化、人工标注和LLM Judge打分对齐、打分一致性分析（评测评测者本身）
• 定位：和LangSmith对标；MIT核心开源，自托管，金融/企业Agent回归测试、线上监控用得很多

三、大厂动态

1. DeepSeek：持续迭代Harness评测生态，对外放出Harness对照实验、和OpenClaw的跨Bench对标；Claw-SWE-Bench（代码Agent基准）长期作为其标准测试集，350个真实GitHub Issue任务，含Lite子集用于快速迭代
2. 美团LongCat团队：LongCat-2.5开源，同步放出跨Harness Agent评测结果；国内少有的把「长期记忆、动态用户偏好」放进Agent评测的团队（VitaBench）
3. Anthropic：企业发布会（11.11凌晨）重心是协作式Agent工作台，附带内部Agent审核、评估流程案例，没有发布新Benchmark；Claude Code依然是闭包Harness标杆，被TraceTrial、Bug Hunt Bench作为对照组
4. 阿里通义Qwen：持续在PawBench、AgentScope体系更新多模态Agent榜单；AgentScope团队维护PawBench，支持Hermes / OpenClaw / QwenPaw三套Harness矩阵对比，是国内高校常用评测底座

四、业界会议、大咖活动

• Berkeley Agentic AI Summit（Agent Evaluation & Benchmark专场）：近期社区回放传播量很高，议题直指「Benchmark是不是造假、偏好>榜单、企业真实路由评测」，IBM Research、LLMArena、ScarfBench团队分享，核心观点：静态榜单越来越脱离企业真实Agent落地，生产侧评测、偏好对齐、可审计轨迹才是刚需
• 国内：AI2Future 2026有专题《复杂Agent怎么评估》，议题是多子Agent、技能包（Skill）堆叠后的评测难题，区分集成测试和分模块评测，大量Langfuse、TraceTrial思路被引用

五、创业公司 & 工具生态小结

• Langfuse：LLMOps+生产Agent评测赛道龙头，已被ClickHouse收购，现在和ClickHouse的OLAP链路打通，大规模Agent trace和打分存储是优势
• OpenClaw：最流行的开源Agent Harness（“龙虾”），大量评测论文的标准脚手架，社区持续和DeepSeek、Qwen、Claude做适配；和Pi底层同源
• TraceLite AI：TraceTrial-Bench发起方，主打Harness可靠性审计赛道，是最近这个细分赛道的黑马
• TokenRhythm：Claw-SWE-Bench维护方，聚焦代码Agent评测、RSI递归自改进Agent评测

六、行业热点共识（最近几天讨论最多的一句话）

同一个模型，换Harness，分数差异可达7–10分；榜单分数是模型+Harness+环境共同的结果，不能单纯理解成模型能力，这也是TraceTrial、DeepSeek Harness对照实验引爆讨论的核心原因