以下是2026年11月中下旬智能体评测领域的最新动态汇总,覆盖评测基准发布、大厂动作、创业公司进展、开源工具、学术会议等多个维度:
一、评测平台与基准发布(近一周核心动态)
1. Agent Arena Index 正式发布(11月18日)
原 LMArena 平台正式更名为 Arena,并推出 Agent Arena Index 智能体综合评测指数,配套6个细分领域子榜单。
- 核心方法:基于真实用户与智能体协作的会话轨迹,提取任务成功率、用户褒贬、可引导性、工具调用准确率等信号,用因果推断估算模型净提升值
- 榜首:Anthropic Claude Fable 5.2 (Max) 以1463分领跑,领先第二名134分
- 实验室排名:Anthropic > Google DeepMind > OpenAI > Meta > 阿里
- 子榜单覆盖:Agentic Coding、Work、Web Dev、Alignment 等方向
2. Frontier Design Benchmark 设计能力评测榜(11月18日)
Contra Labs 与 BenchFlow 合作推出面向真实商业设计任务的评测基准,采用专业设计师盲测机制。
- 匿名隐身开发模型 Gestalt 成为黑马,Elo 1931分、90%胜率登顶
- 超过人类设计师参考作品(1739分)、Claude Fable 5.2(1713分)和 GPT-6.1 Sol(1668分)
- 包含33项真实商业设计任务,而非简单提示词生成测试
3. OpenAI 发布 MedChemBench 药物化学基准(11月20日)
专门评估 AI 模型在药物化学研究中的推理能力。
- 包含99道题目,取自117篇论文与专利,涉及761个不同分子结构
- 四大评测维度:分子结构重建、科学解释、化合物排序选择、性质预测
- 实测显示:模型在结构重建和解释方面较强,但化合物筛选和数值预测仍有明显短板
4. 中科曙光发布 OneScienceBench 科研智能体评测体系(11月19日)
面向 AI for Science 领域的评测体系,已在 GitHub 以 MIT 许可证开源。
- 覆盖生物信息、地球信息、材料化学、流体等领域
- 两类任务:单模型实现任务(代码校验)+ 真实科研场景任务(四维度判定)
- 目前包含100余项单模型任务和110余项科学场景任务
二、大厂相关动态
OpenAI:GPT-6.2 系列发布,配套多项 Agent 评测
- 11月17日正式发布 GPT-6.2 Astra(科研旗舰)和 GPT-6.2 Sol(高效通用)两款模型,同步上线 API 和 ChatGPT Work
- 在 AA-AnalystAgent 金融分析师智能体评测中,五次独立尝试全对口径表现突出
- 在 Terminal-Bench-Science 科研评测上较前代提升9个百分点,GDPval v2 长程知识工作评测提升6.2个百分点
苹果:操作系统级智能体布局加速
- macOS 27.3 beta 2 调整设备控制权限机制,拆分不同类型系统权限授权,为第三方 Agent 运行设定沙盒规则
- 招聘信息显示苹果正在开发自有智能体技术,深度整合 Apple Intelligence,预计最早2027年底推出产品级方案
IBM:watsonx.governance 整合 Langfuse 与 Arize AX
- 11月12日宣布将 Langfuse 和 Arize AX 的运行时评测指标直接接入治理工作流
- 实现智能体运行过程中的评测数据自动汇入治理记录,关联管控要求与实际运行表现
国内大厂:办公智能体评测格局
SuperCLUE 10月办公智能体端到端实测显示:豆包工作(85.33)、Kimi Work(84.57)、WorkBuddy(83.99)、百度搭子(82.68)位居前四,头部差距仅2.65分。
三、创业公司动态
Langfuse:AI Gateway 公测 + 评测器架构调整
11月上旬密集动作:
-
11月9日:正式推出 AI Gateway 公开测试版,作为企业所有 AI 调用的统一入口,原生集成 Langfuse 全链路追踪、成本统计与权限管控
- 路线图包含:按团队/用户/API Key 设置消费限额、多服务商故障转移、安全护栏与 PII 脱敏、SCIM 用户供应等
- 11月11日:网关支持自定义 Base URL(可对接内部 LLM 代理),并新增 OpenAI Embeddings API 支持
- 11月16日:正式停用 v4 版本中的 trace-level LLM-as-judge 评测器,引导用户迁移至会话级评测方案,社区出现迁移指南与讨论
BenchFlow:开源评测框架 v0.9 发布
- 11月7日发布 benchflow 0.9 版本,支持多轮智能体基准测试
- 支持 Claude Code、Codex、Gemini CLI、OpenHands 等主流智能体,运行环境支持 Docker、Daytona、Modal、AgentCore
- 同一运行时环境可同时用于评测和 RL 训练
Arena(原 LMArena):完成2亿美元B轮融资
- 推出 Agent Arena Index 同期,宣布完成2亿美元 Series B 融资
- 平台累计会话量达3.8亿次,是目前最大规模的真实场景智能体评测数据集之一
四、开源工具与技术进展
DeepSeek Harness:生态快速扩张
- 最新版本 v0.2.2-rc.3(11月13日)新增代码审查工作流、6种界面语言、第三方插件包更新管理器
- 截至11月4日,日活154万、月活548万,日消耗约92万亿 token,第三方插件约3.5万个
- 11月2日上线 Creator Mode,智能体可自主编写、安装、测试插件,向"Agent 时代操作系统"演进
AgentCompass:统一评测框架 v1.0
- 9月底发布 PyPI 1.0.0 正式版,将 Model、Benchmark、Harness、Environment 四层解耦
- 内置 SWE-Bench Pro Verified 等基准,解决编码智能体评测中的奖励黑客和任务质量问题
- 已被 EMNLP 2026 Demo Track 接收
Potato 2.6.2:自托管智能体评测平台
- 支持从 OpenTelemetry、LangGraph、CrewAI、AutoGen 导入轨迹
- 新增多智能体交互图可视化、CI 门禁评测能力,全部可自托管部署
五、学术会议与前沿研究
NeurIPS 2026 智能体验证相关 Workshop(12月召开)
- "Who Verifies the Agents?" Workshop(12月12日):聚焦智能体验证瓶颈,由 Meta Superintelligence Labs 等机构发起,讨论鲁棒验证器、环境接地评测等方向
- AABA4ET 企业级智能体基准与应用 Workshop(12月11日,悉尼):第二届企业级 Agent 评测研讨会,覆盖基准数据集、安全可信、多智能体协同等主题
- 延世大学团队关于"Harness 优化器直接评估"的论文被 NeurIPS 2026 接收,提出通过优先级排序评估优化器编辑质量,发现当前优化器约45%-48%的修改是错误方向
国内赛事与评测
- "美亚杯"第十二届中国电子数据取证大赛(11月15日):AI 智能体独立作答351分,首次超过人类选手的345分,在标准化、可量化的专业赛道实现反超
- 中国信通院可信AI智能体评估(10月下旬发布):蜜度科技、贤牛科技、上海弘玑、中电科等单位通过最新一批评估
Top comments (0)