CR--AI安全的“中国特色”：Nathan深入中国AI安全生态、科研与治理体系

https://www.youtube.com/watch?v=w9zJzd3WqA8

《AI安全的“中国特色”：Nathan深入中国AI安全生态、科研与治理体系》

---

第一部分 中国真的“不关心 AI 安全”吗？——节目的问题意识与核心论点（0%－4.8%）

1. 节目的主题：从“中国旅行”转向“中国 AI 安全”

• 本期是 Nathan Goes to China 系列第二部分。
• 第一部分更像是中国之行的旅行记录、技术体验和中国 AI 产品体验，本期则把重点转向中国 AI Safety（人工智能安全）生态本身。
• 主持人明确表示，他希望尽可能站在中国自身的语境中理解中国 AI 安全，而不是简单套用美国 AI Safety 社区的框架。

• 他认为中美 AI Safety 存在大量相似之处：

  • 都面对越来越强大的 AI；
  • 都担心模型滥用；
  • 都研究模型越狱、欺骗、鲁棒性、Alignment 等问题；
  • 都开始关注 Agent 自主行动以及未来 AI 对现实世界的影响。

• 但两边的制度环境、科研组织方式、社会组织结构以及对风险的理解方式又存在明显差异。

2. 主持人的信息来源与“查塔姆宫规则”

• 主持人说明，本期大量内容来自他在中国两周期间的亲身经历以及和很多人的交流。

• 为避免让受访者因为自己的言论而遭到误解或者陷入不必要的麻烦，他采用 Chatham House Rule（查塔姆宫规则）：

  • 不透露普通受访者姓名；
  • 不把具体观点直接归因于某家公司、机构或者政府部门；
  • 只有已经公开发表的论文、报告等材料可以明确点名。

• 因此，本节目实际上混合了：

1. 主持人的亲身观察；
2. 中国 AI 安全研究人员的观点；
3. 公司交流；
4. 公开论文；
5. Concordia 等机构的公开数据。

3. 他首先要打破的一个观点：“中国不会管 AI 安全”

• 节目最重要的出发点，是反驳一种在美国 AI Safety/监管讨论中曾经很常见的论点：

“如果美国限制 AI，那么中国不会限制，中国会继续疯狂发展。”

• 主持人认为这种论证实际上建立在一个错误前提上： “中国不关心 AI 安全。”
• 他希望通过整个节目证明：

• 中国确实关心 AI 安全；
• 中国政府确实会因为安全问题限制 AI 企业；
• 中国并不是“只管意识形态内容安全”；
• 中国已经在研究 AI 自主行动、失控、网络攻击、生物风险等问题。
  • 但是，“中国关心 AI 安全”并不等于“中国在所有 AI Safety 指标上都领先美国”。主持人随后专门承认，目前中国 AI 产品的实际安全防护水平总体仍落后于美国最领先的公司。

---

第二部分 中美 AI 产品安全的现实差距——美国领先，但主要是被少数公司拉高（4.8%－7.8%）

1. 主持人先承认：中国目前的产品安全确实落后

• 他特别强调，因为自己经常被认为是比较“亲华”或者对中国比较友好的观察者，所以他不想回避不利证据。
• 他直接给出判断： 截至节目制作时，中国 AI 公司和模型在防止模型被滥用方面，整体上没有美国公司做得好。
• 这里说的是实际部署的 safeguards（安全防护措施），而不是简单比较谁的模型能力更强。

2. 美国的优势很大程度上来自 OpenAI 与 Anthropic

• 主持人认为，美国 AI Safety 的平均水平之所以明显高于中国，一个非常重要的原因是： OpenAI 和 Anthropic 把美国整体平均值拉高了。

• 他甚至提出一个很有意思的思想实验：

  • 如果把 OpenAI 和 Anthropic 从美国 AI 生态中拿掉；
  • 再比较美国剩余公司和中国公司；
  • 两边的安全差距会明显缩小。

• 他仍然认为美国会领先，但不会形成一种“美国 AI 生态明显拥有道德制高点”的局面。

• Google Gemini 的安全水平也比很多公司更好，但与 OpenAI、Anthropic 相比又差了一截。

3. “美国生态领先”不能简单理解成所有美国模型都领先

• 主持人粗略估计，中美两边如果采取比较宽松的“near frontier”定义，各自都有大约 10～12 家相关公司。
• 真正把美国平均值显著提高的，主要是最顶尖的少数企业。
• 因此，如果只看媒体报道中的平均分数，容易误以为：

美国所有 AI 公司都比中国公司安全很多。

• 主持人的判断其实更细： 美国最领先的公司明显领先；但两国生态的中间部分，差距远没有那么大。

---

第三部分 “45度线”——中国 AI Safety 最核心的思想：能力增长与安全增长同步（7.8%－11.6%）

1. 中国 AI Safety 的总体风格：务实、工程化、少科幻色彩

• 主持人对中国 AI Safety 社区的第一印象是：

  • 很务实；
  • 很工程化；
  • 很少沉迷科幻式想象；
  • 更关心“现在到底怎么把系统做安全”。

• 与美国早期 AI Safety 社区中比较明显的长期主义、哲学化、极端风险讨论相比，中国相关研究人员总体显得更加“正常工程师化”。

2. “45度线”概念

• 主持人重点介绍上海人工智能实验室一位研究者提出的 45-degree line（45度线）。

• 核心思想非常简单：

AI 能力提升多少，安全能力就应该同步提升多少。

• 如果横轴/纵轴分别表示 AI 能力和 AI Safety，那么：

  • 45°线代表能力和安全同步增长；
  • AI 能力超过安全能力太多，就意味着出现安全缺口；
  • 如果安全措施明显领先于当前能力，也未必经济合理。

• 这个思想背后的工程哲学是：
  不要让能力跑得比安全措施快太多，但也不必为尚不存在的能力提前设计极其复杂的安全机制。

3. Concordia 的数据：美国闭源模型普遍更接近或超过45度线

• 主持人引用 Concordia AI 的公开评测。
• 其网站把不同模型按照“能力”和“安全”进行综合评分。

• 大致结果是：

  • 主要是美国公司的闭源 API 模型：大体位于或略高于45°线；
  • 主要是中国公司的 open-weight 模型：更多处于45°线以下。

• 因此，中国模型在实际安全防护水平与能力匹配程度上确实还有差距。

• 但主持人也提醒：

  • 这些分数是综合指标；
  • 指标最终对应什么具体模型行为，并不是完全透明；
  • 因此不能把图表简单理解为绝对真理。

---

第四部分 模型 ≠ 服务：中国 AI 安全特别强调“服务层”的治理（11.6%－16.6%）

1. 中国 AI 产品的“模型”和“服务”其实是两层东西

• 主持人指出一个非常重要的区别： 一个中国公司发布 open-weight 模型，不等于它直接向普通用户提供了一个完全没有安全控制的 AI 服务。

• 他在中国实际使用 AI 产品时遇到过这样的情况：

  • 模型一开始正常回答；
  • 涉及敏感问题后，回答突然消失；
  • 随后出现拒答。

• 这说明最终产品不是“裸模型”，而是：
  模型 + 输出监控/审核系统 + 服务层控制。

• 所以一个模型本身可能愿意回答某个问题，但外围的安全系统会把答案拦截掉。

2. 中国 AI Safety 更偏向“服务安全”

• 主持人认为，这是中美 AI Safety 思维一个重要区别。
• 美国 AI Safety 社区尤其关注：

“如果一个模型以 open weights 形式发布，任何人都能拿到它，那么最坏情况下会发生什么？”

• 中国方面则更容易从：

“最终这个模型会被谁、通过什么服务、在什么场景下使用？”
来理解风险。

• 也就是说：

• 美国更强调 model-level worst case；
• 中国更倾向于 service-level governance。

3. 双方其实各自有合理之处

• 主持人并没有简单判断哪一种思路绝对正确。

• 中国方面的观点有现实基础：

  • 巨型模型需要大量计算资源；
  • 普通个人很难直接运行；
  • 真正的大规模危害往往仍需要配套基础设施。

• 因此，模型发布之后的：

  • 云服务；
  • API；
  • 推理服务；
  • 企业应用；
  • 用户身份；
  • 使用场景； 都可以成为监管节点。

• 但美国强调“模型脱离服务后的最坏情况”同样重要。

• 主持人的结论是：
  中美其实是在看同一个问题的不同层面。

---

第五部分 中国 AI 公司到底有多重视安全？——大公司、创业公司存在明显差异（16.6%－21.3%）

1. Concordia 的调查：10家公司只有5家公开做过安全评估

• Concordia 的《中国 AI Safety 状况》报告调查了10家主要中国公司。

• 结果是：

  • 5家曾经在模型发布时进行安全评估并公开；
  • 5家没有这样做；
  • 即使做过安全评估的公司，也并非每一次模型更新都公开做完整评估。

• 因此，中国公司在安全披露方面仍明显存在不足。

2. 老牌大厂比创业公司更重视安全

• 主持人观察到：

  • 阿里；
  • 蚂蚁；
  • 腾讯；
  • 字节等成熟公司； 往往比年轻的 LLM/AGI 创业公司更愿意投入 AI Safety。

• 他认为可能原因包括：

  • 大公司已有大量业务和资产；
  • 出问题之后损失更大；
  • 更不愿意与监管部门发生严重冲突；
  • 有钱承担安全成本；
  • 企业文化更加成熟。

• 特别是金融科技之类业务，一旦 AI 出问题，影响会非常大，所以成熟企业天然更有动力做安全。

3. 中国创业公司的心态可能类似早期 Meta

• 主持人用 Meta 早期开放 Llama 的思路做类比：

  • 如果领先公司已经把某个能力公开了一年；
  • 全球研究者已经大量 jailbreak；
  • 没有发生灾难；
  • 那么后来者可能认为自己发布类似能力不会带来额外巨大风险。

• 他认为部分中国创业公司可能也存在类似心理：

“美国已经把这个能力跑过一遍了，如果没有出大事故，我们跟着做到类似水平应该问题不大。”

• 但随着近期真正严重的 AI 安全事件越来越多，这种思维可能发生变化。

4. 中国和美国其实都远未达到“安全已经解决”

• 主持人最终把这一部分落到比较平衡的结论：

  • 中国的45度线仍然更多是一个目标；
  • 中国产品安全确实需要提高；
  • 但美国 AI Safety 也仍然远未成熟；
  • 如果去掉 OpenAI、Anthropic 两个最领先的安全公司，中美差距会变得更加模糊。

---

第六部分 中国 AI Safety 研究正在快速增长，而且与美国高度“同频”（21.3%－33.1%）

1. 中国科研界已经真正进入 AI Safety

• 主持人明确表示： 中国研究人员正在越来越积极地研究 AI Safety。

• 他认为这是某种程度上的“技术趋同”：

  • 中美使用相似技术；
  • 模型能力向相似方向发展；
  • 因此会碰到类似问题；
  • 最终自然会研究相似的解决方案。

• 同时，研究者也会主动学习美国、英国等国家已有的成果。

2. “民间外交”和 Track 2 对话正在发挥作用

• 主持人在 WIC 等活动中遇到很多参加：

  • Track 2 dialogue；
  • 闭门会议；
  • 国际 AI Safety 论坛； 的人士。

• 一些美国 AI Safety 界长期主张：
  必须和中国合作，否则无法真正解决全球 AI Safety 问题。

• 主持人亲眼看到其中一些人确实去了中国，而且在做这些事情。

• 因此他认为“中美 AI Safety 对话”并不是嘴上说说，而是已经形成了一定程度的实际交流。

3. 中国研究人员并不是被动接受西方观点

• 主持人特别强调：

  • 中国研究人员不会因为美国专家来了，就照单全收；
  • 中国内部也存在怀疑 AI Safety 是西方“减缓中国 AI 发展”的工具这种观点。

• 但是主持人说自己实际遇到的人并没有表现出这种强烈怀疑。

• 他的判断是：
  越来越现实的 AI 风险本身，正在让这些安全问题变得难以被简单归结为地缘政治阴谋。

4. 一个很有意思的企业案例：每天追踪美国 AI Safety 舆论

• 一家中国大型科技公司与主持人交流时，派出了非常高层的团队：

  • CMO；
  • Communications；
  • General Counsel；
  • AI Security 等。

• 他们非常明确地说：
  他们确实关心 catastrophic risk，尤其是 CBRN 风险。

• 更有意思的是，他们已经部署了一个 Agent：

  • 每天扫描美国 AI Safety 讨论；
  • 整理美国当天的 AI Safety 动态；
  • 再形成内部日报。

• 主持人认为反过来美国对中国 AI Safety 生态的日常追踪远没有这么深入。

---

第七部分 中国 AI Safety 的真正焦点正在从“内容审查”转向 Agent 自主行动（33.1%－38.3%）

1. 不能把中国 AI Safety 简化成“审查敏感内容”

• 主持人承认，中国 AI 服务存在非常明显的内容安全机制。

• 他用著名的“三个T”概括中国政治敏感内容：

  • Tibet；
  • Taiwan；
  • Tiananmen。

• 但他强烈反对：

“中国 AI Safety 就等于内容审查。”

• 他认为这已经不能准确描述2026年的中国 AI Safety 讨论。

2. 中国 AI 圈现在反复谈论的是 Agent

• 主持人观察到，他在中国几乎到处都听到： Agents、Agents、Agents。
• 原因是 AI 已经从：

“回答问题”
发展到了
“代表用户采取行动”。

• Agent 一旦拥有：

• 网络权限；
• 软件权限；
• 金融权限；
• 企业系统权限；
• 机器人身体； 就不再只是一个聊天工具，而是一个可以直接改变世界状态的行动者。

3. 中国特别关注 Agent 进入物理世界

• 中国 AI 生态对机器人尤其重视。
• 因此他们思考的不只是：

Agent 会不会把服务器搞坏？

• 而是：

Agent 最终会不会进入现实世界？

• 如果 AI Agent 控制机器人、工业系统、物流系统等，它的错误就可能直接产生现实世界后果。
• 所以主持人认为，中国 AI Safety 目前很重要的一条主线就是： 如何让自主 Agent 保持“可控”。

---

第八部分 中国没有美国式的 AI Safety 非营利生态——因此主要力量来自大学（38.3%－45.2%）

1. 中美最大的制度差异之一：Nonprofit vs. Academia

• 主持人认为，中美 AI Safety 生态最大的结构差异之一，就是： 美国拥有非常强大的非营利组织和慈善资助体系。

• 美国允许：

  • 一群人提出非常另类的观点；
  • 成立 NGO；
  • 找一个富有的个人资助；
  • 然后长期研究一个当时可能看起来非常边缘的问题。

• AI Safety 本身就是这么成长起来的。

2. 中国缺少这种“完全自由发展的非营利 AI Safety 生态”

• 主持人的判断是：

  • 中国当然有非营利组织；
  • 但活动空间更窄；
  • 很少存在美国式的政治倡议型 NGO；
  • 慈善资金也更加偏向明确、传统、社会共识度高的项目。

• 因此中国没有形成类似美国的：
  “少数极端但有远见的人 → 私人资助 → 独立 AI Safety NGO → 逐渐影响主流”
  这样的路径。

3. 中国的替代品是大学

• 中国 AI Safety 研究最主要的来源，因此不是 NGO，而是： 大学 → 企业 → 产学研合作。

• 主持人甚至认为：

  • 中国高校进入 AI Safety 的速度；
  • 可能已经超过美国高校；
  • 但美国 NGO 生态的速度又明显超过中国大学。

• 因此两边其实是：
  美国：非营利组织驱动很强；中国：大学驱动很强。

4. 中国 AI Safety 学者更“体制化”、更工程化

• 主持人观察到，中国从事 AI Safety 的教授通常：

  • 有比较标准的学术职业路径；
  • 重视论文；
  • 重视工程可靠性；
  • 不太喜欢显得“异端”。

• 他们比较少使用美国早期 AI Safety 圈的：

  • 极端末日情景；
  • P(doom)；
  • “LessWrong式”文化；
  • 高度 speculative 的长期主义话语。

• 因此中国 AI Safety 研究总体更加：
  可靠性导向、工程导向、现实问题导向。

5. 一个非常生动的例子：教授不知道美国人午餐会讨论 P(doom)

• 主持人问一位中国 AI Safety 教授：

  • 你们吃饭时会不会讨论 P(doom)？
  • 会不会读 AI 2027？

• 对方的回答非常意外：

  • 基本不读 AI 2027；
  • 因为它涉及比较强的美中政治语境；
  • 更不会在午餐时互相报 P(doom)。

• 当主持人告诉他，美国湾区确实有人会在日常交流中讨论这些东西时，对方明显觉得很意外。

• 主持人认为，这种文化差异可能会造成中美 AI Safety 社区之间的沟通障碍。

---

第九部分 习近平在 WIC 的 AI 安全讲话——中国最高层确实在谈“失控”与人类控制（45.2%－58.1%）

1. 为什么主持人认为这一部分非常重要

• 主持人认为，中国学术界为什么比美国更早开始认真研究 AI Risk，一个可能解释是： “这个议题是从上面来的。”
• 他因此重点分析了习近平在 WIC 的开幕讲话。
• 他认为这段讲话对于理解中国 AI Safety 非常重要。

2. 讲话提出的三个核心问题

主持人引用的讲话中，提出了类似：

• 人类应该如何与“会思考的机器”共存？
• 当算法参与决策时，如何保证安全？
• 当技术挑战伦理时，治理如何跟上？

主持人认为这些不是简单的“内容审查”问题，而是典型的 AI Governance / AI Safety 问题。

3. “Loss of Control”是特别值得注意的表述

• 讲话强调：

  • AI 越发展；
  • 越应该以人类利益为方向；
  • 治理必须更加精准；
  • 防止 loss of control（失去控制） 的安全措施必须不断增强。

• 同时提出：

  • 风险意识；
  • 法律与技术监测；
  • 预警；
  • 应急响应；
  • 防止滥用和恶意使用；
  • 保持人类对 AI 的控制。

• 主持人认为，这套表述和美国 AI Safety 的很多核心理念存在非常明显的重合。

4. 主持人拒绝一种简单的“阴谋论解释”

• 他承认存在一种 cynical interpretation：

“loss of control”其实只是指政府对社会的控制。

• 但他认为这种解释太简单。
• 中国政府当然关心社会控制，但他认为： 不能因此把所有 AI Safety 讨论都解释成内容审查。
• 因为中国学术界同时正在研究：

• deception；
• interpretability；
• robustness；
• self-replication；
• catastrophic risk；
• agent safety； 等明显超出内容审查范畴的问题。

---

第十部分 清华 AI Safety Hub：一个非常重要的“中国 AI Safety 正式化”信号（58.1%－73.0%）

1. 清华大学成立 AI Safety Hub

• 主持人抵达北京后，参加了清华大学 AI 学院一个新的 AI Safety Hub 的启动活动。

• 他特别惊讶：

  • 国际英文媒体几乎没有报道；
  • 但这是中国顶尖大学正式建立 AI Safety 机构的重要事件。

• 他认为这本身就是中美双方对彼此生态理解严重不对称的一个例子：
  中国研究者非常关注美国 AI Safety；美国媒体却未必同样关注中国正在发生什么。

2. 这个 Hub 的定位非常国际化

• Hub 的创始团队中有欧洲教授。
• 他们明确把国际 AI Safety Hub 当作学习对象。

• 特别点名：

  • Constellation；
  • LISA； 等海外机构。

• 他们希望北京这个 Hub 成为：

  • 国际研究人员交流地点；
  • 研究驻留中心；
  • 思想交流场所；
  • 中外 AI Safety 研究的连接点。

3. 中国研究人员公开引用大量西方 AI Safety 组织

启动活动中，中国研究人员展示研究成果时公开引用：

• Apollo Research；
• METR；
• Palisade；
• UK AI Safety Institute；
• Redwood Research 等。

主持人对此印象非常深刻，因为这说明中国 AI Safety 研究并不存在明显的“闭门造车”。

4. Hub不仅邀请外国人进来，也鼓励中国研究者出去

• Hub计划：

  • 邀请国际研究者到北京驻留；
  • 支持中国学生和研究人员前往国外 AI Safety Hub；
  • 进行研究交流；
  • 促进思想交叉传播。

• 主持人把这视为非常明显的国际合作信号。

5. 中国 AI Safety 论文数量在爆炸式增长

• 主持人引用 Concordia 的统计：

  • 2023年：中国 AI Safety 论文还只是“涓涓细流”；
  • 到2026年中期：已经达到大约 每月50～60篇。

• 也就是说，三年左右增长了超过一个数量级。

• 美国/英语世界的 AI Safety 论文数量仍然更高，大致可能达到每月50～几百篇。

• 但中国已经不是一个“几乎没有 AI Safety 研究”的生态，而是在快速逼近国际主要研究生态的规模。

6. 中国论文与美国研究方向高度重叠

主持人随后列出多个案例：

• Self-replication

  • 中国研究人员研究前沿模型是否已经跨越“自我复制红线”；
  • 与 Palisade 等美国研究高度类似。

• Evaluation Faking

  • 研究 AI 是否会在知道自己被测试时表现得更好；
  • 与美国关于 eval awareness 的研究高度类似。

• Deception Bench

  • 研究 AI 欺骗行为；
  • 与 Apollo Research 的研究方向高度相似。

• Vision-Language-Action 模型安全

  • 针对机器人/多模态模型攻击；
  • 研究对抗扰动和鲁棒性；
  • 这与中国特别重视机器人技术的产业路线结合起来。

• Mechanistic Interpretability

  • 研究模型内部安全机制；
  • 关注表面服从与内部 representation 是否真正一致；
  • 关注安全机制能否泛化到训练之外的场景。

7. 最让主持人惊讶的一项研究：把危险能力隔离到 MoE 专家

• 一个尚未正式发表、但在 WIC 周边活动展示的研究提出： 把危险能力隔离到 Mixture-of-Experts（MoE）的特定专家中。

• 这样理论上可以：

  • 训练一个完整模型；
  • 让它拥有非常强的能力；
  • 但在发布 open-weight 版本时，把危险专家删除或者关闭。

• 于是：

  • 普通用户仍然获得绝大多数能力；
  • 但特别危险的能力被隔离；
  • 高风险能力可以通过更严格的 KYC/访问控制提供。

8. 主持人的总体判断：从研究内容看，中国 AI Safety 已经“扎根”

• 从这些论文和研究方向看： 中国 AI Safety 并不是一个政府为了政治正确而搭出来的空壳。

• 它已经出现了：

  • 独立研究问题；
  • 专业论文；
  • 国际合作；
  • 大量研究人员；
  • 对美国研究成果的主动吸收；
  • 自己的研究创新。

• 因此主持人认为：
  中国确实已经形成了一个真正的 AI Safety research community。

---

第十一部分 中国政府的 AI 治理：比美国“做得更多”，而且真的会踩刹车（73.0%－87.4%）

1. 中国政府在 AI 治理上明显更加积极

• 主持人明确说： 如果“领先”定义成“做得更多”，那么中国政府在 AI Governance 上很可能领先美国政府。
• 当然，这并不意味着“做得更多=一定做得更好”。

• 美国可能认为：

  • 少监管；
  • 少干预；
  • 保持创新； 反而是一种更好的治理。

• 所以这里存在价值判断差异。

2. CAC 是最重要的 AI 监管机构之一

• 主持人认为，中国 AI 治理涉及多个政府机构。
• 但最经常被 AI 公司提到的是： 国家互联网信息办公室（CAC）。

• 它承担了大量：

  • 标准制定；
  • AI 服务审核；
  • 与企业沟通；
  • 模型/服务登记； 等工作。

3. 中国过去监管社交媒体的经验影响了 AI 治理

主持人举了大量案例说明中国政府长期以来就习惯监管大型科技平台，包括：

• 推荐算法；
• 外卖平台对骑手的管理；
• 防止平台给骑手设置不合理配送时间；
• 防止平台诱导骑手违反交通规则；
• 防止老年人遭受诈骗；
• 平台价格歧视；
• AI生成内容标识；
• AI陪伴产品的防沉迷和未成年人保护等。

4. AI陪伴监管尤其值得注意

• 中国 AI 陪伴产品已经拥有大量用户。

• 主持人认为，这与中国特殊的人口结构有一定关系：

  • 多代独生子女政策；
  • 四个祖父母可能只有一个孙辈；
  • 孤独问题比较突出；
  • 一部分老人和年轻人开始把 AI 当成陪伴对象。

• 中国政府因此出台：

  • 防沉迷；
  • 未成年人禁用；
  • 提醒用户“你正在和 AI 对话”等措施。

• 主持人认为，这体现出中国政府正在把 AI 当作一种社会基础设施来治理，而不是单纯的软件产品。

5. 中国政策文件甚至明确把“AI自我意识与人类失控”列为风险

• 主持人特别指出，中国政府发布政策时喜欢做详细的风险 taxonomy。
• 在相关 AI 风险分类中，出现了： “AI self-awareness and loss of human control” 这样的风险描述。
• 这意味着“AI失控”并不是只存在于美国 AI Safety 社区的讨论里，也已经进入中国政策体系的风险分类。

6. 2023年中国政府真的曾经踩过 AI 企业的刹车

这是节目非常关键的事实案例：

• ChatGPT 和 GPT-4 爆发后，中国很多企业迅速开发 LLM。

• 但在2023年，政府认为：

  • 标准还没建立；
  • 监管体系还没有准备好；
  • 内容安全问题没有解决。

• 因此有一段大约 6个月 的时期，一些企业的产品发布受到延迟。

• 主持人认为这非常重要，因为它直接证明：
  中国政府确实愿意为了 AI 安全/治理暂时牺牲企业的商业速度。

7. 中国 AI 产品进入市场的监管流程

主持人描述的大致流程是：

1. 企业开发 AI 服务；
2. 地方政府先进行审核；
3. 企业向地方政府提供产品/API；
4. 地方审核通过；
5. 再进入国家层面的 CAC 审核；
6. 获得批准后正式进入市场。

但对于后续每一个模型升级是否都重新进行同等强度审核，目前规则并不完全透明。

8. 监管者并不是单纯“阻碍企业”，而是希望企业成功

• 主持人从企业交流中获得的感觉是：

  • 企业与政府可能每周甚至每天沟通；
  • 监管部门不怕给企业增加成本；
  • 也不怕造成延迟；
  • 但监管部门并不希望企业失败。

• 换句话说，政府的目标更像：
  “确保 AI 安全，同时让本国 AI 企业成功。”

• 因此监管者的激励机制并不是单纯的“刹车”，而是：
  安全 + 产业发展同时负责。

9. 中国政府开始主动跟踪 Agent、网络攻击等新风险

• 中国政府会召开专题学习/研究会议讨论 AI 风险。

• 有政策草案考虑要求 AI 公司：

  • 监控；
  • 报告；
  • 大规模生成恶意代码等行为。

• 中国政府还会快速对新技术趋势做出反应。

• 主持人举了一个典型例子：
  OpenClaw/Agent 热潮出现后，中国监管部门很快发布了有关安全风险的警告。

10. 一个巨大的制度差异：中国政府认为“危险模型仍然可以被收回”

• 主持人认为，这是理解中国监管思路的关键。
• 中国政府的潜在思维是：

即使模型已经 open weights，我们仍然可以通过国内互联网、云服务、推理服务、电力系统等方式进行控制。

• 如果一个模型真的危险：

• 可以要求云厂商停止服务；
• 可以要求推理平台停止部署；
• 可以对传播进行限制；
• 可以通过电力/基础设施追踪大规模非法推理。
  • 中国政府因此可能不像美国那样认为： “一旦 open-weight 发布，就永远无法控制。”
  • 主持人认为这种想法在中国国内可能有一定现实基础，但最大问题是： 它不能简单推广到全球。
  • 一个中国发布的 open-weight 模型进入其他国家后，中国政府当然无法像控制国内云服务那样控制它。

---

第十二部分 AI 对就业的影响——中国政府甚至在考虑限制“AI替代人类就业”（87.4%－92%左右）

1. 中国开始建立 AI 劳动力市场监测

• 主持人提到，中国政府正在：

  • 监测 AI 对就业的影响；
  • 建立再培训；
  • 推动职业转换。

• 甚至有报告提到一种非常激进的政策思路：
  不能因为 AI 让某个人的工作变得不再需要，就直接把这个人解雇。

2. 主持人认为这种政策如果严格执行，经济代价会很大

• 如果企业不能通过 AI 获得真正的人力成本节约：

  • 企业采用 AI 的动力下降；
  • AI 公司收入下降；
  • 经济转型速度下降；
  • 整体生产率提升可能受到影响。

• 所以主持人猜测，这种政策可能很难长期严格执行。

• 但他同时承认，中国政府过去确实展示过非常强的行政能力，因此不能完全排除它长期坚持的可能性。

3. 这进一步说明中国 AI 治理的特点

主持人的总结是，中国政府已经在同时处理：

• 模型安全；
• 内容安全；
• Agent；
• 网络攻击；
• AI失控；
• 劳动力市场；
• AI陪伴；
• 平台治理；
• 开源模型；
• 社会影响。

因此，“中国不会管 AI”已经很难成立。

---

第十三部分 中国企业为什么没有兑现 AI Safety 风险框架承诺？——政府主导型治理的副作用（92%左右－96%左右）

1. 一个明显的问题：企业曾承诺发布风险框架，但没有完全兑现

• 一些中国 AI 公司在首尔 AI Safety Summit 等国际场合承诺：

  • 发布 frontier risk framework；
  • 定期更新模型风险评估；
  • 持续披露模型安全状态。

• 但后来这些承诺并没有完全落实。

• 主持人认为：
  这是一个真实的问题，不能替中国企业辩护说完全没问题。

2. 为什么可能出现这种情况？

主持人提出一个很有意思的解释：

中国 AI 安全的“责任分工”可能和美国不一样。

• 中国企业可能认为：

  • 政府负责制定安全标准；
  • 政府负责审核；
  • 政府负责建立模型登记制度；
  • 企业负责满足政府制定的标准。

• 因此企业未必认为自己需要像 Anthropic/OpenAI 那样：
  主动建立一整套独立的 frontier safety framework。

• 从企业角度看，政府已经承担了这项职能，企业自己再建立一个“国家标准之外的安全体系”，甚至可能被理解为越界。

3. 这与 Anthropic 自己的经历形成有趣对照

• 主持人拿 Anthropic 的 Responsible Scaling Policy 做类比。
• Anthropic 过去曾经做出比较严格的“如果发生X，就做Y”的承诺。
• 后来随着 AI 竞争加剧，这种严格承诺被大幅弱化。
• 最终变成某种意义上的： “trust us”模式。
• 主持人不是说两件事情完全一样，而是说： 美国企业也会因为现实竞争压力而无法完全兑现最初的安全承诺。
• 所以不能简单把中国企业的“没有兑现承诺”解释成中国特有的恶意或不诚信。

4. 中国 AI Safety 的未来可能是“政府定标准、企业追标准”

• 主持人认为目前正在形成一种分工：

  • 政府：制定安全标准、风险分类、监管框架；
  • 企业：达到这些标准。

• 随着 AI 能力不断增长，标准也会继续提高。

• 这其实就是前面“45度线”的治理版本：
  AI能力提高 → 安全标准同步提高 → 企业不断追赶。

5. 主持人预计中美产品安全差距可能缩小

• 主持人提到当时外界估计中美 AI 能力差距大约在几个月量级。

• 如果中国模型继续快速追赶，那么：

  • 中国企业迟早会遇到今天 OpenAI/Anthropic 正在面对的问题；
  • 到那个时候，中国监管标准也会进一步提高；
  • 因此实际部署的安全防护差距可能逐渐缩小。

• 但 open-weight 模型仍然是一个特殊问题，因为它们的全球外溢风险很难通过中国国内监管解决。

---

第十四部分 真正的“中国特色 Alignment”在哪里？——主持人反而没有找到（96%左右－98.7%左右）

1. 节目最后提出了一个非常有意思的问题

既然整期节目都在讨论：

AI Safety with Chinese Characteristics

那么自然会问：

有没有“Alignment with Chinese Characteristics”？

也就是：

中国有没有一种独特的、中国文化/哲学传统驱动的 AI Alignment 理论？

主持人的答案是：

目前几乎没有找到。

2. 他从孔子和“79代后裔”得到一个很有意思的灵感

• 主持人在北京孔庙附近使用中国 AI 学习孔子。
• AI 告诉他，孔子的后代延续到今天已经有大约 79代。
• 这让主持人想到：

如果我们能够把某种价值观通过79代递归自我改进的 AI 一直传下去，会是什么样？

• 人类文化能够跨越几十代保持某些价值观；
• 那么未来 AI 是否也可能拥有一种能够跨越多代 AI 的“价值传统”？

3. 能不能做一个“Confucian Constitution”？

• Anthropic 有 Claude Constitution。
• 主持人于是产生一个非常有趣的想法： 中国能否利用儒家思想构建一种 AI Constitution？

• 例如：

  • AI 不只是遵守规则；
  • AI 逐渐吸收一种价值传统；
  • 最终形成某种“智慧型人格/德性结构”。

4. 但现实中的中国 AI Safety 社区并没有这么做

• 主持人问过中国教授。
• 对方给出的回答非常有意思：

现在这一代中国人，可能反而是中国历史上最不熟悉传统哲学的一代。

• 原因是：

• 大家都是工程师；
• 教育重点是理工科；
• 很少系统学习儒家哲学；

• 中国政治和科技精英也非常工程师化。

  • 所以现实中的中国 AI Safety 更关注：

• 规则；

• 可控；

• 稳定；

• 一致性；

• 可靠执行。

  • 而不是： “让 AI 逐渐成长成一种具有中国传统智慧的存在。”

5. 主持人认为这里反而存在一个巨大的理论空白

• 他认为，如果未来世界拥有多个强大的 AI：

  • 不同 AI 可以拥有不同的文化传统；
  • 不同文明可以给 AI 提供不同的价值框架；
  • 各种 AI 形成某种生态平衡。

• 那么：
  不同文明的智慧传统可能反而是 AI Alignment 的重要资源。

• 目前他认为，中国特色的这种“文化—哲学—AI Alignment”几乎还是一块空白。

---

第十五部分 总结：真正需要纠正的不是“中国很安全”，而是“中国完全不在乎安全”（98.7%－100%）

1. 节目最终结论

主持人最后希望观众记住的不是：

“中国 AI Safety 已经很好。”

恰恰相反，他认为：

• 中国目前实际部署的模型安全措施仍落后于美国最领先公司；
• 中国企业在安全披露方面还有明显不足；
• open-weight 全球外溢风险仍然值得担忧；
• 中国的 AI Safety 体系仍然不成熟。

但他希望大家纠正的是另一种极端看法：

“中国根本不关心 AI Safety。”

因为从整个节目提供的证据看，这种说法已经明显站不住脚。

2. 主持人认为中国至少已经形成了完整的 AI Safety 生态雏形

这个生态包括：

• 政府治理

  • AI监管；
  • 风险 taxonomy；
  • 模型登记；
  • 服务审核；
  • Agent 风险监控。

• 企业

  • 安全评估；
  • 内容安全；
  • Agent 安全；
  • 产品治理。

• 大学

  • AI Safety 基础研究；
  • Interpretability；
  • Robustness；
  • Deception；
  • Self-replication；
  • Agent Safety。

• 国际交流

  • Track 2；
  • AI Safety Hub；
  • 国际学者交流；
  • 学习美国/英国研究成果。

• 最高层政治议程

  • AI风险；
  • 人类控制；
  • 预警；
  • 应急响应；
  • 防止恶意使用。

3. 中美真正的差异不是“关不关心”，而是“从什么制度渠道解决问题”

这是整期节目我认为最值得提炼的一层：

维度	美国	中国
AI Safety研究主体	NGO + 企业 + 大学	大学 + 企业
早期推动力量	民间长期主义社区	学术界 + 政府议程
安全治理模式	企业自建框架 + 政府监管	政府制定标准 + 企业执行
对模型的理解	强调模型本身的 worst-case	更强调模型嵌入服务后的风险
Open Weight态度	更担心不可逆扩散	更相信国内仍能控制
研究文化	更 speculative、长期主义色彩浓	更工程化、可靠性导向
Agent风险	越来越重要	已经成为非常突出的讨论主题
文化型 Alignment	已出现 Constitution/values 等探索	主持人没有找到成熟对应物
当前产品安全	美国领先	中国仍在追赶
政府介入程度	相对有限	明显更强

---

整期节目的核心逻辑，可以浓缩成这一条链条

中国不是“不关心 AI Safety” → 但目前产品安全确实落后 → 中国 AI Safety 的思想比较工程化、务实化 → “45度线”成为重要理念 → 中国大学成为主要研究力量 → 中国研究正在快速增长 → 研究主题已经与美国高度重合 → 中国政府也在从最高层讨论 AI 失控 → 监管部门愿意实际踩刹车 → 但中国政府主导模式也造成企业自身安全框架不足 → open-weight 的全球外溢风险仍是薄弱点 → 真正具有“中国文化特色”的 Alignment 反而还没有形成。

换句话说，这期节目真正想推翻的并不是“美国 AI Safety 比中国强”——主持人其实明确承认这一点；他真正想推翻的是更粗糙的二元叙事：

“美国 = 关心 AI 安全；中国 = 只想拼命发展 AI。”

他的观察是：现实已经远比这个叙事复杂。中国 AI Safety 已经成为一个真实存在、快速成长、与美国研究高度交叉、并且得到政府强力介入的生态，只是它的制度来源、研究文化和治理方式与美国非常不同。

注：你上传的是英文自动字幕稿，所以我上面按原稿的实际论述进行了中文结构化整理；其中人名、机构名以及部分专有名词由于自动字幕存在明显识别错误，我没有把所有错误逐字纠正成外部资料版本，而是尽量按照节目原意和上下文处理。这一点尤其适用于稿中出现的 OpenAI、Anthropic、OpenClaw、Concordia、METR、Palisade、清华等专有名词。