https://www.youtube.com/watch?v=tZQIE-oY2s0
后训练定乾坤:Maxime Labonne谈AI模型塑造的新纪元
这是一篇关于AI模型“后训练”(Post-Training)的深度访谈,我将按照您的要求,先进行通俗易懂的整体解释,再提供详细的分段解读。
通俗易懂的整体解释
想象一下,你有一个非常聪明但完全没受过任何专业训练的大学毕业生(这就是预训练模型)。他知道海量的知识,但你问他问题,他只会把问题重复一遍或者接下半句话,无法直接给你有用的答案。
后训练,就像是把这个毕业生送去参加一系列高强度的“职业培训班”。
- 基础礼仪班 (SFT - 监督微调):教他如何像一个正常人一样回答问题,而不是复读机。这是最基础的培训。
- 专长强化班 (RL - 强化学习):针对特定技能(比如数学、编程)进行魔鬼训练。老师(奖励模型)只在他答对时说“好”,答错时说“坏”。这种方法信号稀疏但目标明确,能让他在单一领域变得极其可靠。
- 名师辅导班 (MOPD - 多领域在线策略蒸馏):请来各个领域的顶尖专家(数学老师、编程老师)轮流给他上课。学生每写一句话,老师都会立刻指出“这里写得对,那里写得不对”,信号非常密集。这样能把多位专家的知识高效地融合到一个学生身上。
核心观点:
- 现在的大模型竞赛,后训练才是决胜关键。同样的预训练模型,通过不同的后训练方法,可以变成性能天差地别的产品。
- 后训练技术更新极快,从早期的SFT,到后来的RLHF、DPO,再到现在的RLVR(带可验证奖励的强化学习)和MOPD,周期越来越短,几个月就可能出现新范式。
- 当前的重点是让模型能处理复杂的“智能体”任务,比如自主编程、操作软件,这需要模型具备长程规划和工具使用能力。
- 关键要点:
- 后训练 > 预训练:模型的知识在预训练阶段已经注入,后训练的任务是如何最高效地“解锁”和“引导”这些知识去完成特定任务。
- 技术演进史:SFT → RLHF/PPO → DPO → RLVR (如DeepSeek R1) → MOPD (如DeepSeek V3)。趋势是信号越来越密集,效率越来越高。
-
两大主流流水线:
- 纯RL流水线:SFT -> 混合多环境RL。让模型在成千上万个任务环境中自己摸索,提升泛化能力和单次回答的可靠性。
- RL + MOPD流水线:SFT -> 训练多个领域专家 -> MOPD合并知识 -> 最终RL。成本更高,但效果通常更好,能融合不同专家的长处。
- MOPD的优势:通过在线策略蒸馏,为每个生成的token提供反馈(密集信号),比传统RL只在最后给一个反馈(稀疏信号)高效得多。
- 智能体训练:最好的方式是在真实的“智能体框架”(如Open CLAW)内进行训练,让模型直接学习使用工具和执行复杂流程。
- 模型写作质量下降:由于业界过度追求编码和智能体任务的基准分数,忽略了写作风格和人类偏好,导致现在的模型充满了“AI味”。
- AI安全是伪命题? 嘉宾批评OpenAI和Anthropic等公司,认为它们将安全漏洞当作营销手段来获取关注和融资,而非真正投入资源解决安全问题。
- 开源的价值:开源模型(特别是来自中国的优秀模型)是打破闭源巨头垄断的重要力量,应该被鼓励和保护。
- 小模型的潜力:小模型在很多任务上可以替代大模型,具有本地部署、隐私保护、低成本等优势,前景广阔。
视频采访内容详细分段
第一部分:引言与背景介绍 (0% - 2%)
- 主持人开场:欢迎嘉宾Maxime Labonne,他是Liquid AI的后训练负责人。
- 嘉宾背景:Maxime是开源AI领域的资深人物,早在2022年甚至2020年之前就开始从事语言模型工作,并拥有广受欢迎的GitHub课程“Great LLM Course”。
- 切入正题:主持人直接提出核心问题——在当前“预训练-中期训练-后训练”的范式中,后训练的重要性到底有多大?
第二部分:后训练的重要性与技术演进 (2% - 12%)
- 后训练地位日益提升:Maxime认为后训练的重要性与日俱增。现在可以通过改变后训练流程,从同一个基础模型衍生出性能迥异的不同版本(例如Gemma系列),这充分说明了后训练的决定性作用。
- 核心任务:解锁知识:预训练模型已经蕴含了海量知识,后训练的目标就是找到最佳方式来“解锁”和“提取”这些知识。
- 驱动因素:应用场景:后训练必须紧跟最新的应用场景,如智能体和编程。这需要不断创造新的SFT数据和RL环境,形成一个持续的循环,甚至要尝试预测未来的趋势。
- 后训练的“霸权时代”:主持人提到过去存在一种争论,即持续做新的预训练检查点(Google早期做法)与深耕后训练(OpenAI/Anthropic做法)哪个更重要。现在答案已经明朗,我们进入了后训练霸权时代。
- 后训练技术演进史:
- SFT时代:始于InstructGPT,开创了聊天机器人范式,教会模型回答问题而非续写。
- RLHF/PPO时代:引入人类反馈对齐,但成本极高且难以实现。
- DPO时代:简化了对齐过程,使模型更像人类,催生了更好的聊天机器人。
- RLVR时代:以DeepSeek R1为代表,推广了“带可验证奖励的强化学习”,模型在数学、代码等任务上会输出更长的推理链。
- MOPD时代:以DeepSeek V3为代表,即“多领域在线策略蒸馏”。通过训练多个领域的专家教师模型,再将它们的知识蒸馏到一个学生模型中。
- 演进特点:每个时代的持续时间越来越短(从2年到不到1年),反映了该领域技术的飞速迭代。
第三部分:现代后训练流水线详解 (12% - 25%)
- 两大主流流水线:
-
RL/RLVR流水线:
- 起点:SFT至关重要,不能跳过。它能预热模型,让其适应期望的输出格式(如思考链)。
- 核心:在混合RL阶段,模型同时在成百上千个不同的RL环境中训练。这种多样性带来了强大的泛化能力。
-
MOPD流水线:
- 方法:不直接训练最终模型,而是先为每个领域(如代码、数学)训练专门的“教师”模型。
- 核心:通过“多领域在线策略蒸馏”阶段,将所有教师的专业知识合并回一个“学生”模型中。
- 优势:通常能恢复甚至超越所有教师在各自领域的性能,因为不同领域的知识可以互相促进(例如,代码能力可以帮助解决数学问题)。
-
RL/RLVR流水线:
- 两种流水线的结合:可以先通过MOPD提升模型的Pass@K指标(多次生成中找到正确答案的概率),然后再通过RL将其转化为优秀的Pass@1指标(单次生成的可靠性)。
- 在线策略蒸馏的优势:
- RL的问题:信号稀疏。模型生成长篇答案后,只在最后得到一个二元奖励(对或错),效率低下。
- 在线策略蒸馏:学生模型每生成一个token,教师模型就会提供一个反馈信号,形成“超级密集的奖励”。这能更有效地指导学生模型朝着教师期望的方向生成。
- 训练顺序至关重要:
- 理想顺序:SFT -> MOPD -> RL。SFT格式化行为,MOPD扩展能力边界,RL锐化信号的可靠性。
- 灵活性:流水线非常灵活,任何模型(包括经过RL的模型)都可以作为MOPD中的教师。
- MOPD的缺点:成本高昂。需要训练N个专家模型,每个专家都可能需要SFT和RL两个阶段。
第四部分:智能体(Agent)训练与开源工具 (25% - 35%)
- 训练长程任务的最佳实践:
- 核心方法:直接在“智能体框架”内训练模型,例如Open CLAW、MS Agent Pi等。这能让模型看到真实使用的工具和系统提示。
- 挑战:智能体任务多样且长程,需要良好的覆盖率。大部分工作是基础设施层面的,如优化推理效率、处理环境崩溃等。
- 开源RL工具栈评估:
- TRL (Hugging Face):功能丰富,近期有很大改进。
- VeRL:在学术界仍很流行。
- Slime:目前非常受欢迎。
- Miles:正在获得关注。
- 结论:这些开源工具栈质量很高,完全可以用于严肃的项目。
第五部分:模型架构的未来与小模型的价值 (35% - 45%)
- 架构趋同:几乎所有前沿模型都趋向于“混合架构”或某种形式的廉价注意力机制,以便更好地处理超长上下文,这对智能体时代至关重要。
- 递归深度模型潜力巨大:
- 优势:相比通过设置“推理努力度”参数来分配计算资源,让模型的部分层进行循环是一种更优雅、理论上表达能力更强的方法。
- 对小模型特别友好:能在不显著增加参数量的情况下,大幅提升小模型的能力。
- 小模型 vs. 大模型:
- 不可完全替代:大模型在知识容量上有天然优势,小模型无法通过技巧完全弥补。
- 小模型的价值:可以胜任许多当前由大模型执行的、效率低下的任务。其本地化、私有化、离线免费推理等特性极具吸引力,前景广阔。
第六部分:AI写作质量、数据污染与安全问题 (45% - 60%)
- AI写作质量严重下滑:
- 现状:模型听起来比以前更糟糕,充满了“AI味”(重复短语、模板化)。
- 原因:整个领域转向了智能体和编码任务,优化目标是“能否完成任务”,而非“写作是否优美”。这是激励错位的结果。
- 解决方案:需要像EQBench这样的基准测试来重新引导行业方向,为“写出好文章”提供正向激励。
- AI数据污染不是主要问题:
- 原因:后训练几乎完全使用合成数据,这个问题早已存在。而且,即使数据质量差,也可以通过后续的RL阶段来修正。
- 对AI安全的尖锐批评:
- 核心观点:OpenAI和Anthropi等公司将自身的安全漏洞(如模型越狱)当成营销噱头来宣传AI的强大,以此筹集更多资金。
- 批评:他们并非真的关心安全,只是假装关心。他们有足够的资金来解决安全问题,却选择不作为,反而从失败中获利。这是一种极其有害的行为。
第七部分:开源生态、监管与行业竞争 (60% - 80%)
- 开源的重要性:
- 信任问题:闭源公司(如OpenAI、Anthropic)不值得信任,开源是应对这一问题的答案。
- 价值:激励研究、推动全球知识共享,是打破闭源垄断的“全球公共品”。
- 对中国开源模型的看法:肯定了中国公司在开源领域的卓越贡献,认为这是有益的全球合作,而非国家间的对抗。
- 最佳后训练流水线归属:Maxime个人认为Anthropic的Claude系列仍然是最好的,尽管GPT-4o在某些方面(如UI设计)也很出色。
- 递归自我改进(RSI):
- 现状:目前大多数标榜为RSI的工作实际上只是持续学习或某种取巧的方法,真正的RSI尚未在有意义规模上实现。
- 未来:这是一个有价值的研究方向,但目前相关研究多在大型闭源实验室内部进行。
- AI是否是赢家通吃的行业?
- 宏观层面:是的,尤其是在AGI竞赛中。
- 细分领域:不一定。专注于法律、医疗等垂直领域的初创公司仍有很大机会。
- 大公司为何不进军小模型市场?:可能是因为他们的战略重心完全在AGI上,不愿分散精力。专注是AI领域成功的关键。
第八部分:世界模型、地域差异与未来展望 (80% - 95%)
- 对世界模型的看法:作为研究很有价值,但目前还不够通用,很难取代LLM。未来可能是世界模型和LLM在不同应用中各司其职。
- LLM成功的直觉:关键在于它们能创造实际价值。预训练积累了广泛知识,后训练则能将知识精准地应用于各种任务,其通用性是其最大优势。
- 当前被高估的东西:RL环境。他认为这些环境过于昂贵且质量不高,很快会被更便宜、质量更好的合成环境所取代。
- 未来2-5年后训练的趋势:
- 驱动场景:模型将致力于替代人类完成复杂的长程工作,需要处理海量文档和上下文。
- 架构变化:模型架构会更稀疏,长上下文处理能力更强。
- 框架(Harness)的角色:会越来越重要,并且更加专业化,负责处理目前由模型承担的许多外围功能。
- 技术趋势:继续追求更密集的教师信号和更高效的算法,以解决超长程任务的信用分配问题。
- 个人智能体的看法:构建难度极大,大众接受度有限。但“一键优化”这类集成服务(背后是什么技术不重要)具有巨大价值。
- 美欧AI发展差异:
- 美国优势:更具野心、资金更充足、层级更扁平、官僚主义更少、迭代速度更快。
- 欧洲挑战:传统的企业文化和严格的层级制度是障碍。Mistral的成功在于学习了美国的模式。
- Mistral的现状:虽然不再是前沿研究的领导者,但他们成功地转向了商业化应用,利用欧盟的监管优势作为护城河,商业上是成功的。
- 未来格局:欧洲可能会再次出现挑战者,但追赶需要时间和大量迭代。赢家通吃的逻辑使得后来者很难在经济上取得成功。
- 主权AI的必要性:主持人提出,出于国家安全考虑,各国政府有必要扶持本国的AI企业(即使技术落后几年),以避免被他国卡脖子。Maxime表示赞同,并认为Mistral就处于这样一个有利位置。
第九部分:结尾与招聘信息 (95% - 100%)
- Liquid AI的业务:除了模型研发,还与企业客户(如梅赛德斯、Shopify)合作,将AI集成到实际工作流中。
- 招聘信息:Liquid AI正在大量招聘,职位信息可在官网
jobs.liquid.ai查询。 - 有趣的花絮:主持人开玩笑问是否需要“泄露代码”,Maxime回应说Liquid AI已经禁止了这种做法。
- 结束语:主持人对Maxime表示感谢,访谈在音乐声中结束。
Top comments (0)