DEV Community

Cover image for 蒸馏 Lora RHLF 都是什么意思
DRVEXO_LLM
DRVEXO_LLM

Posted on

蒸馏 Lora RHLF 都是什么意思

小模型一定要把大模型的参数复制一遍,才能跟它学习吗?如果显存有限,又该更新哪部分参数?同一道“2+3等于几”的题,可以把这些名字拆成三个问题。

蒸馏:跟谁、用什么信号学

让教师模型先给出回答,检查、筛选后用这些数据训练学生,是一种回答级蒸馏。经典蒸馏也可以让学生学习教师对不同输出给出的概率分布。迁移的是学习信号,不是把教师全部权重复制过去。教师会出错,学生也不保证达到教师水平,仍需用新题独立评估。

LoRA:哪些参数参与更新

把原权重W冻结,训练较小的A、B矩阵,形成低秩增量ΔW=BA。输出由原路径和增量路径相加得到。示意中4×1的B和1×4的A共有8个数,形成4×4的改动,但这些位置受低秩结构约束,不能独立随意调整。LoRA可减少可训练参数、梯度和优化器状态开销,不代表免去全部显存需求。它可配合不同训练目标。

RLHF与PPO、GRPO:框架与优化方法

RLHF通常指利用人类反馈进行强化学习,例如用人类比较数据训练奖励模型,再用奖励指导策略模型优化。常见缩写是LoRA、RLHF。奖励也可来自答案校验或程序规则;此时不能仅凭使用PPO或GRPO就称为人类反馈训练。

PPO通常学习价值函数来估计基准,结合奖励得到优势信号,并使用截断目标等方式抑制过大的有利变化。正优势示意中旧概率0.40、新概率0.52,比值1.30;若阈值1.20,该样本目标不再因比值继续增大而提高。截断的是优化目标,不是把所有概率或整体更新硬锁在±20%内。

经典GRPO针对同一问题采样一组回答,用组内奖励估计优势,不额外训练价值模型。例如奖励[0,1,1,0],均值0.5,取总体标准差0.5并忽略极小稳定项,得到[-1,+1,+1,-1]。之后仍要通过目标更新模型,只生成答案、评分不等于训练完成。经典版本仍含截断与参考策略约束;组内同分意味着缺少区分高下的相对奖励信号。

三个维度,可以组合

蒸馏讲训练信号,LoRA讲可训练参数,PPO/GRPO讲策略优化。它们不是四个连续训练阶段。配套动画约2分59秒,中文字幕、无旁白。数值、概率、权重和回答全部是教学示意,没有运行真实训练或报告能力实测。

一手资料

配套视频:观看2分59秒动画

Top comments (0)