SFT、RLHF、DPO、RL 的区别与选择

RAG解决外部知识进入上下文的问题微调解决模型行为模式被参数吸收的问题。SFT全称是 Supervised Fine-Tuning监督微调。一句话解释SFT 就是给模型看“输入应该怎么对应输出”的高质量示范让模型模仿这种回答方式。RLHF全称 Reinforcement Learning from Human Feedback基于人类反馈的强化学习。一句话解释RLHF 不是给模型一个标准答案而是告诉模型多个候选答案里人类更喜欢哪一个。DPO全称 Direct Preference Optimization直接偏好优化。一句话解释DPO 直接用“好回答 vs 差回答”的偏好对训练模型让模型更倾向于好回答不再单独训练 Reward Model也不走复杂 PPO 流程。RLHF 先把人类偏好学成 Reward Model再通过 PPO 优化模型DPO 直接从偏好对更新模型。两者都依赖偏好数据区别在于中间有没有单独的奖励模型和强化学习阶段。RL是让模型在环境里做动作环境给奖励模型学会让长期奖励更高。它不一定要人类偏好。只要 reward 能定义就可以有 RL。总结SFT 本质是监督微调适合让模型学习高质量示范。它更适合固定输出格式、固定任务流程、工具调用范式、行业话术和小模型蒸馏不适合把频繁变化的业务知识硬塞进模型。动态知识优先用 RAG 或工具查询。RLHF 解决的是偏好对齐问题。它不是给模型唯一标准答案而是通过人类偏好让模型知道多个候选答案里哪个更符合人类或业务偏好。传统流程通常会训练 Reward Model再用 PPO 这类强化学习算法优化模型。DPO 也是偏好优化但工程路径更轻。它直接用 chosen/rejected 这种偏好对训练模型省掉单独训练 Reward Model 和 PPO 的复杂流程。所以如果团队已经有高质量偏好数据优先考虑 DPO而不是一上来做完整 RLHF。更广义的 RL 只有在 reward 清楚时才值得做比如代码单测、数学答案、Agent 工具调用成功率、任务完成率这类可验证目标。reward 模糊时强行上 RL很容易训歪。基模越来越强后低质量垂类微调确实容易被抹平但控行为、控偏好、控成本、控风险仍然有价值。最后是否值得做要看评测集、线上指标、成本收益和风险指标而不是靠主观感觉。”GPT核心四步骤1.预训练阶段模型初始学习人类语言和知识使用纯文字段落数据通过预测下一个字学习计算段落联合概率评估学习效果2.有监督微调(SFT)训练模型执行具体任务使用人工撰写的一问一答数据学习对话、分类等任务能力数据量级远小于预训练3.奖励模型训练创建评估回答质量的教练模型基于人类标注的偏好数据学习给不同回答打分用于指导强化学习4.强化学习(PPO)优化模型回答质量模型生成多种回答方案奖励模型提供反馈评分通过迭代提高回答质量Post-Training 是个上位概念指的是 SFT 之后所有继续提升模型质量的训练阶段。它不是一个单一方法而是一族方法的总称。SFT 让模型学会「按指令格式回答」但 SFT 后的模型还有两个问题没解决。第一回答可能有害、不符合人类价值观第二同一个问题的多种合格回答里模型不知道哪个更受人类欢迎。这就是 Post-Training 要补的课。主流的 Post-Training 方法有五大类。RLHFReinforcement Learning from Human Feedback 是最经典的方案。流程是先用人类对回答的排名训练一个奖励模型再用 PPO 算法让大模型生成的回答尽量得高分。同时维护一个参考模型用 KL 散度约束防止主模型「钻空子」。优点是效果上限高缺点是流程复杂、要同时维护 4 个模型、训练不稳定。DPODirect Preference Optimization 是 RLHF 的简化版。核心洞见是 RLHF 的优化目标可以推导成一个等价的监督学习损失绕过显式奖励模型直接拿提示好回答差回答三元组训练。优点是只需 2 个模型、训练稳定、实现简单。缺点是效果上限依赖偏好数据质量探索能力不如精心调过的 RL。很多开源 Instruct 模型会用 DPO 或 DPO 的变体做偏好对齐但不能把 Llama 2-Chat 也说成 DPO 路线它公开论文里的关键对齐方法是拒绝采样和 PPO/RLHF。GRPOGroup Relative Policy Optimization 是 DeepSeek 在 2024 年提出的 PPO 改进版。核心思路是砍掉 PPO 的 Value Model改用「同一问题采样 G 个回答、用组内相对排名作为基线」估计优势函数。这样省掉 Value Model 的训练成本显存减半。DeepSeek R1、DeepSeek-Math、Qwen 系列推理模型都用 GRPO是 2026 年最热的对齐方案。拒绝采样Rejection Sampling Fine-tuning 是个简单粗暴的方法。让模型对每个 Prompt 生成多个回答用奖励模型筛出高分的然后再做一轮 SFT。流程上没有 RL就是「生成 - 筛选 - 再 SFT」循环。Llama 2 的对齐流程里就用了这个。RLAIFReinforcement Learning from AI Feedback 是用强 AI 模型代替人类标注偏好。Anthropic 的 Constitutional AI、Google 的相关工作里都有 RLAIF 的影子。优点是可以批量生成偏好数据、标注成本低缺点是依赖一个更强的「教师 AI」。最关键的认知是这五类方法不是互相替代真实的对齐流程通常是组合使用的。比如 Llama 2-Chat 公开流程里用了 SFT、拒绝采样和 PPO/RLHFDeepSeek R1 用了「SFT 冷启动 GRPO 多轮迭代 拒绝采样筛数据」这一类组合路线。