问题 + 示范答案 → 预测答案 token → 计算损失 → 更新。
REFERENCE 0001 / 标准术语
训练术语与闭环
先分清：怎样学、改哪些参数、怎样证明有效。
两条独立的轴
| 轴 | 本轮选择 | 它回答什么 |
|---|---|---|
| 训练目标 | SFT → GRPO | 用示范答案学习，还是用在线采样的奖励学习？ |
| 参数更新方式 | 两阶段都用 LoRA | 更新全部原权重，还是低秩增量？ |
LoRA 与 SFT/GRPO 可以组合；LoRA 本身不是强化学习算法。见 LoRA 原论文。
问题 → 同题多次采样 → 评分 → 相对优势 → 更新。
加载训练产物 → 接收请求 → 生成答案 → 留下版本与回包。
后续课程复用这些名称
- token / tokenizer
- 模型处理的离散符号 / 把文本与符号序列互相转换的工具。
- chat template
- 把 system、user、assistant 等消息渲染成模型训练时约定的文本格式。
- SFT · 监督微调
- 用示范输出的 token 作为监督目标。本轮 mask prompt，只计算答案部分的损失。
- loss · 损失
- 优化器使用的训练目标数值；下降不自动意味着独立题的金额更准确。
- gradient · 梯度
- 损失对可训练参数的变化方向信息；优化器据此执行参数更新。
- LoRA / adapter
- 冻结原权重并训练低秩增量 / 保存这些增量与配置的产物。
- QLoRA
- 在量化的冻结基础权重上训练低秩增量；量化节省权重内存，不代表训练没有其他开销。
- policy · 策略
- 本任务就是当前语言模型：按 prompt 与已有 token 决定后续 token 的分布。
- rollout · 采样
- 当前策略真正生成的一段输出；不是事先提供的示范答案。
- reward · 奖励
- 评分器对采样结果给出的分数；它不能直接替代参数更新。
- advantage · 优势
- 一个输出相对于基准有多好。本轮基准来自同题一组输出的奖励。
- GRPO
- 用同题多次采样的相对奖励构造优势，优化策略；原方法不需要单独的 critic 模型。
- KL
- 分布差异度量；本轮用于约束策略偏离固定 SFT 参考模型的程度。
- RLVR
- 可验证奖励的强化学习。本轮由程序核验金额，无需训练一个神经奖励模型。
- RLHF / DPO
- 人类反馈驱动的强化学习 / 利用偏好对的直接优化。DPO 不等于本轮在线 GRPO 闭环。
- checkpoint / fuse
- 某步保存的训练状态或权重 / 将 adapter 增量合入模型权重。