LOCAL MODEL LAB / 学习入口

从第一次训练到真实 API 回包

每一行是一项紧凑能力的候选下一课。已有第一课，以及用户要求的四节 ComfyUI 操作课；实际进入哪一课会根据练习与学习记录调整。全程服务同一份 mission。

阶段 学会做的一件事 知识最小集 需要带回的证据
1 · 已有第一课 区分示范与奖励 SFT、采样、reward、RLVR 三道辨认题、一个评分反例与自己的解释
2 · 数据 写出可靠的 oracle JSONL、整数金额、阈值、train/valid/test oracle 边界检查、数据摘要与无交叉检查
3 · 原始基线 测量模型在本任务的表现 tokenizer、chat template、推理、固定解码 原始输出、格式/金额/联合正确率、峰值内存
4 · 梯度与 SFT 完成一次 LoRA 更新 token 预测、交叉熵、梯度、冻结参数、rank 小步更新日志、可训练参数、adapter、权重重载结果
5 · SFT 对照 判断“loss 下降”够不够 验证集、过拟合、checkpoint、失败桶 验证集对照与错误实例；测试集不用于选参数
6 · 奖励 让评分器拒绝取巧输出 schema、准确性、reward hacking 错金额、布尔值、重复键、代码围栏等反例检查
7 · GRPO 看懂一组生成怎样产生更新 policy、rollout、advantage、KL、on-policy 同题 4 个真实采样、各自奖励、非零优势、梯度与新权重
8 · 三阶段评估 比较同一套冻结题 评估隔离、重复运行、失败分析、资源 原始/SFT/GRPO 的固定测试集表格；不编造收益
9 · 服务 用训后权重完成一个 HTTP 调用 adapter/fuse、服务生命周期、模型版本 启动路径、权重 hash、监听地址、健康与聊天回包

场景为什么适合第一轮

输入有限、输出很短，合成数据无需调用大模型。标准答案由确定性规则生成，能把模型输出映射成可验证奖励，形成 RLVR（可验证奖励的强化学习）实验。真实计价服务通常应使用确定性规则引擎；这个场景是教学载体，不需要用模型替代现有计算系统。

RL 的任务不依赖环境移动或多轮游戏：prompt 是条件，模型是 policy，生成的 token 是动作，完整输出获得一个终止奖励。GRPO 原始论文 与 官方 trainer 解释 用于后续深入。

用 ComfyUI 操作同一条路线

这条路线增加画布、任务状态与产物交接，不省略上表的数据、更新与评估能力。可以先读架构，然后按前置条件逐阶段实作。

  1. 0002 · 图完成与训练完成：分清 prompt_id、job_id、service_id。
  2. 0003 · SFT 产物交接（后续实作）：原始模型/数据 → 提交 → 更新与融合重载 → 验证评估。
  3. 0004 · GRPO 核验（后续实作）：已验证 SFT → 真实采样/严格奖励/优势 → 更新与重载。
  4. 0005 · 训后服务回读（后续实作）：最终模型 → ready 实例 → 独立查询图 → 原始回包与评分。

桥接节点与 worker 尚未实现/安装。先按 ComfyUI 设计手册 实现、验证小步闭环并导出真正工作流，再执行画布实作；附带 blueprint 只是设计规格。当前课程不代表已经训练或学会。

训练与效果分开验收

验证集用于诊断和选择 checkpoint。固定测试集在方案冻结后做三阶段比较；一旦看过它的错误并据此改训练，原测试集就只剩回归用途，最终结论需要新的未见测试集。

资源起点与停止条件

先用 0.49B 非量化权重、LoRA rank 8、最后 8 层、batch 1、512 token 输入上限、64 token 输出上限。先跑少量更新，再决定正式步数；这里的数字是教学起点。

RL 每个 prompt 采样 4 次，温度起点 0.8。若组内全对或全错，标准化后的相对优势没有有效区分信号；先检查采样、格式、题目难度与奖励。不要只加训练步数。内存压力明显升高或出现非有限梯度时先停，保留失败日志再调整。

首次正式实验可从 SFT 300 步、GRPO 100 步探索，不承诺耗时或收益。保留至少一个“继续 SFT 相同计算预算”的对照，才能更谨慎地讨论 RL 相对于额外训练的作用。

后续迁移

完成闭环后再比较 Qwen3-0.6B、QLoRA 与 DPO。DPO 用离线偏好对，本轮 GRPO 需要在线采样与奖励；两者不能互相冒充。电商营销文案、片段筛选或混剪任务的奖励更难定义，迁移需单独设计任务契约、人评或真实业务评估。

第一课 · 命令行手册 · ComfyUI 手册 · 学习入口