Mission: 在本机完成一个小模型的微调、强化学习与服务闭环

Why

通过“电商优惠后的到手价助手”，亲手把开放权重模型训练成可调用的本地服务。用同一组未参与训练的题目比较原始模型、监督微调模型与强化学习模型，能解释数据、奖励、参数更新与接口回包之间的关系。

Success looks like

• 生成可复现的数据，正确区分示范答案、奖励与独立测试集。
• 完成一次 LoRA 监督微调和一次从 SFT 权重出发的 GRPO，保存配置、日志与权重。
• 报告三个阶段的格式通过率、金额正确率、失败样本和资源消耗；效果未提升时如实解释。
• 用训好的模型启动本地 HTTP 服务，并保存一次真实请求、响应和模型版本证据。

Constraints

• Apple M2 Pro、32 GB 统一内存；小模型、短输出、小 batch，资源预算以实测为准。
• 能读 Python，尚未亲手训练模型；中文、场景驱动、短课与即时反馈。
• 首轮采用合成规则和数据，服务监听 127.0.0.1。

Out of scope

• 首轮不做预训练、大规模全参数训练、人类标注奖励模型或集群服务。
• 示例不模拟真实平台全部优惠，也不作为真实交易的计价系统。