我给 AI 补了课，它考了 96%，然后呢？

有一轮训练，我让一个小模型判断：用户这句话是在询问、确认、拒绝，还是选择？它在这项分类任务上的成绩，从约 64% 提高到了 96%。

如果只看到这里，很容易觉得：这次终于教会了。

但在另一套固定的公开题上，训练前答对 177 道，训练后还是 177 道。这套题有日期计算、多条规则等不同任务，共 231 道，用来帮助我们发现短板，并不是“AI 总能力考试”。

我想知道，这类对话训练能不能也帮助模型处理别的判断。毕竟，它们看起来都需要“读懂文字，再选对答案”。后来我才意识到，这个说法可能太笼统了。

一次实测，两种评估。96% 是对话分类的成绩，不是训练用练习题的成绩。两套评估题都没有用于这次补课；公开题此前已被我们看过，用于跟踪表现，不是全新盲测。具体计分方法见文末。

我想教 AI 选对下一步

我用一张家用级 RTX 3090 显卡，训练一个做选择的小模型。

比如用户说：“地址填错了，包裹还没发，请帮我修改。”程序需要知道，接下来该走“修改地址”“查询物流”，还是“取消订单”。

它不用写一大段回答，更像程序里的一个分流开关：看懂这句话，然后选对下一步。 选项虽然短，选错了，后面的程序就可能做错事。

我没有从零教它识字，而是在一个已经会处理文字的模型上继续训练：给例子和正确答案，让它调整判断方式，再拿另外的题检查。

简化示意。实际训练使用 Qwen 基础模型，只调整其中一部分参数。

上一篇记录了最初能工作的版本 B2，也就是一次保存好的模型。后续补课中，最让我重新思考的，是下面这个区别。

听出“你在提要求”，还不等于知道“该办什么”

看一个虚构的例子：

之前：“请取消我的预订。”
现在：“还是保留吧，只改一下到达时间。”

认出“用户正在提要求”，并没有回答“现在应该做什么”。程序要改的是时间，不能继续执行之前的取消请求。

虚构示例，用于说明任务差别，不是实际测试题或模型输出。

开头的 96%，测的是询问、确认、拒绝等对话行为分类。而选对当前动作，还可能需要读懂前面发生了什么、用户有没有改主意。

两个任务都被叫作“理解意图”，并不意味着它们在教同一件事。

这给了我们一个可以检查的假设，还不能证明它导致了公开题没有涨分。模型、训练材料和训练方式，都可能影响结果。

这个区别，是回头检查任务定义时才注意到的。在此之前，我们先试了几个更直观的办法。

多练、换大模型、配计算器：都试过了

日期题做不好，那就多练日期题。为了检查模型能不能学进去，我们反复训练了一小组题。最后，练过的 64 道题，全部答对。

但另外 192 道题上，原模型答对 81 道，补课后只答对 79 道。它给正确答案分配概率的表现也明显变差了。

这很像学生把练习册背熟了，换一批题却没有进步。机器学习里常把这种现象叫作“过拟合”。它让我开始追问：离开这些例子，学到的东西还管不管用？

我们也换过更大的基础模型重新训练。那套公开题的答对数从 170 增加到 177，但时间和数值题仍只答对 15 道里的 1 道。训练配方也有差异，不能把进步全部归功于模型变大。

较大模型先在公开题上答对了 177 道。接着给它补对话分类，这项成绩从约 64% 涨到 96%，公开题却仍答对 177 道。

还有个听起来很合理的办法：让模型先把题目写成规定格式的小程序，再交给执行器计算。

麻烦出在写程序这一步：模型生成的程序，有一半以上不符合执行要求。 最终效果低于直接做判断的对照，还增加了处理时间。两种方案的训练方式和计算投入也不同，结果只说明这次方案没有奏效。

计算器可以算得很准，但得先把正确的式子交给它。

有些本领学会了，能用到哪里仍要另测

也有值得保留的进步。

我们设计过成对的例子：只改变一个关键条件，正确答案就应该改变。比如某条政策原本允许办理，加入一个例外条件后，就应该拒绝。

补了这类材料的模型，比只继续复习旧材料的模型做得更好。我们重复训练，并换一批新生成的场景检查，收益仍然存在。不过，这些场景仍来自同一类出题规则，不能直接推成“更会处理真实世界的问题”。

最后，我们还试着让同一个模型同时保留两种进步：既会处理专项难题，也更会辨认对话行为。办法是一边学新材料，一边复习旧材料。

两项较高的分类和判断成绩确实可以共存，但两个方案都没通过完整验收。公开题上，有些旧错误修好了，另一些原本做对的题又错了，没有带来净提升。

所以，我保留了这些实验版本，没有把它们换成新的正式模型。

下次看到“准确率 96%”，我会先问什么？

继续训练之前，我想先检查教案：我们教模型做的判断，是不是最终使用时真正需要的判断？

下一步计划检查数据能否可靠地教“用户当前希望执行的动作”，特别是改主意、否定、历史请求这些情况。再用没参加训练的完整会话和不同业务领域来检验。这一步还没完成，不能提前说会奏效。

如果你也在挑选或使用 AI，下次看到一个漂亮分数，可以先问：

它答对的是哪种题？这种题，和我要它做的事有多像？

认出用户在提要求，和在用户改主意后办对事情，中间就可能隔着我们还没测到的一段距离。

想看具体数字、方法和来源？展开这里

正文讲的是截至 2026 年 10 月 30 日的本地实验，已与原研究会话核对。完整汇总数据与来源哈希保留在这里；模型最初的结构与 B1/B2 下载见上一篇。这次没有发布新模型。

• **开头的 96%：**SGD 对话行为分类的十类宏平均准确率，从 64.10% 到 96.11%。它先计算每类准确率，再等权平均；不是通用 AI 能力评分。同轮公开 JevBench 为 177/231→177/231。图中显示到一位小数。
• **那套公开题：**来自 JevBench 的固定版本，共 231 题，已经被我们看过，用于观察与诊断，不是新的盲测，也不代表当前官方排名。新增训练未使用这些题目、答案或可识别改写；公开题也不能代表全部真实使用场景。
• **B2 与 B3：**分别基于 Qwen3.5 的 4B 和 9B Base，使用相同的 12,520 条修复后来源记录。B3 重新训练，没有接着 B2 续训。单次训练及配方差异不足以单独确定模型大小的作用；公开提升的不确定性区间包含零。
• **日历小样本调试：**练过的题从 30/64 到 64/64，其他题从 81/192 到 79/192；后者的 NLL（对正确答案的概率评分，越低越好）从 1.0451 恶化到 15.2518。
• **结构化执行：**1,024 个合成开发视图中，程序组端到端正确率 28.61%，普通判断对照 34.38%，无效程序占 56.15%。两组监督与计算量不同，结论只针对这次方案比较。
• **得到确认的专项收益：**三个训练种子、新的 512 个生成场景，每场景四个相关视图。专项组宏平均 94.70%，旧数据对照平均 90.54%，差异的配对 95% 区间为 3.23–5.19 个百分点。结果限于这些生成任务；三个专项版本的公开成绩为 175/231、176/231、176/231。
• **累积训练：**从覆盖补强检查点 A（176/231）继续，普通方案为 174/231，额外使用 replay-only KL 的方案为 175/231。两组均未通过完整验收，概率质量检查也有失败。这类后续试验只有一个训练种子，不能把细小分差当成稳定结论。

任务定义的区别可参考 SGD 官方标注说明。它支持检查“话语行为”与“当前请求”的区别，不能证明这个区别就是全部迁移问题的原因。

本文在 AI 协助下整理。插图中的对话是说明例子；成绩图来自保存的实验结果。未改动原始实验结果，也没有启动新的训练。