推理模型与普通模型
「深度思考」「推理模式」听起来像是换了一种更强的智能。其实机制很朴素:它在给你答案之前,先自己写了一大段草稿。
- 开了「深度思考」,回答确实好了,但账单涨了好几倍
- 简单的分类任务也开了推理模式,钱花了效果没变
- 把它展示的「思考过程」当成可信依据,写进了产品说明
它多做了什么
回忆一下运作原理:模型每次只预测下一个词,一路往下接。它没有一个「先想清楚再开口」的独立环节——它的思考,就是它的输出本身。
推理模型就是顺着这个机制做的工程改造:训练它在正式作答之前,先生成一长段推演——拆解问题、列出中间步骤、检查自己的假设。这段内容通常对用户隐藏,或者折叠在「思考过程」里。
为什么这样有用?因为对这个机制来说,多写就是多算。把中间步骤显式地写出来,后面每一步预测都能看到前面的推演,出错的概率就低了。一道需要五步的数学题,直接答等于让它一步跳到终点;先写五步,等于给了它五次纠正的机会。
那段思考要收钱
这是产品上最要紧的一条:那段草稿按输出价计费,而输出价通常是输入价的几倍。
所以推理模型贵,往往不是因为它单价高,而是因为它输出量大得多。一个用户只看到两百字的答案,背后可能生成了两千字的推演——你为这两千字付了钱。
连带的还有两个后果。一是慢。那段推演要一个词一个词吐出来,用户得等。二是延迟不可预测。难题它想得久,简单题想得短,同一个功能的响应时间会飘得很厉害,这对产品的加载状态设计是个真麻烦。
估成本时别忘了把这段算进去。按 Token 算账的时候,推理模型的输出量要按实测来估,不能拿答案长度当输出长度。
什么时候值得开
判断标准很简单:这个任务需要多步推演吗?需要就开,不需要就是纯浪费。
| 任务 | 值不值得开 | 为什么 |
|---|---|---|
| 多步数学、逻辑推演 | 值得 | 典型的多步任务,中间写出来能显著降低出错率。 |
| 代码调试、复杂重构 | 值得 | 要同时顾及多处约束,先列清楚再动手确实更稳。 |
| 方案权衡、复杂决策 | 值得 | 需要列举选项、比较代价,推演过程本身就是产出。 |
| 分类、打标、抽字段 | 不值得 | 一步就能出结果,推演只是把同一个判断换个说法重讲一遍。 |
| 改写、翻译、摘要 | 不值得 | 属于转换类任务,没有中间步骤可推。 |
| 闲聊、客服问答 | 不值得 | 延迟带来的体验损失,远大于准确率那一点提升。 |
更实际的做法是分档:产品里大部分请求走普通模型,只有识别为复杂的那一小撮才路由到推理模型。这样成本可控,体验也不会整体变慢。选型与降级那一节讲的就是这套分档怎么搭。
别把思考过程当依据
最后一个坑,容易被忽略但代价不小。
模型展示出来的那段「思考过程」,不等于它内部真实的计算过程。它同样是生成出来的文本——是一段看起来像推理的内容,由同一套预测机制产生。它可能推演得头头是道,最后给出错误答案;也可能推演里有个明显的错,结论却是对的。
所以两件事别做:别把这段过程当成可审计的依据展示给用户或写进合规材料;别因为推演看起来严谨就降低对结论的核查。该验证的还是要验证——幻觉这件事,推理模型只是降低了概率,没有改变机制。
