如果把过去几年的大模型竞赛画成一张图,横轴大概写着“参数”和“训练数据”:模型越大、读的书越多,能力越强。最近一两年,这张图多了一条新的横轴:推理时间。
所谓推理模型,简单说就是让模型在给出答案之前,先在内部写一段“草稿”:拆解问题、尝试不同解法、检查中间步骤。这段草稿通常不会完整展示给用户,但会实实在在地消耗算力,也就是 token。
为什么“多想一会儿”有用
对数学证明、复杂代码、多步骤规划这类任务来说,一次性脱口而出的答案,很容易在中途走错一步就全盘皆输。给模型留出思考空间,相当于允许它自我纠错。在不少基准测试上,同一个模型“想得久”和“想得少”的成绩差距,甚至超过了相邻两代模型之间的差距。
代价也很直接
- 更慢:用户要多等几秒到几十秒,聊天不再是“秒回”。
- 更贵:草稿也按 token 计费,一个难题的成本可能是普通问答的数倍。
- 更难预测:模型想多久往往由它自己决定,账单因此多了几分不确定。
于是,各家开始提供“思考力度”之类的选项,让开发者在速度、成本和质量之间自己做取舍。
算力的战场,正在从训练机房悄悄挪到每一次调用里。
这对普通用户意味着什么
简单问题,没必要让模型深思熟虑;真正棘手的问题,不妨给它一点时间。会挑场景,比追最新的模型更省钱。