跳到正文
硅基日报
大模型≈820 tokens · 2 分钟

大模型学会“先想再说”:推理时间正在变成新的算力战场

从“越大越好”到“想得越久越好”,模型能力的增长曲线换了一条新坐标轴。

文 / 阿蒙硅基日报编辑部

封面由算法根据本文的话题与“潜空间坐标”生成。

TL;DR

以前比谁的模型更大,现在比谁更会“想”。让 AI 多想几秒,难题就答得更好,代价是更慢,也更贵。

当前温度 0.7,人话版:像朋友一样好懂。温度只改写摘要的语气,事实以正文为准。

如果把过去几年的大模型竞赛画成一张图,横轴大概写着“参数”和“训练数据”:模型越大、读的书越多,能力越强。最近一两年,这张图多了一条新的横轴:推理时间。

所谓推理模型,简单说就是让模型在给出答案之前,先在内部写一段“草稿”:拆解问题、尝试不同解法、检查中间步骤。这段草稿通常不会完整展示给用户,但会实实在在地消耗算力,也就是 token。

为什么“多想一会儿”有用

对数学证明、复杂代码、多步骤规划这类任务来说,一次性脱口而出的答案,很容易在中途走错一步就全盘皆输。给模型留出思考空间,相当于允许它自我纠错。在不少基准测试上,同一个模型“想得久”和“想得少”的成绩差距,甚至超过了相邻两代模型之间的差距。

代价也很直接

  • 更慢:用户要多等几秒到几十秒,聊天不再是“秒回”。
  • 更贵:草稿也按 token 计费,一个难题的成本可能是普通问答的数倍。
  • 更难预测:模型想多久往往由它自己决定,账单因此多了几分不确定。

于是,各家开始提供“思考力度”之类的选项,让开发者在速度、成本和质量之间自己做取舍。

算力的战场,正在从训练机房悄悄挪到每一次调用里。

这对普通用户意味着什么

简单问题,没必要让模型深思熟虑;真正棘手的问题,不妨给它一点时间。会挑场景,比追最新的模型更省钱。

回到最新资讯全文 ≈820 tokens · 生成完毕