Deep-Thinking Ratio：将LLM推理成本降低50%的新指标

“思考越长越好”是错误的

在LLM推理领域，过去几年有一条被奉为圭臬的原则：“Chain-of-Thought生成得越长，答案越准确”。o1、o3以及Claude的Extended Thinking都基于这一原则设计，“更多token＝更高精度”的等式成为行业标准。

2026年2月，弗吉尼亚大学和Google研究团队发表论文”Think Deep, Not Just Long: Measuring LLM Reasoning Effort via Deep-Thinking Tokens”(arXiv:2602.13517)，正面挑战了这一常识。他们提出的替代方案正是Deep-Thinking Ratio（DTR）。

DTR是什么

核心概念：测量思考的深度

DTR衡量LLM生成的token中，实际发生深层推理的token的比例。

Deep-Thinking Token是指模型的浅层（初始层）预测与深层（后期层）预测之间存在显著差异的token。换言之，这些是模型在生成时进行了”更深层处理”的token。

DTR = (Deep-Thinking Tokens数量) / (全部推理Tokens数量)

长度 vs. 深度：两个指标的相关性

研究团队对22个模型（包括GPT-4o、Claude 3.7、Gemini 2.5 Pro、o4-mini-high）进行了实验。

指标	与精度的相关系数	含义
推理长度（token数）	r = -0.59	负相关 — 越长往往性能越差
DTR（推理深度比率）	r = +0.683	强正相关 — 越深性能越高

结论清晰：长推理链往往是”过度思考（overthinking）“的信号，实际上可能与质量成反比。

Think@n：基于DTR的成本削减算法

研究团队提出了一种实用算法Think@n，将DTR应用于消除无效计算。

工作原理

1. 并行开始生成n个推理候选
2. 每个候选仅生成前50个token
3. 基于50个token计算DTR
4. 立即终止DTR低（无望）的候选
5. 仅对DTR高的候选继续完整生成

关键洞见：仅凭50个token就能判断该推理路径是否在”深度思考”。

成果：AIME 25基准测试

在AIME 2025（高难度数学题）基准测试中，Think@n的表现：

传统标准投票（Standard Voting）:
  - 精度: 基准线
  - 成本: 100%

Think@n:
  - 精度: 高于基准线
  - 成本: 约51%（降低49%）

这不仅仅是成本权衡。Think@n在将成本减半的同时，还提升了精度。

工程经理与VPoE的实践启示

1. 重新审视AI基础设施成本优化策略

目前许多团队基于”更长的上下文、更多的token＝更好的结果”假设来设计AI基础设施。DTR研究表明，这一假设可能根本上是错误的。

实践中值得考虑的事项：

• 重新设计token预算策略：不要简单地增加最大token数，而是区分真正需要深层推理的任务和不需要的任务
• 实现Early Stopping逻辑：构建能够检测低DTR信号并提前终止推理的管道
• 并行生成+过滤：同时启动多条推理路径，50个token后立即终止DTR低的路径

2. AI智能体设计的应用

尤其对于执行复杂推理的AI智能体管道，DTR成为一个强大的优化工具。

# 概念性实现示例
def think_at_n(problem, n_candidates=5, prefix_length=50):
    candidates = []

    # 初始化n条推理路径
    for i in range(n_candidates):
        prefix = generate_tokens(problem, max_tokens=prefix_length)
        dtr = calculate_dtr(prefix)
        candidates.append((prefix, dtr))

    # 基于DTR过滤：仅保留前k个
    threshold = median([c[1] for c in candidates])
    promising = [c for c in candidates if c[1] >= threshold]

    # 仅对有望的候选完整生成
    results = [complete_generation(c[0]) for c in promising]
    return best_of(results)

3. 扩展成本监控指标

现有的AI成本监控主要集中在token数量和API调用次数上。引入DTR后，会产生新的视角：

现有指标	引入DTR后的改进
总token数	深层推理token vs. 浅层推理token比率
响应长度	长度对应的推理质量比率
API成本	与实际推理努力成比例的成本

DTR的局限性与未来课题

目前将DTR应用于生产环境存在若干限制：

1. 需要访问模型内部 DTR需要访问模型的中间层（hidden states）进行计算。目前GPT-4o、Claude等商业API不暴露这些信息。

2. 优先适用于开源模型 自行部署Llama 3.1、Qwen 3、Mistral等开源模型的团队，现在就可以实现基于DTR的优化。

3. 需要API厂商支持 长期来看，预计Anthropic、OpenAI、Google将在API层面提供基于DTR的优化，或公开推理效率指标。

工程团队可立即应用的启示

即使今天无法通过商业API计算DTR，这项研究也提供了立即可用的实践启示：

关注质量指标而非长度限制。 简单增加最大token数可能造成成本浪费。

现在就尝试Best-of-N策略。 Think@n的核心思路——启动多条路径，快速放弃无望的那些——今天就可以实现。可以用置信度分数、困惑度等其他启发式方法替代DTR。

实验”思考多样性”而非”思考长度”。 对复杂任务，多条独立的短推理链可能优于单条长推理链。

结语

Google·UVA的DTR研究预示着AI推理优化的范式转变，从”思考更长”转向”思考更深”。对于管理AI基础设施的工程领导者，结论很明确：现在有了在将推理成本减半的同时提升性能的理论和实证基础。

如果您的团队正在运行开源模型，今天就可以开始DTR优化实验。如果使用商业API，请关注未来几个月内厂商的相关支持动态。

---

参考资料

• 论文: Think Deep, Not Just Long: Measuring LLM Reasoning Effort via Deep-Thinking Tokens (arXiv:2602.13517)
• Google’s Deep-Thinking Ratio: Cut LLM Costs by 50%
• MarkTechPost文章