推理技术
用分解、搜索、程序执行和环境反馈提高多步任务的可验证性
🎯 核心概念
什么是推理技术？
定义
推理技术使AI智能体能够进行多步逻辑推理和问题解决，通过分解问题、搜索候选和验证中间结果改善任务表现；可见解释不等于模型内部计算的忠实记录。
核心原则
更多推理计算提供更多尝试或检查的机会；收益取决于任务难度、候选质量和验证器，必须以正确率、延迟与成本共同衡量。
🧠 六大推理技术
1. 思维链（Chain-of-Thought, CoT）
引导模型生成中间推理步骤，而非直接给出答案。
问题 → 步骤1 → 步骤2 → 步骤3 → 答案| 优势 | 说明 |
|---|---|
| 问题分解 | 将复杂问题拆解为子问题 |
| 可检查性 | 可以检查模型给出的解释，但不能据此证明内部推理正确 |
| 准确性 | 提升多步推理任务表现 |
实现：提供少样本示例，或直接指示"逐步思考"
2. 思维树（Tree-of-Thought, ToT）
在CoT基础上，探索多条推理路径，形成树状结构。
| 能力 | 说明 |
|---|---|
| 分支 | 探索多个中间步骤 |
| 回溯 | 发现错误时返回尝试其他路径 |
| 评估 | 在确定前评估各种轨迹 |
3. 自我修正（Self-Correction）
智能体对其生成内容进行内部评估和迭代改进。
理解要求 → 分析内容 → 识别弱点 → 提出改进 → 生成修订检查项：准确性、完整性、清晰度、语气、参与度、冗余
4. 程序辅助语言模型（PALMs）
本节对应论文名称 PAL（Program-aided Language Models）；不要与 Google 的 PaLM 模型家族混淆。PAL 原论文
将LLM与代码执行能力结合。
问题 → 生成代码 → 执行代码 → 结果转自然语言价值：把适合计算的步骤交给解释器。程序执行结果可以复现，但模型仍可能生成错误公式、选错单位或误读数据，执行器也需要隔离。
5. 可验证奖励的强化学习（RLVR）
RLVR 是训练阶段的方法：使用可计算的结果判定作为奖励信号，例如数学答案校验、代码测试。它与 CoT 提示和推理时搜索不在同一层次，也不要求所有任务都生成长答案。DeepSeek-R1 论文提供了规则奖励训练的研究实例。
奖励可验证也不等于任务定义完备：若测试覆盖不足，模型可能通过测试却违背需求。因此需要保留训练外测试集，检查验证器漏洞，并单独评估复杂任务泛化。
6. ReAct（推理与行动）
将思维链与外部工具交互结合。
思考(Thought) → 行动(Action) → 观察(Observation) → 思考...| 特点 | 说明 |
|---|---|
| 外部交互 | 执行工具/API调用 |
| 动态适应 | 根据反馈调整 |
| 实时反馈 | 观察执行结果 |
📈 推理缩放定律
核心发现
在部分任务与预算条件下，合理分配测试时计算可改善较小模型表现；这不是对所有模型与任务都成立的单调缩放定律。测试时计算研究
思考预算
小模型 + 更多思考预算 可能超越 大模型 + 简单生成
| 因素 | 考虑点 |
|---|---|
| 模型大小 | 较小模型对资源要求较低 |
| 响应延迟 | 找到性能与延迟的平衡点 |
| 运营成本 | 优化性能而不增加不必要成本 |
先定位失败，再增加思考预算
| 错误来源 | 优先补充什么 | 不宜只做什么 |
|---|---|---|
| 缺少事实、数据过时 | 检索和来源核验 | 延长无证据推理 |
| 算式或数据处理错误 | 可执行程序和断言 | 多写自然语言计算步骤 |
| 多个可行路径难选择 | 有预算的候选搜索和评分 | 无限生成候选 |
| 工具执行失败 | 状态查询与异常分类 | 改写计划但重复同一失败动作 |
将同一批任务按难度分层，比较直接回答、工具辅助、有限搜索三个方案，记录正确率、p95 和每个成功任务成本。要求模型解释时，索取假设、证据和可检查的关键步骤即可；不要用解释长度作为推理质量指标。编排层的计划与停止条件见规划与推理。
📋 应用场景
| 场景 | 推理技术应用 |
|---|---|
| 复杂问答 | 多跳查询、信息综合 |
| 数学问题 | 问题分解、代码执行计算 |
| 代码调试 | 解释推理、迭代优化 |
| 战略规划 | 推理选项、根据反馈调整 |
| 医疗诊断 | 系统评估、全面鉴别 |
| 法律分析 | 详细逻辑、确保一致性 |
💡 核心要点
使用场景
- 问题过于复杂，无法一次性给出答案
- 需要分解、多步逻辑
- 需要与外部工具交互
- 需要战略规划和适应
技术总结
| 技术 | 核心作用 |
|---|---|
| CoT | 内部独白，结构化制定计划 |
| ToT | 评估多种策略，从错误中回溯 |
| 自我修正 | 提出修订，需外部验证确认收益 |
| PAL | 生成程序并通过执行获得计算结果 |
| RLVR | 训练时用可验证结果构造奖励 |
| ReAct | 推理+行动，与环境交互 |
一句话总结
推理技术通过将明确的推理与行动能力相结合，将AI从被动工具转变为能够独立规划、行动和解决复杂问题的自主智能体。
🔗 相关阅读
参考文献：
- Agentic Design Patterns - Reasoning
- Chain-of-Thought Prompting (Wei et al., 2022)
- ReAct: Synergizing Reasoning and Acting (Yao et al., 2022)