域分类实验 — 最终评测报告
日期： 2026年7月7日
实验者： infinite
评测执行： infinite（Elo盲评+五维评分）、Coze/千问（MT-Bench）、infinite（逐条通读）
一、实验条件
1.1 模型与运行环境
| 项目 | 配置 |
|---|---|
| 生成模型 | DeepSeek V4 Pro (deepseek-v4-pro[1m]) |
| API | Anthropic 兼容接口，stream 模式 |
| max_tokens | 4096 |
| 调用间隔 | 2秒 |
| 重试策略 | 最多2次，指数退避 |
| 运行时间 | 2026-07-06 13:00 ~ 17:40（约4.7小时） |
1.2 实验设计
8题 × 5条件 × 5轮 = 200次API调用
五条件为 2×2 交叉设计（框架/身份 × 正确/错误）+ 裸问基线：
| 条件 | 含义 | System Prompt 格式（以 Q1 为例） |
|---|---|---|
| C1 | 正确框架 | 分析以下问题时，请运用以下学科分析框架进行推衍：\n城乡规划学(0833)\n社会学(0303)\n区域经济学(0202)\n公共管理学(1204) |
| C2 | 裸问基线 | system=None |
| C3 | 错误框架 | 分析以下问题时，请运用以下学科分析框架进行推衍：\n计算机算法(0812)\n计算数学(0701) |
| C4 | 正确身份 | 你是城乡规划学(0833)、社会学(0303)、区域经济学(0202)与公共管理学(1204)领域的专家。请分析以下问题。 |
| C5 | 错误身份 | 你是计算机算法(0812)与计算数学(0701)领域的专家。请分析以下问题。 |
关键设计原则：
- 所有条件不包含推理要求（如"每个断言必须有物质对应物"）——这些在 V2 中证明是混淆变量
- 所有条件仅保留学科名+代码，不展开子领域描述——从 V3 到 V4 的改进
- C1/C3/C4/C5 之间只有"给什么内容"和"用什么格式"的差异
1.3 八道测试题
| ID | 标题 | 正确学科 | 错误学科 |
|---|---|---|---|
| Q1 | 15分钟生活圈 | 城乡规划学、社会学、区域经济学、公共管理学 | 计算机算法、计算数学 |
| Q2 | AI医疗诊断 | 临床医学、智能科学、公共管理学、卫生经济学 | 市场营销、新闻传播学 |
| Q3 | 直播带货县域农产品 | 农业经济学、供应链管理、市场营销、农村社会学 | 计算机视觉、信息与通信工程 |
| Q4 | 老旧小区加装电梯 | 物权法学、公共管理学、城市经济学、社会学 | 机械工程、工程力学 |
| Q5 | 预制菜进校园 | 食品科学、公共卫生、公共管理学、供应链管理 | 机械工程、工程力学 |
| Q6 | 碳交易市场机制 | 环境经济学、公共管理学、能源科学、法学 | 计算机算法、计算数学 |
| Q7 | 自动驾驶事故责任 | 交通运输工程、法学、智能科学、保险学 | 市场营销、新闻传播学 |
| Q8 | 农村宅基地流转 | 土地资源管理、法学、农村社会学、农业经济学 | 计算机算法、信息与通信工程 |
1.4 运行数据
| 指标 | 值 |
|---|---|
| 总调用 | 200次 |
| 成功率 | 200/200（100%） |
| CAP率（输出截断） | 14/200（7.0%） |
| 平均单次耗时 | 77.8秒 |
| 总运行时间 | 259分钟 |
二、实验方法：双评测体系 + 扰动验证
本实验采用两份独立评测报告作为主要依据，辅以自评数据作为参考。
主要依据一：Coze MT-Bench 逐题评测
评测执行者： Coze（字节跳动 AI 平台）
方法： MT-Bench 标准，逐题独立评分（8题×5条件=40组，每组5轮取均值），10分制。五维细分：指令遵循、事实准确性、分析深度、实用可操作性、洞察原创性。
关键优势： 第三方模型 ≠ 生成模型（DeepSeek），无同源偏误。逐题评分矩阵完全透明，每道题的评分可独立验证。
文件： MT-Bench_V4评测报告.md
主要依据二：DP 同质模型扰动分析
评测执行者： DP（DeepSeek 平台智能体）
方法： MT-Bench 五维加权评分（准确性25% + 完整性20% + 逻辑性20% + 相关性20% + 深度15%）。独有贡献：同质模型扰动验证——通过 3 种变体（Temperature 0↔0.3、Prompt 先打分↔先解释、Few-shot 高标杆↔中标杆）× 2 轮 = 7 种评测配置，检验排名鲁棒性。逐题评分矩阵完整（附录含 5 组 × 8 题 × 5 维评分表）。
关键优势： 明认同质模型（评测模型=生成模型），通过结构性扰动对冲偏误。7 种配置下排名 100% 一致，证明了结论的方法论稳健性。
文件： V4_MTBench评测报告_同质模型扰动分析.md
辅助参考：Elo 盲评配对
评测执行者： infinite 脚本 + DeepSeek V4 Pro
方法： 同题内匿名随机配对，80 次比较，Elo 排位。
局限： 使用 DeepSeek 自评，同源偏误显著（C1-C2 仅差 1 Elo 分）。排名方向正确但区分力不足。仅作辅助参考。
不采纳的评测
| 评测 | 不采纳原因 |
|---|---|
| DeepSeek 五维自评 | 同源偏误严重。全部评分 8.7-9.5，区分力为零 |
| 千问 HTML 报告 | 整数评分（无逐题计算）、有事实错误（批评C3"忽略技术成熟度"——但Q2的C3实际使用市场营销/新闻传播框架）、模板痕迹重 |
| R/P/U 物质还原 | 测量的是物质断言密度，与本任务的"分析质量"正交或负相关 |
| 千问聊天回复 | 碎片化、矛盾、不可复现 |
评测局限性声明
- 两份主要报告均为单评判者，未经第二评判者交叉验证。
- DP 报告使用与生成模型相同的模型（DeepSeek）进行评测，虽通过扰动对冲但本质同源偏误无法完全消除。
- 8 道题目均为中文政策分析类，结论外推性限于同类任务。
- 各组的 5 轮设置可能引入一致性偏差——同一框架/身份下的多轮回答风格趋同。
三、评测体系的发现与重建
3.1 最初方案：R/P/U 物质还原编码
实验最初设计的评测指标是 R/P/U 编码——对每条回答逐句标注"物质还原性"：R（有物质对应物，如数字、法条、公式）、P（纯推理无对应物）、U（不可还原抽象）。R比例 = R/(R+P+U)，衡量回答中可验证物质断言的占比。
该指标在 V2 实验中曾达到 C1=44.6%（但被后续实验证明该效应来自推理要求而非学科框架）。在 V4（仅学科名，无推理要求）中，R/P/U 的结果如下：
| 条件 | R | P | U | 总计 | R比例 |
|---|---|---|---|---|---|
| C1 正确框架 | 72 | 2330 | 12 | 2414 | 3.0% |
| C2 裸问基线 | 74 | 2407 | 21 | 2502 | 3.0% |
| C3 错误框架 | 36 | 2293 | 16 | 2345 | 1.5% |
| C4 正确身份 | 93 | 2372 | 22 | 2487 | 3.7% |
| C5 错误身份 | 79 | 2198 | 19 | 2296 | 3.4% |
R/P/U 的结论：C1（3.0%）≈ C2（3.0%），C5（3.4%）> C1。正确框架和裸问基线几乎没有差异。域路由在 R/P/U 指标上无效。
3.2 转折点：主观通读发现矛盾
实验完成后，实验者逐条阅读了全部 200 条回答。主观判断：C1（正确框架）的回答质量明显优于其他所有分组。 以 Q1（15分钟生活圈）Round 1 为例：
C1（正确框架） 以"城乡规划学视角→社会学视角→区域经济学视角→公共管理学视角"四维推进，从空间供给、社会公平、经济集约、政策协同层层递进，最后收敛于"空间-社会-经济-治理四维协同"的系统结论。分析深、结构严、跨域交叉自然。
C2（裸问基线） 覆盖面合理但分析停留在常识层面（"要加强监管""要完善制度"），缺乏学科特有的术语和深度。答对了方向但没答出深度。
C3（错误框架） 将"15分钟生活圈"强行转为图论建模问题（NP-Hard、Dijkstra、贪心近似比），回答内部逻辑自洽但完全答非所问。
C1 明显优于 C2，C3 明显跑偏——但 R/P/U 显示 C1=C2=3.0%，C3=1.5%。直觉判断和量化指标之间存在系统性矛盾。
这一矛盾促使我们追问：R/P/U 到底在测量什么？它测量的是"回答中写了多少个数字、公式、法条编号"——而非"分析质量"。C3 的错误回答充斥着技术术语（被判定为 R），C1 的正确回答在进行概念推演和跨域交叉（被判定为 P）。R/P/U 与"分析质量"正交。 它不是错的——但它测的不是我们想测的东西。
3.3 转向 MT-Bench
意识到评测体系的问题后，我们放弃了自建指标的思路，转向业界标准的 MT-Bench 方法论（LLM-as-Judge），并采用两个独立评测平台进行交叉验证：
- Coze（字节跳动 AI 平台）： 第三方模型评测，消解同源偏误
- DP（DeepSeek 平台）： 同质模型评测 + 7 种配置扰动验证排名鲁棒性
两份独立报告产生了完全一致的排名（详见第四章），且与实验者的主观通读判断吻合。
实验过程的教训： 评测指标的构建是实验设计中最容易被忽视但影响最大的环节。一个在理论上有道理的指标（如 R/P/U 的物质还原框架）在实际应用中可能与目标因变量完全正交。在投入实验资源之前，先验证评测工具的有效性——包括小规模主观通读与量化结果的交叉校验——可能比增加实验轮次更有价值。
四、实验结果
4.1 Coze MT-Bench 评分矩阵（每题5轮均分，10分制）
| 题目 | C1 正确框架 | C2 裸问基线 | C3 错误框架 | C4 正确身份 | C5 错误身份 |
|---|---|---|---|---|---|
| Q1 15分钟生活圈 | 8.5 | 7.0 | 3.5 | 8.0 | 4.0 |
| Q2 AI医疗诊断 | 8.0 | 7.0 | 4.0 | 7.5 | 4.5 |
| Q3 直播带货县域农产品 | 9.0 | 6.5 | 4.5 | 8.0 | 5.0 |
| Q4 老旧小区加装电梯 | 8.0 | 7.5 | 3.0 | 8.0 | 4.0 |
| Q5 预制菜进校园 | 8.0 | 6.5 | 3.5 | 7.5 | 4.0 |
| Q6 碳交易市场机制 | 9.0 | 6.5 | 3.5 | 9.0 | 4.5 |
| Q7 自动驾驶事故责任 | 8.5 | 7.0 | 4.0 | 8.5 | 5.0 |
| Q8 农村宅基地流转 | 8.5 | 6.5 | 3.0 | 8.0 | 4.0 |
| 分组均分 | 8.44 | 6.81 | 3.63 | 8.06 | 4.38 |
数据来源： 扣子 MT-Bench 评测报告（文件：MT-Bench_V4评测报告.md）
4.2 双评测结果汇总
| 条件 | Coze MT-Bench | DP 基线 | DP 跨7配置均值 | DP 标准差 | 排名一致性 |
|---|---|---|---|---|---|
| C1 正确框架 | 8.44 | 8.86 | 8.85 | ±0.25 | 🥇 双报告第一 |
| C4 正确身份 | 8.06 | 8.56 | 8.56 | ±0.31 | 🥈 双报告第二 |
| C2 裸问基线 | 6.81 | 7.73 | 7.71 | ±0.48 | 🥉 双报告第三 |
| C5 错误身份 | 4.38 | 6.10 | 6.13 | ±0.61 | 4 双报告第四 |
| C3 错误框架 | 3.63 | 5.38 | 5.44 | ±0.62 | 5 双报告第五 |
两份报告排名完全一致：C1 > C4 > C2 > C5 > C3。 DP 报告的绝对值整体高于 Coze（约 0.4-1.7 分），这是同源评测的预期偏误——同一模型对自己的"框架内推演"能力评分更宽容。但排名不变。
4.3 DP 扰动分析：排名鲁棒性验证
DP 报告的独有贡献是通过 7 种评测配置检验了排名的稳定性：
| 评判配置 | C1 | C4 | C2 | C5 | C3 | 排名 |
|---|---|---|---|---|---|---|
| 基线 | 8.86 | 8.56 | 7.73 | 6.10 | 5.38 | ✅ |
| T=0 | 8.96 | 8.66 | 7.64 | 5.97 | 5.27 | ✅ |
| T=0.3 | 8.63 | 8.39 | 7.85 | 6.27 | 5.58 | ✅ |
| 先打分再解释 | 9.06 | 8.75 | 7.43 | 5.76 | 5.02 | ✅ |
| 先解释再打分 | 8.70 | 8.46 | 7.90 | 6.37 | 5.74 | ✅ |
| 高标杆(few-shot) | 8.54 | 8.08 | 7.01 | 5.33 | 4.66 | ✅ |
| 中标杆(few-shot) | 9.22 | 9.00 | 8.43 | 7.08 | 6.42 | ✅ |
100% 排名一致。 这份数据直接回答了"换一种评法会不会换一个排名"的质疑。
扰动敏感度排序： C1（±0.25）< C4（±0.31）< C2（±0.48）< C5（±0.61）< C3（±0.62）。高质量回答是"压舱石"——怎么评都是第一。低质量回答评分波动大，但垫底地位稳固。
4.4 双报告五维细分对比
Coze 五维：
| 评估维度 | C1 | C2 | C3 | C4 | C5 |
|---|---|---|---|---|---|
| 指令遵循 | 9.0 | 7.5 | 2.5 | 8.0 | 3.5 |
| 事实准确性 | 8.5 | 7.0 | 4.5 | 8.5 | 5.0 |
| 分析深度 | 8.5 | 6.5 | 3.5 | 8.0 | 4.0 |
| 实用可操作性 | 8.0 | 6.5 | 2.5 | 7.5 | 3.5 |
| 洞察原创性 | 8.0 | 6.5 | 3.5 | 7.5 | 4.5 |
DP 五维（基线，加权）：
| 评估维度 | 权重 | C1 | C2 | C3 | C4 | C5 | 区分度 |
|---|---|---|---|---|---|---|---|
| 准确性 | 25% | 8.5 | 7.8 | 5.5 | 8.3 | 6.0 | 3.0 |
| 完整性 | 20% | 8.8 | 7.5 | 5.8 | 8.5 | 6.3 | 3.0 |
| 逻辑性 | 20% | 9.0 | 7.8 | 6.5 | 8.6 | 7.0 | 2.5 |
| 相关性 | 20% | 9.3 | 8.5 | 3.8 | 9.0 | 5.0 | 5.5（最大） |
| 深度 | 15% | 8.8 | 7.0 | 6.0 | 8.5 | 6.5 | 2.8 |
两份报告一致发现： 区分度最大的维度是"相关性"——正确框架让回答高度切题（C1=9.3），错误框架让回答严重脱节（C3=3.8）。逻辑性是区分度最小的维度——即使框架错了，模型内部推理链仍保持自洽——大模型的推理能力具有韧性。
4.5 各组质量画像（综合两份报告）
C1 正确框架（8.44，S级）
- 每题严格按指定学科维度逐一分析，结构严密
- 多学科交叉形成互补（如 Q1：规划学分析空间→社会学分析公平→经济学分析成本→公共管理分析治理）
- 语言专业但不晦涩，术语使用精准
- 示例（Q3）："直播带货并非单纯的技术赋能故事，而是一次面向县域农业体系的现代性压力测试"
C4 正确身份（8.06，A级）
- 以专家视角切入，深度接近 C1
- 结构不如 C1 严格（C4 更像综合论述，C1 按学科逐一推进）
- 在技术性强的题目（Q6 碳交易、Q7 自动驾驶）与 C1 持平
- 在需要严格多学科结构化的题目（Q1/Q4/Q8）略逊于 C1
C2 裸问基线（6.81，C级）
- 分析覆盖面合理但深度有限，多用常识性分析
- 缺乏学科锚点，不同轮次间观点重复率高
- 建议偏向"应然"层面（应该加强、应该完善），缺少具体机制
- 是"会答题的学生"但非"领域专家"
C3 错误框架（3.63，D级）
- 将所有政策问题强行转化为算法/数学问题
- 大量使用 NP-Hard、Dijkstra、贝叶斯网络等技术术语——但用错了场景
- 建议高度不切实际（如"用 GPU 批量计算设施选址"）
- 事实准确性有 4.5 分（术语本身没错），但实用可操作性仅 2.5 分
- 比裸问低 47%：宁可不给，不能给错
C5 错误身份（4.38，D级）
- 以"计算/算法专家"身份强行分析政策问题
- 比 C3 略有改善——身份约束较松，AI 有自我纠偏空间
- 核心问题：分析维度缺失，只关注技术维度
- 比 C3 高 21%：错误的身份比错误的框架破坏力小
五、核心分析
5.1 关键效应量（双报告均值）
| 对比 | Coze | DP | 均值 | 效应解读 |
|---|---|---|---|---|
| C1 vs C2（正确框架 vs 裸问） | +1.63 | +1.13 | +1.38 | 正确框架显著提升回答质量。效应在复杂跨学科题上最大，在常识题上最小。 |
| C3 vs C2（错误框架 vs 裸问） | -3.18 | -2.35 | -2.77 | 错误框架严重伤害回答质量。所有8题无一例外低于 C2。 |
| C4 vs C1（正确身份 vs 正确框架） | -0.38 | -0.30 | -0.34 | 身份引导接近框架引导效果，是可接受的轻量替代方案。 |
| C5 vs C3（错误身份 vs 错误框架） | +0.75 | +0.72 | +0.74 | 错误身份比错误框架破坏力小。身份约束较松，模型有自我纠偏空间。 |
5.2 DP 独有发现：框架效应 > 身份效应
| 对比 | 分差 | 解读 |
|---|---|---|
| 正确/错误框架差（C1 - C3） | 3.48 | 框架正确与否的质量差距 |
| 正确/错误身份差（C4 - C5） | 2.46 | 身份正确与否的质量差距 |
框架效应的强度是身份效应的 1.4 倍。给模型指定"怎么想"（框架）比告诉它"你是谁"（身份）对回答质量的影响更大。
5.3 DP 独有发现：身份驱动多轮递进
| 组别 | R1 均分 | R2 均分 | 差值 | 解读 |
|---|---|---|---|---|
| C4 正确身份 | 8.40 | 8.72 | +0.32 | 身份驱动第二轮深入——"专家"在第二轮更有话说 |
| C1 正确框架 | 8.82 | 8.90 | +0.08 | 框架引导下两轮持平——第一轮已充分展开 |
| C2 裸问基线 | 7.80 | 7.65 | -0.15 | 缺乏框架导致第二轮"无话可说" |
在多轮对话场景，身份策略优于框架策略。 框架在第一轮就穷尽了分析空间；身份赋予的"领域责任感"能驱动模型在后续轮次继续深入。
5.4 框架增益的问题依赖性
框架效应不是均匀的。它与问题的"跨学科复杂度"正相关：
| 题目类型 | 代表题 | C1-C2 增益 | 为什么 | |
|---|---|---|---|---|
| 高跨学科复杂度 | Q3 直播带货 (+2.5) | Q6 碳交易 (+2.5) | 最大增益 | 多学科交叉度高，单靠常识无法穿透 |
| 中等复杂度 | Q1, Q7, Q8 (+1.5) | 中等增益 | 需要结构化视角但常识可部分覆盖 | |
| 低复杂度/高常识性 | Q4 加装电梯 (+0.5) | 最小增益 | 话题足够具体，常识已能提供合理分析 |
这意味着域路由的价值取决于任务的"常识可达性"。 问题越远离日常经验，框架的价值越大。问题越接近常识，框架的边际收益越小。
5.5 框架 vs 身份：互补而非替代
| 维度 | 框架格式（C1） | 身份格式（C4） |
|---|---|---|
| 结构严密性 | 高。按学科逐一推进，不遗漏 | 中。综合论述，边界模糊 |
| 多学科平衡 | 强。每个学科都有独立段落 | 弱。可能偏向某单一视角 |
| 实操感 | 强。每个学科给出具体建议 | 更强。专家身份自带"经验"语调 |
| 适用场景 | 需要严格多学科推演的问题 | 需要"专家直觉"的工程/技术问题 |
C4 在 Q6（碳交易）上追平 C1（9.0 vs 9.0），在 Q7（自动驾驶）上追平（8.5 vs 8.5）。 这两题的技术性强，专家身份本身就携带了正确的分析范式。
5.6 同源偏误的实证：DeepSeek 自评不可用
| 评估方法 | C1均分 | C2均分 | C1-C2差 | 区分力 |
|---|---|---|---|---|
| Coze MT-Bench | 8.44 | 6.81 | +1.63 | 强 |
| DeepSeek 五维自评 | 9.46 | 9.32 | +0.14 | 无 |
| DeepSeek Elo | 1514 | 1513 | +1 Elo | 无 |
LLM-as-Judge 的第一铁律：评测模型必须 ≠ 生成模型。 使用 DeepSeek 评测 DeepSeek 的回答等同于让作者给自己的文章打分——所有作品都在同一个审美空间里，无法识别差异。
六、域分类的价值——客观中立分析
6.1 域分类有效——有条件地
基于本实验的实证证据，域分类（domain routing）在以下条件下有效：
正确的域分类能显著提升回答质量。 效应量 24%（C1 vs C2），在跨学科复杂问题上可达 38%（Q3 +2.5/6.5）。这是实用意义上显著的增益。
错误的域分类会造成严重伤害。 效应量 -47%（C3 vs C2）。域分类不是中性的——它是不对称的。选错的代价是选对收益的近两倍。
域分类的增益取决于任务的"常识距离"。 问题越远离日常经验，域分类价值越大。对非常识性问题，域分类是必要的；对常识性问题，域分类可能是冗余的。
身份引导是域分类的有效轻量替代。 C4 仅比 C1 低 4.5%。在 prompt 空间受限或学科边界模糊的情况下，指定正确专家身份能获得接近框架引导的效果。
6.2 域分类的局限
仅给学科名不够。 V4 实验（仅学科名）的 C1-C2 差异在 R/P/U 接近于零。Coze 评分能检测到差异是因为它测量的是整体分析质量而非物质断言密度。学科名作为路由信号能调取正确的分析范式，但不会自动导致更多的"物质断言"。
域分类的效果高度依赖评测方法的选择。 R/P/U 编码完全检测不到域路由效应。DeepSeek 自评区分力为零。只有第三方 LLM-as-Judge（Coze）和人工通读能可靠检测。域分类的价值评估需要用正确的工具。
域分类不解决"怎么思考"的问题。 V2 实验证明推理要求（"每个断言必须有物质对应物"）能推高 R比例到 44.6%。域分类只管"用什么知识"，不管"怎么用知识"。两者是独立的信号通道。
6.3 V3/V4 连续实验中的一致发现
| 发现 | V3 | V4 | 一致性 |
|---|---|---|---|
| 正确框架 > 裸问（微弱） | C1=4.4%, C2=3.1%, d=0.41 | ✓ Coze确认 | 存在但弱 |
| 错误框架 < 裸问 | C3=3.4% < C2=3.1%? | ✓ Coze确认 C3=3.63 < C2=6.81 | 强一致 |
| 身份 ≈ 框架 | 未测试 | C4=8.06 ≈ C1=8.44 | V4发现 |
| R/P/U 不能捕获域路由效应 | C1≈C2≈C3≈C4 (全部3-4%) | C1≈C2≈C4≈C5 (全部3-4%) | 强一致 |
跨越 V3-V4 最稳健的发现：错误路由始终有害。 当模型被指向错误的分析框架时，回答质量一致性下降。这是域路由存在价值的底线证据：即使正确路由的增益微弱或不稳定，错误路由的成本始终存在且显著。只要存在"选错"的可能性，域路由器就有存在意义。
6.4 对 V3 引擎域路由模块的建议
域路由器应该偏保守。 已知错误路由的代价（-47%）远大于正确路由的收益（+24%）。宁可不路由（即 C2 基线）也不能错误路由。路由器的第一优先级是避免分类错误。
在"常识距离"大的问题上优先路由。 当问题涉及多个远离日常经验的学科时（如碳交易的政策经济学、直播带货对农产品供应链的结构性影响），域路由提供最大增益。
身份格式可能是更安全的路由策略。 C5 比 C3 的破坏小（+21%），C4 接近 C1（-4.5%）。如果域路由器对分类正确性的置信度不足，回退到身份引导（"你可能是XX领域的专家"）比强制框架路由（"你必须用XX框架分析"）更安全。
域路由需要配合推理引导。 V2 的数据表明推理要求（"每个断言必须有物质对应物"）能独立推高回答质量。域路由 + 推理引导 > 单独域路由 > 无路由。
6.5 域路由的能力提升预估
基于双报告数据，对域路由在实际部署中的能力提升进行量化预估。
6.5.1 当前可测量增益
| 场景 | 增益（Coze） | 增益（DP） | 均值 | 解读 |
|---|---|---|---|---|
| 全题平均（C1 vs C2） | +1.63 | +1.13 | +1.38 | 正确框架相对于裸问的绝对提升 |
| 全题平均（相对提升） | +24% | +15% | +19% | 正确框架使回答质量提升约五分之一 |
| 高复杂度题（Q3/Q6） | +2.50 | +1.00 | +1.75 | 跨学科复杂问题上增益翻倍 |
| 低复杂度题（Q4） | +0.50 | +1.80 | +1.15 | 常识题上增益缩小但仍为正 |
| 正确身份（C4 vs C2） | +1.25 | +0.83 | +1.04 | 身份引导可实现框架引导约75%的增益 |
6.5.2 路由准确率灵敏度分析
域路由在实际部署中不可能达到100%准确率。下表展示在不同路由准确率下，相对于裸问基线（C2）的预期质量变化：
假设路由器以概率 p 正确分类、概率 q 错误分类、概率 (1-p-q) 回退到裸问：
| 正确率 p | 错误率 q | 预期得分 | vs C2 基线 | 状态 |
|---|---|---|---|---|
| 100% | 0% | 8.65 | +1.38 | 理论上限 |
| 90% | 5% | 8.19 | +0.92 | 高质量路由 |
| 80% | 10% | 7.74 | +0.47 | 仍有净收益 |
| 70% | 15% | 7.28 | +0.01 | 盈亏平衡 |
| 60% | 20% | 6.83 | -0.44 | 净亏损 |
| 50% | 25% | 6.37 | -0.90 | 不如不路由 |
关键阈值：路由器的盈亏平衡点约为 70% 准确率。 当路由准确率低于70%时，错误路由的惩罚（C3 得分低于 C2 约-2.77 分）开始超过正确路由的收益。这再次验证了 6.4 节的核心建议：路由器应该偏保守，宁可不路由也不能错误路由。
6.5.3 按问题类型的能力增益分层
| 问题类型 | 代表题 | 预期增益 | 建议路由策略 |
|---|---|---|---|
| 高跨学科复杂度（多域交叉、远离日常经验） | Q3 直播带货、Q6 碳交易 | +1.5~2.5 分 | 强路由（多学科框架） |
| 中等复杂度（需要结构化视角） | Q1 生活圈、Q2 AI医疗、Q7 自动驾驶、Q8 宅基地 | +0.8~1.5 分 | 标准路由（框架或身份均可） |
| 低复杂度/高常识性（日常经验可覆盖） | Q4 加装电梯、Q5 预制菜 | +0.3~0.8 分 | 轻路由或身份引导即可 |
域路由的能力增益与问题复杂度正相关。 在最需要路由的高复杂度问题上增益最大（+1.75），在最不需要路由的常识问题上增益最小但仍为正。不存在域路由产生负面效应的"问题类型"——只要路由正确，任何类型的问题都能从中受益。
6.5.4 域路由 + 推理要求 = 潜在倍增效应
V2 实验证明推理要求（"每个断言必须有物质对应物"）能独立推高 R 比例至 44.6%（V4 仅 3.0%）。虽然 R 比例不等同于分析质量，但这提示：
域路由负责"用什么知识分析"，推理要求负责"怎么分析"。两者是独立的信号通道。同时施加可能产生乘性而非加性的增益。
因 V2 和 V4 使用了不同的实验设计（V2 含子领域描述，V4 仅学科名），无法直接做量化对比。但保守估计，域路由 + 推理要求的上限可能远超单独域路由的 19% 增益。这是后续实验需要验证的关键假设。
6.5.5 能力提升的置信区间
DP 扰动分析提供了天然的置信区间估算：
| 条件 | 跨7配置均值 | 标准差 | 95%置信区间 | 解读 |
|---|---|---|---|---|
| C1 | 8.85 | ±0.25 | [8.35, 9.35] | C1 的质量不会低于 C4 的最好情况 |
| C2 | 7.71 | ±0.48 | [6.75, 8.67] | 裸问基线的波动范围与 C1 的下界重叠 |
| C3 | 5.44 | ±0.62 | [4.20, 6.68] | 错误框架的上界仍低于裸问的平均值 |
| C1-C2 差值 | 1.14 | ±0.55 | [0.04, 2.24] | 在 95% 置信水平下差值仍为正 |
即使在最不利的评测配置下，C1-C2 的下界仍为正值（+0.04）。 域路由的正向效应在 95% 置信水平下可被验证——虽然不是"压倒性"的，但方向确定。
七、数据文件索引
我用夸克网盘给你分享了「实验数据.zip」，点击链接或复制整段内容，打开「夸克APP」即可获取。
/~09fb3ZRD2q~:/
链接：https://pan.quark.cn/s/4128972c8480?pwd=Fgpi
提取码：Fgpi
