评测证据不一致
V4 Pro × DSH Minimal：轨迹可复现，能力增益仍未决
Project2 原始高分引发跨平台传播；独立实验确认首轮工具结构会改变轨迹，但没有稳定复现跨环境工程能力增益。
根据原始讨论自动整理，来源与完整记录可在下方查看。
讨论要点
最近进展
查看核验记录与完整证据
证据与时间线
目前结论
轨迹效应强，能力增益未决；两者不能互相替代。
维护者回应
未找到可核验的维护者回应
尚未处理
从轨迹效应到能力结论
当前观察到的现象
Project2 原始两跑达到 99/96；独立 schema 实验 9/9 和 5/5 稳定分离出 Minimal-like 轨迹。
当前已知边界
轨迹效应强，能力增益未决；两者不能互相替代。
定论所需条件
冻结所有协议字段，在第二个公开工程任务上对 Minimal、Standard 与 Anchored 做预注册配对重复，并同时报告能力与成本。
轨迹分离已经越过证据门槛；稳定能力增益仍停在门槛之前。
修正结论的前提
若跨任务配对实验稳定显示 Minimal 提升且原始轨迹可审计，能力判断会升级；若轨迹继续分离但能力差异消失，结论将收窄为接口行为效应。
当前结论
Project2 原始结果方向很强，但独立复现没有稳定确认能力幅度；当前只能判为证据不一致。
适用范围
V4 Pro、Project2 及相邻工程任务；不同协议必须分别解释。
受影响功能
影响 preset 选择、社区推荐和 Benchmark 结果解释。
评测 · high文档 · high预设 · high
建议下一步
冻结 DSH、模型路由、工具 Schema 与任务版本，在第二个工程任务上做预注册配对重复。
支持它的证据
Project2 原始两跑达到 99/96；独立 schema 实验 9/9 和 5/5 稳定分离出 Minimal-like 轨迹。
与它冲突的证据
多环境与随机化独立运行没有稳定复现 98/99 能力幅度；n=3 对照的能力差异不显著。
反方核心论据
独立复现任务、系统与样本仍有限，未检出稳定增益不等于增益不存在；接口对齐可能只在特定模型与任务中出现。
缺失证据
缺少冻结模型 revision、Harness commit、任务版本和完整 raw trajectory 的跨任务配对重复。
验证方案
冻结所有协议字段，在第二个公开工程任务上对 Minimal、Standard 与 Anchored 做预注册配对重复，并同时报告能力与成本。
修正结论的前提
若跨任务配对实验稳定显示 Minimal 提升且原始轨迹可审计，能力判断会升级；若轨迹继续分离但能力差异消失，结论将收窄为接口行为效应。
适用范围与边界
结论只覆盖已审核的 V4 Pro、Project2 和相邻工程实验，不外推到所有模型、任务或 DSH 版本。
证据、测试条件与进展
02
贡献者
603
证据对照表
5 独立来源| 来源 | 贡献者 | 立场 | 独立来源 | 原文引述 |
|---|---|---|---|---|
| Author response to the independent replication 2026年8月17日 02:13 · 版本 1 | xiaobright 解决者 | 纠正 | 来源作者回应 | “the mechanism claim (trajectory anchoring) is strong; the ability claim is unresolved.” |
| Publish DeepSeek V4 Pro harness comparison results 2026年8月14日 03:15 · 版本 1 | xiaobright 提出者 | 提出 | Project2 原始实验与传播 | “DSH minimal + max 两跑为 99/96；同一 WSL/max 环境中，minimal 为 99/96，standard 为 91，PTC 为 92。” |
| windows下使用标准工具和极简模式思维链实现极简模式跑分 2026年8月14日 14:13 · 版本 1 | 小明XBright 传播者 | 支持 | Project2 原始实验与传播 | “官方 Standard/PTC 只有 91/92 分，Minimal 是 99/96，但只有两个工具。” |
| Multi-env test report: Ability 85–90, 98/99 not reproduced 2026年8月16日 02:40 · 版本 1 | JimMilk 挑战者 | 挑战 | 多环境复现 | “Ability 85–90，未复现 README 的 98/99。” |
| Independent replication: trajectory reproduces, ability gap does not 2026年8月16日 16:13 · 版本 1 | TipsyDrifter 挑战者 | 挑战 | 随机区组复现 | “The ability advantage did not reproduce at n=3. Means were standard 90.0, anchored-standard 93.3, whale-standard 90.7. One-way ANOVA F(2,6) = 1.05 — not significant.” |
| DeepSeek Harness 极简模式真能让 V4 Pro 变强？44 次工程实测！ 2026年8月17日 00:00 · 版本 1 | 程序员阿江-Relakkes 挑战者 | 挑战 | DeepSWE 与 Harbor 公开挑战 | “现有结果还不足以证明它能稳定增强工程能力。” |
04
测试条件差异
DeepSWE 与 Harbor 44 次公开汇总
程序员阿江-Relakkes · 未复现
| 协议字段 | 原始运行 | 复现运行 | 可比性 |
|---|---|---|---|
| 模型提供方• | DeepSeek official API | 未知 | 复现运行缺失 |
| 模型• | deepseek-v4-pro | deepseek-v4-pro | 一致 |
| 模型修订版• | 未知 | 未知 | 原始运行缺失 |
| 服务方式• | official API; route id not published | 未知 | 复现运行缺失 |
| Harness Commit• | 47f9438 lineage | 未知 | 复现运行缺失 |
| 预设• | minimal | minimal versus standard | 不一致 |
| 推理强度 | max | 未知 | 复现运行缺失 |
| Benchmark• | Project2 V4.1b | DeepSWE and Harbor | 不一致 |
| Benchmark Commit• | 04255b55f16c4439e538239fb9783070c4165081 | 未知 | 复现运行缺失 |
| 任务集• | one private project task | 22 comparisons; task-level artifacts not public | 不一致 |
| 评分器版本• | 未知 | 未知 | 原始运行缺失 |
| 运行次数 | 2 | 44 | 不一致 |
三环境 11 轮 Project2 复测
JimMilk · 未复现
| 协议字段 | 原始运行 | 复现运行 | 可比性 |
|---|---|---|---|
| 模型提供方• | DeepSeek official API | 未知 | 复现运行缺失 |
| 模型• | deepseek-v4-pro | deepseek-v4-pro | 一致 |
| 模型修订版• | 未知 | 未知 | 原始运行缺失 |
| 服务方式• | official API; route id not published | official endpoint; route id not published | 不一致 |
| Harness Commit• | 47f9438 lineage | DSH 0.1.0-rc.5 | 不一致 |
| 预设• | minimal | multiple minimal, standard, and anchored snapshots | 不一致 |
| 推理强度 | max | max | 一致 |
| Benchmark• | Project2 V4.1b | Project2 V4.1b | 一致 |
| Benchmark Commit• | 04255b55f16c4439e538239fb9783070c4165081 | 未知 | 复现运行缺失 |
| 任务集• | one private project task | same project; environment-specific limits | 不一致 |
| 评分器版本• | 未知 | 未知 | 原始运行缺失 |
| 硬件 | 未知 | macOS, Windows 11 ARM64 VM, Linux Lima aarch64 | 原始运行缺失 |
| 运行次数 | 2 | 11 | 不一致 |
3 区组 × 3 预设随机区组复现
TipsyDrifter · 无法判断
| 协议字段 | 原始运行 | 复现运行 | 可比性 |
|---|---|---|---|
| 模型提供方• | DeepSeek official API | 未知 | 复现运行缺失 |
| 模型• | deepseek-v4-pro | deepseek-v4-pro | 一致 |
| 模型修订版• | 未知 | 未知 | 原始运行缺失 |
| 服务方式• | official API; route id not published | official endpoint; route id not published | 不一致 |
| Harness Commit• | 47f9438 lineage | DSH 0.1.0-rc.6 | 不一致 |
| 预设• | minimal | anchored-standard | 不一致 |
| 推理强度 | max | max | 一致 |
| Benchmark• | Project2 V4.1b | Project2 V4.1b | 一致 |
| Benchmark Commit• | 04255b55f16c4439e538239fb9783070c4165081 | 04255b55f16c4439e538239fb9783070c4165081 | 一致 |
| 任务集• | one private project task | same project without ESP-IDF build | 不一致 |
| 评分器版本• | 未知 | 未知 | 原始运行缺失 |
| 硬件 | 未知 | Windows 11 | 原始运行缺失 |
| 运行次数 | 2 | 3 | 不一致 |
05
主张演化
发现
较早公开展示 V4 正式版灰测表现；没有证据表明该来源提出了 DSH Minimal 能力主张。
小小小名不是小明打开证据 ↗发现
当前监测范围内较早公开 Minimal、Standard 与 PTC 的 Project2 对照。
xiaobright打开证据 ↗传播
Bilibili 视频传播 Anchored 98/99，并公开互链两个 GitHub 仓库。
小明XBright打开证据 ↗失败复现
三环境 11 轮能力分数为 85–90，没有复现 98/99。
JimMilk打开证据 ↗复现
随机区组复现轨迹分离，但能力差异的置信区间跨 0。
TipsyDrifter打开证据 ↗挑战
44 次 DeepSWE/Harbor 汇总没有显示 Minimal 稳定增强工程能力。
程序员阿江-Relakkes打开证据 ↗作者补充
来源作者接受“轨迹机制强、能力主张未决”的限定结论。
xiaobright打开证据 ↗
当前结论
官方代码确认 Minimal 复刻 RL prompt/schema；两个独立实验复现了工具面与轨迹分离。该结论不等于能力提升。
适用范围
V4 Pro、DSH 0.1.0-rc.5/rc.6、Project2 与首请求探针。
受影响功能
影响 preset、工具 Schema、Agent 循环和轨迹诊断。
工具 · criticalAgent 循环 · high预设 · high
建议下一步
在同一版本和任务内分别消融 system prompt、工具 Schema 与 compaction。
研究与审核记录
生命周期
活跃
监测范围
截至 2026-08-22 审阅的 GitHub 与 Bilibili 公开来源
首发可信度 · 95%
本站首次发现 · 2026年8月22日 15:30
状态变更记录
验证状态 · 已有支持 → 已复现 · 2026年8月16日 16:13
两个独立实验在限定协议下复现了工具面与轨迹分离。
打开证据 ↗
证据、测试条件与进展
02
贡献者
403
证据对照表
3 独立来源| 来源 | 贡献者 | 立场 | 独立来源 | 原文引述 |
|---|---|---|---|---|
| 首轮工具 schema 是锚定的决定变量 2026年8月15日 04:26 · 版本 1 | Rtyyy233 复现者 | 复现 | 首请求 Schema 受控实验 | “minimal 的工具 schema 在 256000 下无需任何 maxTokens 封顶就能稳定锚定（5/5）。” |
| Minimal preset snapshot test at 47f9438 2026年8月13日 11:56 · 版本 1 | DeepSeek Harness Maintainers 综合整理者 | 中立 | 官方 Minimal 配置事实 | “sends the exact RL prompt and schemas” |
| Independent replication: trajectory reproduces, ability gap does not 2026年8月16日 16:13 · 版本 1 | TipsyDrifter 复现者 | 复现 | 全程轨迹随机区组复现 | “The trajectory anchoring is real and very robust. 9/9 runs separated perfectly by preset.” |
04
测试条件差异
45 会话首请求 Schema 探针
Rtyyy233 · 支持原主张
| 协议字段 | 原始运行 | 复现运行 | 可比性 |
|---|---|---|---|
| 模型提供方• | 未知 | DeepSeek official API | 原始运行缺失 |
| 模型• | deepseek-v4-pro | deepseek-v4-pro | 一致 |
| 模型修订版• | 未知 | 未知 | 原始运行缺失 |
| 服务方式• | 未知 | 未知 | 原始运行缺失 |
| Harness Commit• | 47f9438 lineage | DSH 0.1.0-rc.5 package | 不一致 |
| 预设• | minimal | minimal versus standard-family bootstrap | 不一致 |
| 推理强度 | max | max | 一致 |
| 工具 Schema | official minimal pair at 47f9438 | 未知 | 复现运行缺失 |
| Benchmark• | Project2 V4.1b and trajectory probes | first-request trajectory probe | 不一致 |
| Benchmark Commit• | 未知 | 未知 | 原始运行缺失 |
| 任务集• | 未知 | English probe, Project2 prompt, and Chinese task | 原始运行缺失 |
| 评分器版本• | 未知 | 未知 | 原始运行缺失 |
| 运行次数 | 未知 | 45 | 原始运行缺失 |
9 次完整 Project2 轨迹复现
TipsyDrifter · 支持原主张
| 协议字段 | 原始运行 | 复现运行 | 可比性 |
|---|---|---|---|
| 模型提供方• | 未知 | 未知 | 原始运行缺失 |
| 模型• | deepseek-v4-pro | deepseek-v4-pro | 一致 |
| 模型修订版• | 未知 | 未知 | 原始运行缺失 |
| 服务方式• | 未知 | 未知 | 原始运行缺失 |
| Harness Commit• | 47f9438 lineage | DSH 0.1.0-rc.6 | 不一致 |
| 预设• | minimal | standard versus anchored-standard versus whale-standard | 不一致 |
| 推理强度 | max | max | 一致 |
| 工具 Schema | official minimal pair at 47f9438 | 未知 | 复现运行缺失 |
| Benchmark• | Project2 V4.1b and trajectory probes | Project2 V4.1b | 不一致 |
| Benchmark Commit• | 未知 | 04255b55f16c4439e538239fb9783070c4165081 | 原始运行缺失 |
| 任务集• | 未知 | 未知 | 原始运行缺失 |
| 评分器版本• | 未知 | 未知 | 原始运行缺失 |
| 运行次数 | 未知 | 9 | 原始运行缺失 |
05
主张演化
复现
45 个受控会话支持首请求工具 Schema 与轨迹分离。
Rtyyy233打开证据 ↗
当前结论
固定仓库历史和两份运行评审一致；来源作者已修改 README。
适用范围
2026-08-14 的 Anchored Project2 历史运行，不代表当前 preset。
受影响功能
防止当前 exact-Minimal 工具对继承历史 98/99 分数。
文档 · critical工具 · high
建议下一步
以后所有分数旁保留 preset Commit 和首轮工具目录。
证据、测试条件与进展
02
贡献者
203
证据对照表
1 独立来源| 来源 | 贡献者 | 立场 | 独立来源 | 原文引述 |
|---|---|---|---|---|
| Attribute the 98/99 runs to the legacy pwsh/read configuration 2026年8月16日 12:27 · 版本 1 | MolecularFullerene 综合整理者 | 纠正 | 历史配置考证与作者修正 | “Those runs used the Minimal system prompt, but the first-request Windows tool surface was pwsh + read. After the first durable tool/call, the catalog changed to the full 25-tool Standard surface.” |
| Author confirms the provenance correction 2026年8月17日 02:15 · 版本 1 | xiaobright 解决者 | 支持 | 历史配置考证与作者修正 | “明确 98/99/99 三轮使用的是 Minimal 系统提示 + pwsh/read 首请求面 + 完整 25 工具晋升目录” |
04
测试条件差异
暂无独立复现记录。
05
主张演化
研究与审核记录 · 已审核传播图
06
已审核传播图
04- Author confirms the provenance correction回应 · 100%Attribute the 98/99 runs to the legacy pwsh/read configuration
- Author response to the independent replication回应 · 100%Independent replication: trajectory reproduces, ability gap does not
- Attribute the 98/99 runs to the legacy pwsh/read configuration纠正 · 100%Publish DeepSeek V4 Pro harness comparison results
- windows下使用标准工具和极简模式思维链实现极简模式跑分引用 · 100%Publish DeepSeek V4 Pro harness comparison results
来源时间线
- Bilibili打开来源 在新标签页打开
- 官方文档
Minimal preset snapshot test at 47f9438
打开来源 在新标签页打开 - GitHub Commit
Publish DeepSeek V4 Pro harness comparison results
打开来源 在新标签页打开 - Bilibili
windows下使用标准工具和极简模式思维链实现极简模式跑分
打开来源 在新标签页打开 - GitHub Issue打开来源 在新标签页打开
- GitHub Issue
Multi-env test report: Ability 85–90, 98/99 not reproduced
打开来源 在新标签页打开 - GitHub Issue
Attribute the 98/99 runs to the legacy pwsh/read configuration
打开来源 在新标签页打开 - GitHub Issue
Independent replication: trajectory reproduces, ability gap does not
打开来源 在新标签页打开 - Bilibili
DeepSeek Harness 极简模式真能让 V4 Pro 变强？44 次工程实测！
打开来源 在新标签页打开 - GitHub Issue
Author response to the independent replication
打开来源 在新标签页打开 - GitHub Issue
Author confirms the provenance correction
打开来源 在新标签页打开