评测证据不一致
J-Space Benchmark：强增益主张、复现分歧与协议错位
原始九项 Benchmark 只有单次汇总；独立结果有正有反，其中 Standard、自部署和不同任务的运行不能直接反证 Minimal 协议。
根据原始讨论自动整理，来源与完整记录可在下方查看。
讨论要点
最近进展
查看核验记录与完整证据
证据与时间线
目前结论
原始结果已报告，但泛化性未验证；协议不一致的反向结果不等于 contradicted。
维护者回应
未找到可核验的维护者回应
尚未处理
修正结论的前提
同协议独立复现与完整逐题材料会升级结论；若完整材料显示差异落在自然波动或协议混杂内，结论会降级。
当前结论
原始结果表缺逐题结果、trajectory、run ID、端点、commit 与 scorer；邻接实验没有形成一致的大幅增益。
适用范围
V4 Flash/Pro、作者报告的单次项目级 Benchmark 记录。
受影响功能
影响社区 Skill 选型、评测可信度和文档边界。
Skills · high评测 · critical文档 · high
建议下一步
先公开任务 ID、逐题结果、trajectory、run ID、费用、重试和排除规则，再评估九项强主张。
研究与审核记录
生命周期
活跃
监测范围
截至 2026-08-22 审阅的 GitHub 与 Bilibili 公开来源
首发可信度 · 100%
本站首次发现 · 2026年8月22日 15:30
状态变更记录
验证状态 · 未知 → 尚未验证 · 2026年8月16日 11:39
强结果表只有单次汇总，缺少任务级材料。
打开证据 ↗
支持它的证据
作者公开了九项结果表、Minimal + J-Space 协议摘要和若干单次成绩。
与它冲突的证据
自建任务 A/B 无显著差异，SWE-bench Pro 151 汇总中四个 preset 收敛，作者随后收窄为工程观察而非因果证明。
反方核心论据
邻接实验并非九项原始 Benchmark 的同协议复现，因此它们只能降低外推可信度，不能直接推翻原始每项结果。
缺失证据
缺少任务 ID、逐题结果、raw trajectory、run ID、端点、commit、scorer、费用、重试与排除规则。
验证方案
公开原始九项运行包，并由独立方在相同 Minimal + J-Space 协议下重复至少一项强增益与一项无增益结果。
修正结论的前提
同协议独立复现与完整逐题材料会升级结论；若完整材料显示差异落在自然波动或协议混杂内，结论会降级。
适用范围与边界
公开材料只允许评价报告完整度与相邻证据张力，不能重算未公开的九项原始运行。
证据、测试条件与进展
02
贡献者
403
证据对照表
3 独立来源| 来源 | 贡献者 | 立场 | 独立来源 | 原文引述 |
|---|---|---|---|---|
| Replace report with v3.6.1 engineering observations record 2026年8月18日 15:49 · 版本 1 | Tiger3807861189 解决者 | 纠正 | 原始报告与作者修订 | “它不是研究论文，非学术性质，不提供模型内部机制证明、形式化判定方法、消融设计或因果贡献分解。” |
| Independent A/B verification on DeepSeek V4-Flash 2026年8月17日 03:12 · 版本 1 | HHHEEEWWW 挑战者 | 挑战 | 自建任务 A/B | “在最终任务完成度上，A/B 无显著差异” |
| 关于有很大提升，但是不稳定的回复 2026年8月17日 09:59 · 版本 1 | Tiger3807861189 综合整理者 | 支持 | 原始报告与作者修订 | “它塑造的是倾向，不是保证” |
| Add DeepSeek V4 × J-Space capability realization report 2026年8月16日 11:39 · 版本 1 | Tiger3807861189 提出者 | 提出 | 原始报告与作者修订 | “J-Space 是一个插件，已通过 benchmark 验证了它对于 Deepseek 的提升巨大，flash基本持平 GLM5.3，pro超越Fable 5。” |
| SWE-bench Pro 151 · DeepSeek Harness vs OpenCode 最终评测报告 2026年8月19日 07:30 · 版本 1 | suyoumo 挑战者 | 挑战 | SWE-bench Pro 151 汇总 | “四个 preset 成绩收敛在 109-114（72-76%），差距（2-5 题）小于同配置重跑的自然波动。” |
04
测试条件差异
SWE-bench Pro 151 单轮 preset 对照
suyoumo · 未复现
| 协议字段 | 原始运行 | 复现运行 | 可比性 |
|---|---|---|---|
| 模型提供方• | DeepSeek official API claimed; endpoint not published | 未知 | 复现运行缺失 |
| 模型• | V4-Flash-0731 and V4-Pro-0813 | DeepSeek V4 Flash | 不一致 |
| 模型修订版• | 未知 | 未知 | 原始运行缺失 |
| 服务方式• | 未知 | 未知 | 原始运行缺失 |
| Harness Commit• | 未知 | 未知 | 原始运行缺失 |
| 预设• | DSH Minimal + J-Space | jspace versus minimal and standard | 不一致 |
| 推理强度 | max | max | 一致 |
| Benchmark• | nine benchmark summary | SWE-bench Pro | 不一致 |
| Benchmark Commit• | 未知 | zh release v30 aligned | 原始运行缺失 |
| 任务集• | 未知 | 151 tasks across six repositories | 原始运行缺失 |
| 评分器版本• | 未知 | 未知 | 原始运行缺失 |
| 运行次数 | 1 | 1 | 一致 |
| Temperature | 1 | 未知 | 复现运行缺失 |
| Top P | 0.95 | 未知 | 复现运行缺失 |
自建任务两轮 A/B
HHHEEEWWW · 未复现
| 协议字段 | 原始运行 | 复现运行 | 可比性 |
|---|---|---|---|
| 模型提供方• | DeepSeek official API claimed; endpoint not published | 未知 | 复现运行缺失 |
| 模型• | V4-Flash-0731 and V4-Pro-0813 | DeepSeek V4-Flash | 不一致 |
| 模型修订版• | 未知 | 未知 | 原始运行缺失 |
| 服务方式• | 未知 | local DSH environment; endpoint not published | 原始运行缺失 |
| Harness Commit• | 未知 | 未知 | 原始运行缺失 |
| 预设• | DSH Minimal + J-Space | control versus J-Space | 不一致 |
| 推理强度 | max | 未知 | 复现运行缺失 |
| Benchmark• | nine benchmark summary | custom reasoning, repository, and recovery tasks | 不一致 |
| Benchmark Commit• | 未知 | 未知 | 原始运行缺失 |
| 任务集• | 未知 | three tasks with three runs per arm in round two | 原始运行缺失 |
| 评分器版本• | 未知 | 未知 | 原始运行缺失 |
| 运行次数 | 1 | 12 | 不一致 |
| Temperature | 1 | 未知 | 复现运行缺失 |
| Top P | 0.95 | 未知 | 复现运行缺失 |
05
主张演化
发现
当前监测范围内首次观察到九项 Benchmark 的强增益主张。
Tiger3807861189打开证据 ↗传播
公开视频同时使用 J-Space 与风V3Router，属于组合处理，不能归因于 J-Space 单变量。
小小小名不是小明打开证据 ↗挑战
自建任务 A/B 没有观察到完成度提升，并报告更高 Token 与时间开销。
HHHEEEWWW打开证据 ↗作者补充
来源作者把效果描述为“倾向，不是保证”，同时仍主张较大提升。
Tiger3807861189打开证据 ↗文档变化
来源作者将文档改为“Benchmark 与工程观察记录”，明确不提供机制证明或因果分解。
Tiger3807861189打开证据 ↗挑战
SWE-bench Pro 151 的固定 README 汇总报告 J-Space 与 Minimal 持平、低于 Standard；未公开逐题文件。
suyoumo打开证据 ↗
当前结论
近匹配 Minimal 复现报告略降，小样本报告微弱正方向；Standard 自部署结果存在关键协议差异，不能直接反证。
适用范围
V4 Flash-0731、DSH Minimal、Terminal Bench 2.1 的开关实验。
受影响功能
影响 DSH Minimal 下 Skill 的推荐与 TB2.1 解读。
Skills · high预设 · critical评测 · critical
建议下一步
固定 Minimal、端点、Commit、Scorer 与任务 ID，预注册配对重复并公开 trajectory。
研究与审核记录
生命周期
活跃
监测范围
截至 2026-08-22 审阅的 GitHub 与 Bilibili 公开来源
首发可信度 · 100%
本站首次发现 · 2026年8月22日 15:30
状态变更记录
验证状态 · 尚未验证 → 证据不一致 · 2026年8月19日 05:11
近匹配失败复现与小样本正方向并存，且材料仍不完整。
打开证据 ↗
证据、测试条件与进展
02
贡献者
403
证据对照表
4 独立来源| 来源 | 贡献者 | 立场 | 独立来源 | 原文引述 |
|---|---|---|---|---|
| GoForceX clarifies the TB2.1 subset and concurrency 2026年8月17日 02:03 · 版本 1 | GoForceX 复现者 | 中立 | 近匹配 Minimal 反向运行 | “terminal bench 2.1 的一个子集（87 道题，去掉了 2 道）” |
| TB2.1 分数在 DSH Minimal + J-Space Skill 下无法复现 2026年8月16日 14:42 · 版本 1 | GoForceX 挑战者 | 挑战 | 近匹配 Minimal 反向运行 | “添加 J-Space Skill 后的 benchmark 成绩略有下降” |
| 无法复现报告中提供的 Terminal Bench 2.1 正确率 2026年8月18日 15:06 · 版本 1 | Jyleaves 挑战者 | 挑战 | Standard 自部署反向运行 | “本复现在NVIDIA H20 96G x8 上自部署Deepseek V4 Flash-0731完成。使用dsh standard+jspace。” |
| 独立 A/B 复现：TB2 18 任务的小样本正方向 2026年8月19日 05:11 · 版本 1 | thl1173653555-create 复现者 | 支持 | 18 题小样本正方向 | “Control 10/18（55.6%），J-Space 11/18（61.1%），方向上 J-Space 略优但只多对 1 个任务，单次样本达不到统计显著。” |
| Add DeepSeek V4 × J-Space capability realization report 2026年8月16日 11:39 · 版本 1 | Tiger3807861189 提出者 | 提出 | 原始 TB2.1 单次结果 | “Terminal Bench 2.1：V4-Flash 82.7，V4-Flash + J-Space 87.1，V4-Pro 87.9，V4-Pro + J-Space 90.1。” |
| 无法复现报告中提供的 Terminal Bench 2.1 正确率 2026年8月18日 15:08 · 版本 1 | Jyleaves 传播者 | 挑战 | Standard 自部署反向运行 | “单次测试正确率69题/89题≈77.5%” |
04
测试条件差异
87 题 DSH Minimal 近匹配反向运行
GoForceX · 未复现
| 协议字段 | 原始运行 | 复现运行 | 可比性 |
|---|---|---|---|
| 模型提供方• | DeepSeek official API claimed; endpoint not published | 未知 | 复现运行缺失 |
| 模型• | V4-Flash-0731 | 未知 | 复现运行缺失 |
| 模型修订版• | 0731 | 未知 | 复现运行缺失 |
| 服务方式• | 未知 | 未知 | 原始运行缺失 |
| Harness Commit• | 未知 | 未知 | 原始运行缺失 |
| 预设• | DSH Minimal | DSH Minimal | 一致 |
| 推理强度 | max | 未知 | 复现运行缺失 |
| Benchmark• | Terminal Bench 2.1 | Terminal Bench 2.1 | 一致 |
| Benchmark Commit• | 未知 | 未知 | 原始运行缺失 |
| 任务集• | 未知 | 87-task subset; two tasks removed | 原始运行缺失 |
| 评分器版本• | 未知 | 未知 | 原始运行缺失 |
| 并发数 | 未知 | high | 原始运行缺失 |
| 运行次数 | 1 | 1 | 一致 |
| Temperature | 1 | 未知 | 复现运行缺失 |
| Top P | 0.95 | 未知 | 复现运行缺失 |
Standard + 自部署 H20 的 89 题运行
Jyleaves · 未复现
| 协议字段 | 原始运行 | 复现运行 | 可比性 |
|---|---|---|---|
| 模型提供方• | DeepSeek official API claimed; endpoint not published | self-hosted | 不一致 |
| 模型• | V4-Flash-0731 | V4-Flash-0731 | 一致 |
| 模型修订版• | 0731 | 0731 | 一致 |
| 服务方式• | 未知 | NVIDIA H20 96G x8 self-hosted | 原始运行缺失 |
| Harness Commit• | 未知 | 未知 | 原始运行缺失 |
| 预设• | DSH Minimal | DSH Standard + J-Space | 不一致 |
| 推理强度 | max | 未知 | 复现运行缺失 |
| Benchmark• | Terminal Bench 2.1 | Terminal Bench 2.1 | 一致 |
| Benchmark Commit• | 未知 | 未知 | 原始运行缺失 |
| 任务集• | 未知 | 89 tasks | 原始运行缺失 |
| 评分器版本• | 未知 | 未知 | 原始运行缺失 |
| 运行次数 | 1 | 1 | 一致 |
| Temperature | 1 | 未知 | 复现运行缺失 |
| Top P | 0.95 | 未知 | 复现运行缺失 |
Harbor + terminus-2 的 18 题小样本 A/B
thl1173653555-create · 部分支持
| 协议字段 | 原始运行 | 复现运行 | 可比性 |
|---|---|---|---|
| 模型提供方• | DeepSeek official API claimed; endpoint not published | 未知 | 复现运行缺失 |
| 模型• | V4-Flash-0731 | DeepSeek V4 Flash; source also says flash 116 | 不一致 |
| 模型修订版• | 0731 | 未知 | 复现运行缺失 |
| 服务方式• | 未知 | 未知 | 原始运行缺失 |
| Harness Commit• | 未知 | 未知 | 原始运行缺失 |
| 预设• | DSH Minimal | Harbor + terminus-2 neutral carrier | 不一致 |
| 推理强度 | max | max | 一致 |
| Benchmark• | Terminal Bench 2.1 | Terminal-Bench 2 | 不一致 |
| Benchmark Commit• | 未知 | 未知 | 原始运行缺失 |
| 任务集• | 未知 | 18 tasks | 原始运行缺失 |
| 评分器版本• | 未知 | 未知 | 原始运行缺失 |
| 运行次数 | 1 | 1 | 一致 |
| Temperature | 1 | 未知 | 复现运行缺失 |
| Top P | 0.95 | 未知 | 复现运行缺失 |
05
主张演化
加载文本 Skill 已经读取或干预了模型内部 J-space。
当前结论
公开实现没有 J-lens、隐藏激活读出或因果干预；当前只能支持文本协议改变外部流程或行为。
适用范围
公开 J-Space Skill 实现与外部推理时工作流。
验证状态
尚未验证
维护者回应
尚未处理
作者回应
尚未记录回应
目前找到的最早来源
未知
未知
受影响功能
影响 Skill 文档、架构表述和用户对机制的理解。
Skills · high文档 · critical
建议下一步
把外部工作流效果与内部机制主张分开；若主张内部干预，公开读出和消融材料。
研究与审核记录
生命周期
活跃
监测范围
截至 2026-08-22 审阅的 GitHub 公开来源；原始提出者未知
首发可信度 · 0%
本站首次发现 · 2026年8月22日 15:30
状态变更记录
验证状态 · 未知 → 尚未验证 · 2026年8月18日 11:34
公开材料缺少内部读出、干预和消融证据。
打开证据 ↗
证据、测试条件与进展
02
贡献者
203
证据对照表
2 独立来源| 来源 | 贡献者 | 立场 | 独立来源 | 原文引述 |
|---|---|---|---|---|
| Replace report with v3.6.1 engineering observations record 2026年8月18日 15:49 · 版本 1 | Tiger3807861189 解决者 | 纠正 | 来源作者文档收窄 | “不提供模型内部机制证明、形式化判定方法、消融设计或因果贡献分解。” |
| 文本 examples 与内部 J-Space 机制的边界 2026年8月18日 11:34 · 版本 1 | WeZZard 挑战者 | 挑战 | 内部机制边界挑战 | “加载 examples 确实可以塑造模型行为，但这不等于介入了 J-Space。” |
04
测试条件差异
暂无独立复现记录。
05
主张演化
挑战
方法挑战区分了文本 examples 塑造行为与内部 J-space 干预。
WeZZard打开证据 ↗
研究与审核记录 · 已审核传播图
06
已审核传播图
04- 关于有很大提升，但是不稳定的回复引用 · 100%【似是故人来】爱.信.等. V4 Flash 双叉臂 使用 Jspace+风V3Router
- GoForceX clarifies the TB2.1 subset and concurrency更新 · 100%TB2.1 分数在 DSH Minimal + J-Space Skill 下无法复现
- Replace report with v3.6.1 engineering observations record纠正 · 100%Add DeepSeek V4 × J-Space capability realization report
- 无法复现报告中提供的 Terminal Bench 2.1 正确率转载 · 100%无法复现报告中提供的 Terminal Bench 2.1 正确率
来源时间线
- GitHub Commit
Add DeepSeek V4 × J-Space capability realization report
打开来源 在新标签页打开 - GitHub Issue
TB2.1 分数在 DSH Minimal + J-Space Skill 下无法复现
打开来源 在新标签页打开 - Bilibili
【似是故人来】爱.信.等. V4 Flash 双叉臂 使用 Jspace+风V3Router
打开来源 在新标签页打开 - GitHub Issue
GoForceX clarifies the TB2.1 subset and concurrency
打开来源 在新标签页打开 - GitHub Issue
Independent A/B verification on DeepSeek V4-Flash
打开来源 在新标签页打开 - GitHub Issue打开来源 在新标签页打开
- GitHub Issue打开来源 在新标签页打开
- GitHub Issue
无法复现报告中提供的 Terminal Bench 2.1 正确率
打开来源 在新标签页打开 - GitHub Issue
无法复现报告中提供的 Terminal Bench 2.1 正确率
打开来源 在新标签页打开 - GitHub Commit
Replace report with v3.6.1 engineering observations record
打开来源 在新标签页打开 - GitHub Issue打开来源 在新标签页打开
- GitHub Commit
SWE-bench Pro 151 · DeepSeek Harness vs OpenCode 最终评测报告
打开来源 在新标签页打开
相关事件
- 评测尚未验证
调查线索：benchmark: step5-preview S1-S24 双臂运行归档 + 双判分结果
首条原文《benchmark: step5-preview S1-S24 双臂运行归档 + 双判分结果》写道：“StepFun Step 5 Preview（OpenCode Zen 供应，公开发布名；预览端点背后精确 checkpoint 未经独立验证；opencode 编排）在 S 系列基准上的完整 24 题双臂运行、双判分与重跑 follow-up 归档。”。目前只收录了这一份原文。
4 个来源· GitHub - 评测尚未验证
调查线索：feat(benchmark): S18 terminal sprite render trap (half-block SGR leak, trim ghosting, timer pinning)
首条原文《feat(benchmark): S18 terminal sprite render trap (half-block SGR leak, trim ghosting, timer pinning)》写道：“Summary Adds benchmark task S18-terminal-sprite-render-trap (static, read-only report): a terminal half-block sprite renderer whose three independent rendering bugs (SGR background”。另有 36 份相关原文已收录，正在比对它们是否描述同一件事。
42 个来源· GitHub / Blog - 评测尚未验证
调查线索：feat(benchmark): H22 not-listed trap — the package that installs but never registers
首条原文《feat(benchmark): H22 not-listed trap — the package that installs but never registers》写道：“Distilled from a real top-tier failure: anywhere-labs/dsh-desktop (22k★) failed our 50-plugin live verification on 09-01 with exactly this shape — dsh plugin add succeeds, the entr”。另有 31 份相关原文已收录，正在比对它们是否描述同一件事。
32 个来源· GitHub / Blog