风险调查：AgentDojo 提示注入与 DSH 的未验证边界

支持它的证据

AgentDojo 在四个合成环境、629 个安全用例中观察到针对性恶意动作；GPT-4o + important_instructions + no defense 的固定仓库结果为 47.69% targeted ASR。

与它冲突的证据

DSH 公开设计包含 fail-closed 的一次性 User Approval、绑定 Sandbox/Approval 的 Permission Presets，以及默认 read-only 的 Sandbox Policy。

反方核心论据

模型生成恶意工具调用不等于 DSH 执行了调用；Approval 或 Sandbox 拦截也不等于发生安全失陷。现有设计缓解可能显著降低端到端危害。

缺失证据

缺少固定 DSH 提交、固定模型与 Preset 下的原始 trajectory、Approval 决策、Sandbox 结果、环境前后状态 Diff，以及独立复现。

验证方案

把 AgentDojo 629 个安全用例与 97 个 benign tasks 接入固定 DSH；预注册模型、Preset、权限和攻击，分别计数恶意调用生成率、策略拦截率与未经授权状态变化率。

修正结论的前提

若 DSH 在保留可接受 benign utility 的同时稳定阻止未经授权状态变化，风险判断将降低；若未经用户授权仍出现可复核环境变化，将升级为 DSH-specific security failure。

支持它的证据

固定 raw artifacts 重算为 315/629 utility under attack 和 300/629 targeted ASR；论文主表、结果表与 Notebook 显示同一百分比。

与它冲突的证据

Benchmark 环境、工具、任务与模型均不是 DSH；所有公开数字是同一底层运行的不同呈现。

反方核心论据

合成任务中的 targeted ASR 可能高估或低估真实 DSH 风险，尤其当 Approval、Sandbox、用户行为和插件权限不同。

缺失证据

缺少 DSH adapter、DSH trajectory、策略决策日志、真实副作用 Diff 和独立重复运行。

验证方案

在不改变任务语义的前提下将同一 suite 接入 DSH，并预注册端到端攻击成功定义。

修正结论的前提

固定 artifact 若无法重算 300/629 会削弱当前判断；独立复算一致会提高对 AgentDojo 范围内结果的信心，但仍不会证明 DSH 风险率。

支持它的证据

主结果表、仓库结果表、Notebook 与 300/629 raw count 为 47.69%，附录防御表为 57.69%；环境表 caption 为 70，正文、四行及 v0.1.22 TOOLS 列表支持 74。

与它冲突的证据

附录还存在 50.01/50.08 与 69.00/69.07 的聚合或版本漂移，部分差异可能来自表格生成时间或口径，而不一定改变定性结论。

反方核心论据

若作者能证明 57.69 与 70 来自明确不同、已记录的 suite 版本或过滤规则，这些数字将是范围差异而非错误。

缺失证据

缺少表格生成 manifest、数据 commit 对应关系、过滤条件和作者勘误。

验证方案

从固定 raw runs 重新生成所有相关表，并发布每个表的代码、输入 hash、suite commit 和行数。

修正结论的前提

可重算 manifest 若证明两组数字对应不同协议，将把“冲突”改为“范围差异”；作者勘误确认笔误则关闭审计问题但保留修订记录。