功能
会话审计工作台
从 Session 轨迹识别 Skill、Workflow 和子 Agent。
三类审计
按 Skill、Root Workflow 和 Agent 声明选择审计范围。
真实报告
复用 SIFT 生成的 HTML 报告和结构化 JSON。
右侧报告面板
展示 summary、finding、证据和 turn 引用;点击引用可反向定位到 Trajectory 中的对应记录。
环境检查
检查 SIFT、Provider Auth 和审计服务。
适用场景与对象
核对声明与执行是否一致
修改 Skill、Workflow 或 Agent 指令后,用真实会话执行审计,得到结构化 finding、证据和 turn 引用。
复盘复杂会话和子代理
面对长链路任务时,从审计报告定位工具调用、错误重试与子代理执行,再回到对应轨迹核对原文。
沉淀可复查的审计记录
把审计报告按 Session 归档,复用历史结果做回归和验收,避免结论只停留在临时对话里。
使用前后效果对比
定性对比,不包含虚构测量数据。
使用前:在长会话里翻找证据
- 逐轮浏览用户请求、工具调用和返回结果。
- 手工对照 Skill 声明与执行轨迹。
- 报告结论与 turn 引用分散在不同视图。
使用后:在工作台查看结构化审计
- 从同一 Session 的历次报告快速进入。
- 集中查看 finding、证据与 turn 引用。
- 在右侧只读面板核对完整报告。
右侧报告面板
在审计报告卡点击「查看审计详情」,会打开目标 Session 并显示右侧审计报告面板。
1. 准备运行环境
| DSH | ^0.2.1-rc.2。 |
|---|---|
| Node.js | >=24。 |
| Python | >=3.10,用于准备 SIFT 运行时。 |
| SIFT | 由 Bundle 内置的 dsh-env-health 首次加载时自动准备;也可以复用 PATH 中已有的 sift。 |
| Provider | 可选。需要指令精炼、headline 或 AI critique 时准备凭据。 |
2. 安装 Bundle
从 1.0.x / 1.1.x 升级:DSH 市场只会提示更新,不能直接升级已安装插件。无论通过市场还是下方 add 命令升级,都请先移除旧 Bundle:dsh plugin --profile web remove @fuxi-ailabs/dsh-audit-bundle。若旧安装曾经使用共享 Runtime Bundle(例如 1.1.x 两包安装),再执行 dsh plugin --profile web remove @fuxi-ailabs/dsh-runtime-bundle;1.0.x 或从未安装该 Runtime 的 profile 不需要执行。随后从市场重新安装,或直接执行下方 add 命令安装 1.2.0。
实际使用中,您只需要一键安装 Session Audit Bundle:
dsh plugin --profile web add @fuxi-ailabs/dsh-audit-bundle@1.2.0
如果需要安装到别的 profile,请把命令中的 web 替换为目标 profile。
也可以在 DSH 插件市场中添加索引,找到 Session Audit 并安装。
https://fuxi-ailabs.github.io/dsh-plugin-market/index.json
安装完成后重启 DSH。首次审计时会自动准备 SIFT。
@fuxi-ailabs/dsh-audit-bundle3. Demo
下面视频展示会话选择、审计范围确认、finding 证据、turn 引用定位和历史报告。
4. 从工作台开始
打开左侧「会话审计」进入审计工作台。
选择会话把 Session 拖入工作台,或在 Session 行的「...」菜单中选择「审计会话」。
确定审计范围选择 Skill、Workflow 或 Agent,确认参数后开始审计。
查看报告与历史审计完成后查看报告、finding 和历史记录。
5. 检查运行环境
在「插件」→ Session Audit 的配置页检查审计依赖。检查会覆盖 SIFT、Provider Auth 和 siftAudit 服务。
| 检查项 | 说明 |
|---|---|
| SIFT | 检查 sift 是否可执行及版本;缺失时显示安装指引。 |
| Provider Auth | 检查可用的 provider 凭据;审计的确定性部分不依赖 LLM。 |
| Audit Service | 检查 siftAudit 是否已由 Host 挂载。 |
使用 CLI
以下命令直接在 DSH 会话输入框中执行,与工作台操作使用同一套审计能力。
/sift audit --kind skill --skill <name>
/sift audit --kind root
/sift audit --kind agent --agent <label>
Skill、Root Workflow 和 Agent 声明使用不同的审计范围;按目标和证据边界选择即可。
常用选项
/sift audit <path> --kind skill|root|agent
--sid <sid>
--no-subagents
--no-refine
--no-headline
确定性审计不依赖 LLM;需要指令精炼、headline 或 AI critique 时,才会使用 Provider 凭据。
使用条件与限制
SIFT 需要手动安装吗?
通常不需要。Bundle 内置的 dsh-env-health 会在首次加载或首次审计时自动准备 SIFT,并复用已有安装;也可以预先在 PATH 中提供 sift。
审计结果的质量受什么影响?
审计质量依赖 Session 证据完整性、子会话可读性和 Skill 声明位置。
turn 引用能反向定位吗?
可以。点击 finding 的 turn 引用,会打开对应会话的 Trajectory 并定位到相关记录。
历史记录保存在哪里?
审计报告默认保存在 ~/.dsh-audit/<session-id>/<run-id>/。