主要组成
实际使用中,您只需要一键安装 @fuxi-ailabs/dsh-score-bundle@1.2.0,即可获得完整的会话评分能力。
| 组成 | 版本 | 作用 |
|---|---|---|
| Score Bundle安装入口 | 1.2.0 | 一次安装完整的评分能力,自带 provider-auth、env-health、Host 和 UX。 |
| dsh-scoreHost 插件 | 1.2.0 | 注册 /score,负责导入、读卡、重算、语义评审和覆盖度对账。 |
| dsh-score-uxWeb UX 插件 | 1.2.0 | 渲染六维评分圆盘、维度详情、重算按钮和语义评审入口。 |
| dsh-provider-auth共享认证 | 1.1.0 | 解析显式配置、环境变量或 DSH credentials,供语义评审借用模型连接。 |
| dsh-env-health共享运行时 | 1.2.0 | 管理 Context-Insight CLI 的探测、安装和并发安装锁;与 Observe 同时安装时复用同一实例。 |
| Context-Insight评分运行时 | 0.2.41 | 提供六维评分卡、覆盖度、证据与服务端评分页面。 |
新版评分体验
六维评分圆盘
六个扇区对应完成度、行为可信、完成质量、完成效率、冗余度和自主性;中心显示总分。
维度详情
点击扇区打开详情面板,查看权重、子项、证据、基线、计算口径和未覆盖项。
确定性重算
点击圆形箭头重新运行确定性评分,不调用大模型,不消耗评审 token。
语义评审
点击圆盘中心下方的语义评审图标;悬浮会立即显示“语义评审”,执行前先探测 Provider。
适合哪些场景
- 任务质量复盘:快速判断一次会话在六个维度上的强项与主要失分点。
- Prompt / Skill 前后对比:保持同一评分口径,对比修改前后的总分、覆盖度和维度变化。
- 问题定位:展开低分维度,查看具体子项、证据、轮次和计算口径。
- 语义复核:对确定性评分无法判断的质量问题,按需启动 LLM 语义评审。
使用前后对比
没有 Score
- 会话结束后只能凭经验判断完成质量,缺少统一的六维判断口径。
- 需要人工翻阅 Turn、工具调用和长文本输出,才能寻找质量问题的证据。
- Prompt 或 Skill 调整后,难以用同一套指标比较前后变化。
使用 Score 后
- 同一会话点击“打分”即可获得总分、覆盖度和六维结果。示例会话为 5.7 分、覆盖 59%。
- 展开 D4 完成效率(示例 8.2 分)可直接查看 token、LLM 时长、工具时长、并行度、轮次和压缩次数等证据。
- 需要复核时先执行零 LLM 的确定性重算,只有主动使用语义评审才调用模型。
边界与成本
默认评分和重算使用确定性规则,不调用 LLM。语义评审和 /score --semantic 会调用配置的 Provider,并可能产生模型费用。
Score 不提供 Turn、Trace、Subagent 等观测页面;需要观测时请安装 Observe Bundle。两个 Bundle 同时安装不会重复下载 Insight,也不会重复挂载 env-health。
1. 准备运行环境
| DSH | ^0.2.1-rc.2。 |
|---|---|
| Node.js | >=24。 |
| npm | 首次下载 Context-Insight 运行时需要 npm 和网络。 |
| Provider | 确定性评分不需要;语义评审需要 Provider 配置、环境变量或 DSH credentials。 |
2. 安装 Score Bundle
dsh plugin --profile web add @fuxi-ailabs/dsh-score-bundle@1.2.0
如果目标不是 web profile,请替换命令中的 profile 名。
DSH 市场中也可以搜索 Score · DSH 会话评分 进行安装:
https://fuxi-ailabs.github.io/dsh-plugin-market/index.json
@fuxi-ailabs/dsh-score-bundle3. 完成第一次评分
3.1 启动 DSH
dsh web
3.2 打开一个会话
完成或打开一个已有会话后,页面顶部会出现独立的“打分”入口。

3.3 点击“打分”
Score 会刷新导入当前会话并读取评分卡。默认执行确定性评分,不调用大模型。

3.4 使用语义评审
点击圆盘中心下方的语义评审图标。鼠标悬浮会显示“语义评审”;点击后先探测 Provider,再执行模型评审。
3.5 验证结果
检查总分、六个维度、覆盖度与证据是否加载。若显示未覆盖项,可重新导入会话后再重算。

4. 功能演示
/score 命令
命令与页面上的“打分”入口等价;默认刷新导入后读取评分卡,没有缓存时计算确定性层。
以下命令在 DSH 的会话输入框中发送,不是在系统终端执行。
/score
/score --sid <sid>
/score --no-import
/score --recalc
/score --semantic
/score --probe-provider
/score --status
| 参数 | 用途 |
|---|---|
--sid <sid> | 读取指定会话的评分卡。 |
--no-import | 跳过导入,只读已有评分卡。 |
--recalc | 强制重算确定性层,不调用 LLM。 |
--semantic | 执行语义评审,会调用 Provider 并消耗 token。 |
--probe-provider | 只探测语义评审 Provider 连通性。 |
--confirm <item>=fine|problem | 人工确认某个疑似项。 |
--bench <0-100> | 写入外部基准分数。 |
--open / --json | 打开完整评分页,或保存完整评分卡 JSON。 |
--base <url> / --status | 指定服务地址,或只检查服务状态。 |
FAQ
Score 和 Observe 必须一起安装吗?+
不需要。Score Bundle 自带导入和评分能力,可以在没有 Observe 的情况下单独使用;同时安装时会共享 env-health 和 Context-Insight 服务。
以前装过 Insight,安装前要移除旧包吗?+
要。Insight 已拆分为 Observe 和 Score,不再提供 @fuxi-ailabs/dsh-insight-bundle。如果当前 profile 还显示已安装的 Insight Bundle,请先在 DSH「插件」页移除旧包。若同时装有 1.1.x 的 Session Audit、Skill Eval 或 Static Check,请先一并升级到 1.2 Bundle;否则不要先删除共享 Runtime Bundle,因为这些旧插件仍依赖它。确认没有其他旧消费者后,再执行 dsh plugin --profile web remove @fuxi-ailabs/dsh-runtime-bundle,并安装当前 Bundle。
默认评分会调用大模型吗?+
不会。默认读卡和重算都是确定性路径。只有主动使用语义评审或显式执行 --semantic 才会调用 Provider。
为什么某些维度显示“—”?+
通常表示证据不足、数据未覆盖,或该维度依赖语义评审。展开维度详情可以查看具体原因。
为什么有覆盖度不足提示?+
可能是子代理或最新轮次尚未导入。重新导入当前会话后,再点击重算。
重算和语义评审有什么区别?+
重算只运行确定性规则,速度快且不产生模型费用;语义评审会调用模型,用于判断需要语义理解的质量问题。
没有观测页面就不能定位评分证据吗?+
Score 详情面板会展示子项、证据和计算口径;需要查看完整 Turn、Trace 或 Subagent 链路时,请安装 Observe Bundle。
使用条件与限制
- 首次准备运行时需要 npm 和网络。
- 语义评审需要可用 Provider,并可能产生 token 费用。
- 评分结果受导入覆盖度、Context-Insight 版本和评分档案影响。
- 重算不会自动修复缺失数据;覆盖度不足时应重新导入。