功能
Skill 工作台
浏览 System、Global、工作区和手动路径中的 Skill。
题集构建
初始化、追加题目、生成配置，并查看 evals.json 预览。
质量与基线
检查覆盖率、静态审阅题集并冻结基线。
执行验证
支持 Skill A/B Eval、Trigger 测试和真实任务 Run。
判决与报告
执行 Gate 并生成可浏览的静态 HTML 报告。
环境检查
在插件配置页检查 SIFT、Provider Auth 和评测服务。
评测流程
题集构建
初始化 evals.json、追加题目、生成配置并预览题目。
质量与基线
检查覆盖率、静态审阅题集，并冻结后续比较使用的基线。
执行验证
执行 Skill A/B Eval、Trigger 测试或真实任务 Run。
判决与报告
运行 Gate，查看通过情况并生成 HTML 报告。
适用场景与对象
发布前验证行为没有回退
为 Skill 建立题集，运行 A/B Eval 和 Trigger 测试，得到可对照的基线、Gate 结果与 HTML 报告。
比较 Prompt、模型和配置变化
固定题集与执行条件后重复评测，快速判断调整是否提升通过率，并定位具体失败题目。
形成可复查的验收依据
用统一题集、覆盖率和 Gate 结果完成发布评审，把结论沉淀为可分享的报告。
使用前后效果对比
定性对比，不包含虚构测量数据。
使用前：靠临时试跑判断
- 每次手动组织 Prompt 和任务输入。
- 难以复现上一轮测试条件。
- 结论散落在会话里，缺少统一 Gate。
使用后：按题集和基线验证
- 题集、配置和预览集中管理。
- 基线可复用，执行结果可以对照。
- Gate 与 HTML 报告形成可复查结论。
1. 准备运行环境
| DSH | ^0.2.1-rc.2。 |
|---|---|
| Node.js | >=24。 |
| Python | >=3.10，用于准备 SIFT 运行时。 |
| SIFT | 由 Bundle 内置的 dsh-env-health 首次加载时自动准备；也可以复用 PATH 中已有的 sift。 |
| Provider | 可选。生成题目、执行评测或 AI 语义评审时准备凭据。 |
2. 安装 Bundle
从 1.0.x / 1.1.x 升级：DSH 市场只会提示更新，不能直接升级已安装插件。无论通过市场还是下方 add 命令升级，都请先移除旧 Bundle：dsh plugin --profile web remove @fuxi-ailabs/dsh-eval-bundle。若旧安装曾经使用共享 Runtime Bundle（例如 1.1.x 两包安装），再执行 dsh plugin --profile web remove @fuxi-ailabs/dsh-runtime-bundle；1.0.x 或从未安装该 Runtime 的 profile 不需要执行。随后从市场重新安装，或直接执行下方 add 命令安装 1.2.0。
实际使用中，您只需要一键安装 Skill Eval Bundle：
dsh plugin --profile web add @fuxi-ailabs/dsh-eval-bundle@1.2.0如果需要安装到别的 profile，请把命令中的 web 替换为目标 profile。
也可以在 DSH 插件市场中添加索引，找到 Skill Eval · Skill 评测 并安装。
https://fuxi-ailabs.github.io/dsh-plugin-market/index.json安装完成后重启 DSH。首次使用时会按需准备 SIFT 运行时。
@fuxi-ailabs/dsh-eval-bundle3. Demo
下面视频展示 Skill 选择、题集与 Coverage 检查、Eval AB 执行、Gate 结论和 HTML 报告。
4. 从工作台开始
打开左侧「Skill评测」进入 Skill 工作台。
选择或添加 Skill选择已有 Skill，或通过「添加路径」加入 Skill 目录。
按四步推进在右侧从「题集构建」开始，逐步完成题集、基线、执行和报告。
快速试跑或执行完整工作流可以使用「试跑」快速验证 Skill，或在命令行执行完整的
/eval-suite工作流。
5. 检查运行环境
在「插件」→ Skill Eval 的配置页检查运行依赖。检查只读取环境，不修改插件配置。
| 检查项 | 说明 |
|---|---|
| SIFT | 检查 sift 是否可执行；由 Bundle 内置的 dsh-env-health 统一准备。 |
| Provider Auth | 可选。生成题目、调用模型和 AI 语义评审需要可用凭据。 |
| Eval Suite Service | 检查 Host 是否已挂载 evalSuite 服务。 |
使用 CLI
以下命令直接在 DSH 会话输入框中执行，与工作台操作使用同一套评测能力。
/eval-suite init <skill-path>
/eval-suite coverage <skill-path>
/eval-suite inspect <evals-path>
/eval-suite eval <skill-path> --evals <evals-path>
/eval-suite trigger <skill-path> --evals <evals-path>
/eval-suite run <skill-path> --task "<task>"
/eval-suite gate <benchmark-path>
/eval-suite report <workspace>Agent 声明
Agent 声明可使用 --kind agent 进行绝对质量评测。
/eval-suite eval <agent-path> --kind agent使用条件与限制
评测会消耗模型额度吗？
实际试题生成、模型调用和执行验证会消耗时间与模型额度。
评测结果受什么影响？
评测质量取决于 Skill 声明、题集覆盖、任务输入和执行环境。
inspect 会产生通过或失败判决吗？
不会。inspect 只静态审阅 evals.json，不产生通过或失败判决。
如何判断 Skill 质量？
Gate 与报告需要已有执行产物；不要用未完成的运行结果判断 Skill 质量。