评测

开关记忆配对对照#

2026-11-01 公开开发数据复跑。同一测试任务分别开、关记忆，使用相同模型与预算。每类先有一次独立学习，测试项目不含学习项目的 NOTES.md。

项	值
任务	10 类合成任务，每类 12 对，共 120 对；全部纳入，未排除失败任务
模型与宿主	请求名 claude-sonnet-5；DSH 0.1.6-alpha.2，经既有模型中继调用
预算	每臂最多 10 次工具结果、300 秒
关记忆完成	45 / 120（37.50%）
开记忆完成	104 / 120（86.67%）
配对差值	+49.17 个百分点，95% 区间 +37.97～+58.49
只有一方完成	只有开记忆完成 64 对，只有关记忆完成 5 对
显著性	McNemar 双侧精确检验 p = 4.1192×10⁻¹⁴
按任务族	9 类净差为正，1 类持平；统计对象为合成任务，同族实例可能相关
服务异常	本轮模型服务错误、开关核验失败和不完整对照均为 0

本组对照比较固定预算下开关记忆的任务完成情况。平均墙钟 ON 38.044 秒、OFF 36.676 秒。

评测数据已随 CrowdMemory PR #7 合入 main。原始结果与复算方法中的 E1 目录公开 250 条学习及测试运行的结果、预算、开关核验和摘要；任务生成器与冻结规格在 datasets/crowdmemory-e1/。

另一个实验固定 10 个学习任务的真实执行轨迹，重放实际配置改动并核对测试结果，生成 20 个 Episode。PR4 前后使用完全相同的 Episode 文件，来源为受控生成任务上的真实执行。

分别运行旧版、新版默认、新版 split/merge，并保留旧版重复组。两轮共 80 个构建臂、200 个 Agent 任务；这里的“默认”和“split/merge”是 Center 提炼配置，不是插件的记忆开关。

恢复轮（claude-sonnet-4-6）	形成 Candidate	下游任务通过	Agent 最终服务错误
PR4 前	2/10	5/30	0/30
PR4 后默认	10/10	2/30	10/30
PR4 后 split/merge	10/10	4/30	5/30
旧版重复组（仅 t01）	10/10	3/10	0/10

旧版初始臂有 8 次构建因模型服务 HTTP 500 没有形成 Candidate；失败全部保留，投递空数组。两轮记录均包含模型中继间歇故障，表中单列了 Agent 最终服务错误数。

完整重复组中，旧版与新版默认实际投递的 Candidate 内容和提示摘要均 10/10 相同。可选拆分在本组记录中丢失了部分修复成功 Episode：原样重放到来源学习任务时，旧版重复组与新版默认均 10/10 通过，可选臂为 4/10。这组结果来自发现候选差异后追加的来源学习任务修复保留诊断。

全部输入档案、实际 Candidate 请求响应、200 次 Agent 结果、工具轨迹和复算脚本，已合入 main 的 results/pr4-candidate-utility/。输入文件与每次构建按 SHA-256 绑定，两轮的输入档案完全一致。服务失败包含在记录中，各模型样本分别统计。

以下是既有文档保留的内部业务回放摘要，共 277 个可评估时刻，统计后来修好该失败的记录是否排在前 3。原始业务数据为非公开数据；本次公开复跑未纳入 E10。

条件	前 3 命中率
只用通用信号	76%
接入方提供自己的失败指纹	90%