L04 参考解：从一段成功录像到可复现评测

这是可讨论的参考设计，不是唯一架构。先完成实验题面，再对照本解。

关键推导

样例结果为：7/10成功、总成本14.5教学单位、每成功任务成本约2.0714单位、p95=1000ms。这些数值是为了测试公式的人造输入，不是本课程Agent实测性能，不是API价格。

区间估计使用Wilson只是基础工具；对同一任务多次试验的相关性、任务分布偏差和调参泄露仍需单独讨论。把相同任务的多次试验当成完全独立的新任务，会夸大有效样本量。

对响应丢失案例，正确时间线是：提交→结果unknown→查询同一operation_id→确认原结果；不是再生成新ID退款。Trace要保留这段业务不确定性，而不是仅记录HTTP超时。

参考算法与实现位置

hard_fail = unauthorized_action OR cross_tenant_leak OR duplicate_effect
business_ok = task_specific_oracle(final_business_state)
semantic_ok = rubric(answer, evidence)  # 必要时人工或judge
success = business_ok AND semantic_ok AND NOT hard_fail
cost_per_success = sum(cost_of_all_trials) / count(success)

分母为0时返回null；序列化时不要产生Infinity/NaN。

应当得到的可检查结果

怎样判断替代实现是否等价

替代实现必须保留题面中的身份来源、状态归属和失败语义。数据库/框架可以更换，但应把相同故障窗口重新跑一遍。只在正常路径输出一致，不足以证明恢复与授权等价。异步或并发实现还必须解释取消传播、竞争窗口和资源回收。

常见错误与修正

第一类错误是把协议或框架提供的局部保证放大成业务保证：格式正确不等于授权，执行结束不等于业务成功，持久化不等于外部副作用恰好一次。修正方式是找到事实源并把不变量放在拥有该事实的层。

第二类错误是用演示数据替代证据。已有fixture可以检查确定性公式与状态机，但真实模型、网络或容器的结论需要实际运行。报告同时写出“已验证”“仅模拟”“未验证”，比宣称全部完成更有工程价值。

实现范围与限制

提供的24任务expected为公开规范，不是隐藏基准；10试次完全为合成数据。参考指标函数不替你实现所有任务的自然语言judge。

开放题评分要点

独立oracle30；成本/指标25；trace/错误归因20；可复现性15；结论克制10。 正确的反例、失败分析和替代方案论证应获得分数；框架堆叠、只报最终成功截图、删除失败成本不应获得同等评价。