M04 练习
← 返回章节不能相信自报成功
最终回复说“已退款100元”，但账本无记录，工具轨迹只有查询。设计评分结果。
提示
- 最终文本与环境终态分开打分。
查看参考解与自评
可靠性与多次尝试
简化假设每次独立成功概率p=0.8，k=3。求至少一次成功与三次全成功。说明为何不能无条件用它估计实际Agent。
提示
- 互补概率与乘法适用不同事件。
查看参考解与自评
P95的样本量
20个延迟为100,200,…,2000毫秒。按最近秩定义计算P95。只靠这20个样本能否宣称生产尾延迟？
提示
- 位置为ceil(0.95n)，从1开始。
查看参考解与自评
并行Trace不能相加
一个run总墙钟10秒，两个并行子工具各6秒，模型串行4秒。把所有子Span相加会得到多少，为什么错？
提示
- 两个6秒重叠。
查看参考解与自评
模型评分器的校准
回答A更长更流畅，回答B较短但证据正确。模型评分器总偏好A。如何发现和修复？
提示
- 先把业务正确性与文风拆分。
查看参考解与自评
切分泄漏
你有50种政策场景，每种复制20个不同订单号，共1000题。随机80/20切分的主要风险是什么，如何改？
提示
- 数据条数不等于独立场景数。