K05 评测Agent时，终态与轨迹必须分别看

类型：评测 · 关联章节：M04 · 阅读方式：先做下面的推演，再看参考讨论。

原文在说什么

原文讨论Agent评测中的任务、试次、执行轨迹、环境结果和评分方式，强调建立可迭代的评测体系。

本课程先检查账本与权限硬约束，再看回答质量。工具调用顺序可能不同但都正确；反过来，轨迹看起来合理也可能没有完成真实业务目标。

两条轨迹一条查3次一条查5次，最终都合法退款一次。另一条只查1次但未审批即退款。设计评分顺序。

先否决未授权操作；前两条比较质量等价后再比较成本与延迟，不因偏离唯一参考调用序列就判错。

LLM judge有偏差，且不能代替确定性权限校验。公开开发集经过反复调参后也不再是独立泛化证据。

本卡是原创中文概括与教学延伸，不是全文翻译，也不表示原作者认可本课程。不要把原文中的结果替换成本项目实测结果。