09 · 评测与反馈面试题¶
对应学习章：09 · 评测与反馈。本页收录 Q081–Q083，区分多次尝试指标、评分器质量与可解释的改进实验。
新策略多试几次后分数更高，Judge 又偏爱长答案，你该相信哪一个变化？先校准尺子，再比较作品；本组题把尝试次数、评分偏差和真正的策略收益分开。
Q081 pass@k 提升是否意味着 Agent 更可靠？怎样正确计算？¶
优先级：P0
30–60 秒回答：
pass@k 关注 k 次候选中至少一个成功，不能直接替代单次交付或连续成功的可靠性。独立且每次成功概率固定为 p 时，至少一次成功是 1-(1-p)^k，全部成功是 p^k。有 n 个已评分样本、c 个成功时，常用估计量为 1-C(n-c,k)/C(n,k)，要求 1≤k≤n。我还会报告 pass@1、候选识别方式和总成本，按题计算后再汇总，避免把更多尝试当作模型本身变强。
展开详细答案、追问与案例
详细答案：
先确定评测对应的交付方式。若用户只收到一次输出，单次成功和错误类型最直接；如果系统能生成多个候选并有可靠验证器选出正确结果，至少一次成功有意义。连续多次都能交付则是另一要求。p=0.6、k=3 且尝试独立时，至少一次成功是 0.936，全部成功是 0.216；这两个数字并不矛盾，因为它们回答不同问题。
样本估计量可以从组合数理解：n 个已评分输出中有 c 个成功，等概率不放回选 k 个，全部选到失败的比例是 C(n-c,k)/C(n,k)，一减它就是至少一个成功的比例。要求 n、c、k 为合法整数，0≤c≤n、1≤k≤n；失败样本少于 k 时，全失败组合的比例为 0，所以 pass@k 为 1。5 次成功 1 次，k=2，得到 0.4。估计量的统计解释还依赖采样与评分协议，相关输出不能被任意当作独立新任务。
任务难度不同时，先逐题计算。两题 p 为 0.9 和 0.1，k=2，至少一次成功均值为 (0.99+0.19)/2=0.59，全部成功均值为 (0.81+0.01)/2=0.41。先把 p 平均成 0.5 再计算会得到另一问题的答案，例如至少一次成功变成 0.75。统计单位与权重必须保持一致。
最后把预算和候选识别补回来。多试几次通常增加模型、工具和验证成本；候选中存在正确答案，并不意味着系统知道哪份正确。相同资料缺失也会让尝试产生相关错误，独立概率式可能失真。实际比较应保留逐题重复结果、停止规则与验证器错误，并同时报告最终选中结果，让“碰到一次正确”和“可靠交给用户”分得开。
常见追问：
- n 小于 k 能硬算吗？ 不能使用该估计量，需要补充采样或调整 k，并保持不同方案的采样协议可比较。
- 采样温度变高，pass@k 提高说明什么？ 可能表示候选多样性改善；仍需看 pass@1、验证器选择效果和成本，不能只据此承诺单次质量。
- 多次重试彼此相关怎么办？ 直接保留重复实验矩阵并按任务分析；不要套独立假设抹去共享缺陷，尤其要检查反复出现的相同失败。
实战案例：
教学案例两种检索策略分别允许一次和三次尝试。三次方案更容易得到至少一个有证据答案，但选中器偏爱最长候选。处理时固定任务、分别记录每次结果与最终选中结果，并核算总调用。验收表应能识别“候选里正确但最终交付错误”的任务，同时复算 5 次成功 1 次时 pass@2 为 0.4；不把三次方案的优势全算作策略收益。
常见误区：
把 pass@5 当成单次成功率；先平均不同题的 p 再套非线性公式；报告最好候选，却不说明验证器如何识别它。
微练习：
运行 python3 examples/advanced/runtime_lab.py --scenario evaluation，手算上述两题和组合数例子。验收得到 0.59、0.41 与 0.4，并写出一个破坏独立假设的 Agent 故障，以及实际交付需要补测的指标。
学习章与参考： 学习章 09 · HumanEval 原论文 · 本地概率实验
Q082 怎样校准 LLM-as-a-Judge，避免总体高分掩盖关键错误？¶
优先级：P0
30–60 秒回答：
先用真实任务和领域标准定义通过条件，保留人工标签及具体分歧，再让 Judge 在独立样本上判断。不能只看总体一致率，应按错误类别统计误放过与误拦截，并检查位置、冗长和自我偏好。数量、必需字段和禁止调用用规则验证，证据支持等语义问题由校准过的 Judge 辅助。评分器也要版本化、回归，候选内容不能修改评分规则。
展开详细答案、追问与案例
详细答案：
先给评分器一项清楚任务。评审政策报告时，应提供用户问题、必要证据、最终产物和适用规则，判断引用是否支持条件与结论，而不是笼统问“写得好吗”。领域专家先标注代表性样本，附具体失败原因，再据此细化规则。标准可能随着错误分析演化，因此数据、标注与评分器要共同版本化，开发样本与校准验收样本也需分开。
总体分数需要拆成可解释的错误。设人工标出 5 个通过和 5 个不通过，Judge 正确放行 4 个、误拦 1 个，正确拦截 2 个、误放 3 个。真阳性率是 4/5，真阴性率是 2/5，准确率是 6/10；坏答案误放比例却达 3/5。若危险错误很少，总体一致率还可能更好看，所以要按权限、证据、版本等切片单独检查。
把评分工作分给合适的检查器。对象数量、必需字段、未经批准的调用可以直接用程序和后端记录判断；证据支持、完整性或表达可让 Judge 辅助，争议再人工复核。严重禁止项应单列，不能让文风和格式分抵消越权。Judge 像一把需要校准的尺子，生成者不能靠把答案写长就让尺子自动伸长。
还要测试评分过程受什么影响。在同题内交换候选位置、控制无关长度、放入诱导评分的文本，观察结论是否变化。换成更强或不同系列模型不自动消除偏差，也不自动获得独立性。使用未参与调优的样本复测，记录误放与误拦，升级 Judge 后回归历史难例，才能知道系统改进还是量尺变了。
常见追问：
- 人工也不一致怎么办？ 保存争议原因并澄清业务标准，必要时专家复核；不要把模糊标签强行当作唯一真值来训练 Judge。
- 可以直接用通用五分量表吗？ 可作为起点，但各分值需有任务定义和样例；没有校准的分差难以解释，起步可先做明确通过/不通过。
- Judge 能看完整轨迹吗？ 取决于评价目标。过程诊断需相关轨迹，最终交付评价需问题和证据；提供无关信息可能增加泄漏和偏差，应控制输入范围。
实战案例：
教学案例中，一份报告引用旧政策却很流畅，Judge 给了高分。处理时把“有效日期与适用人员”改为独立规则，并加入简短正确答案、长篇缺证答案和候选位置交换。验收查看旧政策错误的误放率、人工分歧和交换前后判断，不仅比较总平均；任何未经批准写入都应由后端规则单独判失败。
常见误区：
认为 Judge 与生成模型不同就足够独立；只看总体准确率；让候选答案中的“请给满分”进入评分指令层；更换评分器后继续直接比较旧总分。
微练习：
人工标注十条政策回答，制作混淆矩阵，再设计两个位置交换样本。验收明确正类定义、误放分母与关键错误切片，并指出哪些字段由规则验证、哪些需要语义评审。
学习章与参考： 学习章 09 · Hamel 的 Judge 实践 · MT-Bench 研究
Q083 怎样证明一次 Agent 改进来自策略，而不是任务、预算或数据泄漏？¶
优先级：P0
30–60 秒回答：
先读失败轨迹，确定要修哪类错误，再冻结任务、证据范围、验收标准和版本，以同题配对比较基线与新策略。逐题记录结果、错误、调用、延迟与费用；开发集用于调策略，保留集用于看迁移，近重复文档和模板按组切分。不能把同一题多次采样当成更多独立需求，也不能同时换模型、加预算后只用一个总分解释收益。修复案例进入回归，新任务继续用于发现问题。
展开详细答案、追问与案例
详细答案：
实验从具体错误出发。例如原策略总是只查两次，版本冲突任务缺少关键条文，就可以比较固定检索与按证据缺口追加检索。先冻结用户目标、初始资料、允许动作和成功标准，记录模型、工具、索引及策略版本。若问题其实是索引缺失，更换规划提示难以修复；先把失效阶段找准，才能提出能够被结果推翻的改进假设。
记录分为任务、尝试、轨迹和终态。任务固定目标，尝试区分采样与环境，轨迹说明检索、交接、审批和费用，终态检查答案及真实后端对象。成功的工具事件不能代替成功交付。两种策略对同题分别执行，保留“旧失败新成功”和“旧成功新失败”，这样可以定位收益和回归，而不是只看聚合分数差。
数据切分按任务来源结构处理。同一文档、同一模板或同一环境产生的近重复样本应按组划分；同一轨迹切片不应随机分进开发和保留集合。任务内重复试验用来估计稳定性，不会凭空增加独立用户需求。保留集被频繁用于改提示后，也会逐渐承担开发作用，需要新样本继续检验迁移。
最后将质量与资源同时解释。改变最大尝试次数、模型或工具预算时，要在表中显式展示；可设计预算相近的对照，或承认是在比较完整产品方案而非单一机制。关键权限规则单列，失败费用纳入成本，不能只算成功路径。稳定错误修复后加入回归，线上先无副作用观察再小范围启用，并保留版本回退路径。
常见追问：
- 任务只有少量能做评测吗？ 可以先做可解释的逐题分析，但不要把小样本差异夸成普遍结论；继续收集覆盖实际失败的独立任务。
- 一次改多个因素完全不允许吗？ 可以比较完整方案，但不能据总分把收益归给其中一个因素；需要额外对照才能解释机制贡献。
- 回归集会不会越来越旧？ 会，因此既保留稳定验收案例，也加入新资料和新需求；历史通过不等于新分布下仍然有效。
实战案例：
教学案例新策略增加补检索，同时升级模型并放宽三倍调用预算。处理时先保留完整方案结果，再补固定模型和预算的策略对照，按同一任务看证据缺口是否减少。验收表含每题四类记录、新旧互有胜负的任务、额外费用与禁止副作用，不只展示新策略擅长的题，也不将近重复任务计成独立新样本。
常见误区：
两个策略各选一批题；随机切分同文档改写造成泄漏；把一次升级的所有收益归给某个提示词；只保存最终答案而无法定位首次错误。
微练习：
为八条任务设计配对表，覆盖单文档、版本冲突、工具错误和权限请求。验收包含分组切分规则、固定变量、逐题退步、调用与成功成本，以及一条可执行的停止或回退条件。
学习章与参考： 学习章 09 · OpenAI Agent Evals · Hamel AI Evals FAQ