05 · 评测与可观测性¶

一次运行回复流畅、工具也返回成功，后台却多建了一张工单。要判断系统是否变好，需要检查业务终态，再把失败接回当时的检索、决策和执行记录。

本篇按“怎样算完成、分母怎么算、证据在哪里”来读。先遮住答案，给每个指标写出它能检查什么、漏掉什么，再做教学算例；优先级用于安排学习顺序。

Q033 怎样判断一个 Agent 真正完成了任务？¶

优先级：P0

30–60 秒回答：

先把用户目标写成可检查的终态，再检查执行过程是否满足权限、时间和成本约束。工单 Agent 说“已创建”不算成功，要核对工单系统里的对象、字段和关联用户；问答 Agent 则检查事实与引用。把最终任务成功率、越权率、预算超限率分开报告，不能让高平均分掩盖一次严重越权。Agent 评测需要同时观察轨迹与环境结果，可结合程序、模型和人工评分器。来源：Anthropic Agent Evals

展开详细答案、追问与案例

详细答案：

先把用户目标翻成可检查的终态。例如退款申请不是“助手回复已提交”，而是指定订单存在一份字段正确、关联用户正确的申请；政策问答则要求关键结论被有效引用支持。成功条件还要覆盖没有发生什么，例如未经批准不写入、无权限不返回正文。业务约束应独立检查，不能让文风分数抵消越权，也不能由模型自己的完成声明替代环境证据。

再区分任务、一次尝试、执行轨迹和最终产物。任务固定初始条件与允许动作，尝试记录模型和工具版本，轨迹解释检索及执行经过，终态核对真实结果。同一目标可能由不同工具序列完成，因此不应强制匹配唯一“标准路线”；但金额、收件人和授权条件应确定性验证，减少把路径不同误判成失败的情况。

评测执行前需要重置或隔离环境，避免上一轮创建的对象替下一轮完成任务。为写意图保存稳定操作 ID，让评分器找到对应后端对象，并核对数量、内容与状态。只看 HTTP 200 可能遗漏业务拒绝、错误对象或重复创建。工具像办事窗口的回执，交付验收仍要检查事情是否按合同办成。

最后选择组合评分器。字段、数量和禁止动作交给程序，开放式证据支持可由校准过的模型辅助，争议样本由人工复核。分别报告任务成功、越权和预算超限，不把所有维度压成一个无法解释的总分。这样失败后能沿证据定位到检索、判断还是执行，也能知道下一轮应该修哪层。

常见追问：

为什么不匹配唯一工具序列？ 有效方案可能先查政策再查订单，也可能顺序相反；只要依赖、权限与终态满足合同，就不应因路线不同受罚。
工具失败但回答正确算成功吗？ 看任务合同。只需问答且证据充分时可能完成；要求实际提交时，正确说明故障不等于提交成功，应记录相应终态。
环境不方便完全重置怎么办？ 用隔离数据空间和可追踪操作 ID，记录初始对象与新变化；必须能区分旧对象和本次产物，否则结果难以解释。

实战案例：

教学案例中，退款助手找到政策后回复“申请已提交”，实际只完成了资格查询。处理时将资格判断、批准和提交分成不同状态，评分器读取目标订单的申请对象，并检查是否重复。验收构造一条正确提交和一条只说成功的轨迹：前者有可定位对象及正确字段，后者不能通过提交验收；重新运行时旧申请也不能替新尝试冒领成功。

常见误区：

把工具返回 HTTP 200、语言流畅、模型自评通过当成用户任务成功。

微练习：

为“找到退款政策并为符合条件的订单提交申请”写 3 个终态断言和 2 个禁止发生的副作用；明确需要哪些系统证据。验收要求每个断言都绑定可读取的对象或证据 ID，并给“回答正确但没有提交”写出明确判定。

学习与参考： 主学习章：评测 · 进阶评测与反馈

Q034 成功率的分母怎么定义，拒答算成功还是失败？¶

优先级：P0

30–60 秒回答：

先固定任务集合、可处理范围和成功标准，再分别统计可答题正确完成、无证据题正确拒答、越权请求阻断，并报告每类样本数与覆盖率。若 100 个任务中完成 60 个、拒绝 40 个，只看已完成的 60 个，就像只给交卷的人算成绩：没交付的请求从报表里消失了。类比只说明分母遗漏；线上还要明确用户放弃、工具故障和转人工的口径。

展开详细答案、追问与案例

详细答案：

先定义请求属于什么范围，再定义每类的可接受终态。可答任务要求正确交付，无证据任务可以按合同澄清或拒答，无权限请求应阻断；这些类别不能只用一个“没回答”标签合并。拒答是否成功取决于输入与允许动作，而不是回复中有没有拒绝词。若检索器漏掉可用条文，系统诚实说不知道仍可能是可答任务的失败。

分母应包含声明范围内全部有效请求，而非只包含已作答或最终成功的部分。100 个任务完成 60 个、拒绝 40 个，只统计交付的 60 个会隐藏覆盖不足。还要事先规定工具故障、超时、用户放弃和转人工怎样计数，并单列未判定或仍在处理的状态；不能事后删除难题，再把留下的样本叫总体成功率。

将指标拆开能减少回避困难任务的激励。可同时报告可答正确完成率、不可答正确拒答率、已作答准确率、覆盖率，以及全部已判定样本的决策正确率。每项都写明分子、分母和样本数，并按任务类型、语言、租户与长尾难度分层。看总体提升时，也要检查困难组是否退步，避免简单题比例变化造成好看的平均数。

算例有 80 个可答和 20 个不可答，答对前者 64 个，后者正确拒答 14 个、错误回答 6 个；全部已有终态。可答正确完成率为 64/80，不可答正确拒答率为 14/20，总体决策正确率为 78/100。三者回答不同问题，不能选最好看的一个代替全部表现。

常见追问：

正确拒绝越权请求算任务完成吗？ 在合同明确要求阻断时属于正确安全决策；应单列此类结果，不能拿它充当正常业务交付量。
可答题因工具故障拒答呢？ 记录工具故障与未交付；拒答措辞准确不代表可答任务已完成，也不能从分母删掉。
用户中途离开怎么办？ 预先定义有效请求和放弃口径，报告数量与状态；需要时单独分析，避免把所有离开都归因于系统质量。

实战案例：

教学案例两个版本中，新版遇到冲突就拒答，已作答准确率上升，但更多可答任务没有交付。处理时保留全部有效请求，按可答、无证据、无权限分组，同时看覆盖与正确决策。验收同一组任务不能因终态改变而消失；报表能指出新增拒答来自正确阻断还是检索失败，并复算教学集合的 80%、70%、78%。

常见误区：

删除超时样本后再报成功率；把业务无权限的正确拒绝与检索失败的无答案混成一类。

微练习：

某集合有 80 个可答题、20 个不可答题；答对 64 个可答题，错误回答 6 个不可答题，其余 14 个不可答题均正确拒答，全部样本均有已判定终态。分别写出可答正确完成率、不可答正确拒答率和总体决策正确率。自检：80%、70%、78%。验收除三个百分比外，还要写出各分母，并说明若有两条任务终态未判定，汇总应怎样单列而非默默排除。

学习与参考： 主学习章：评测 · 进阶评测与反馈

Q035 怎样构建评测集，避免越调越像“背答案”？¶

优先级：P0

30–60 秒回答：

从真实任务分布抽取脱敏样本，补充边界、故障和对抗案例。把用于改提示词的开发集与最终测试集隔开，并记录数据、提示、模型、工具和索引版本。相同工单的改写或同一文档的近重复内容应按组划分，时间敏感任务可按时间切分。反复查看测试错误后，它事实上已经参与开发，应再建立留出集。

展开详细答案、追问与案例

详细答案：

先说明希望评测迁移到什么场景。已知知识库上的新问题，与没见过的新文档问题，是两种不同目标。前者可以让知识库包含回答所需条文，这是正常检索设置；后者需要按文档来源或时间安排留出。若没有先定义目标，随机切分后得到的分数可能只是验证相同信息换种问法，难以说明系统真正学会了什么。

样本从脱敏真实任务分布出发，再补充边界、故障和对抗场景。记录问题来源、文档或工单分组和版本，按共享信息划分，避免同一工单的改写或同一文档近重复内容进入两边。时间敏感系统可用时间切分检查新资料，但仍需核对权限、数据可见范围与任务难度，不把某种切分自动称为无泄漏。

开发集用于调整提示、检索与规则，最终测试集用于策略确定后的检查。反复查看测试错误并逐题修补，测试集就参与了开发，应再建立留出集。冻结集合便于版本对照，同时另设持续补充的真实失败回归集；修复旧例与发现新问题是不同用途，不能因历史回归全过就推断新分布也稳定。

版本记录覆盖数据、提示、模型、工具与索引，保证分数能回到具体系统。不要把测试问题和标准答案直接塞进提示，再将收益称为检索能力；也不要凭模型知识截止时间推断某道公开题一定没见过。好评测像换一张考卷检查方法，而不是把练习题的句号移动一下就宣布泛化。

常见追问：

RAG 文档里有答案算泄漏吗？ 通常不算，检索任务正是要访问允许的知识；关键是有没有违规使用测试问题、答案或不该可见的信息。
每次都新增测试集还能比较版本吗？ 保留固定对照集，同时给新增分布单列结果；不要把不同集合的总分直接当成同口径变化。
保留集越大越好吗？ 还要看覆盖和标注质量。大量近重复样本不能替代独立任务，也会挤占有价值的边界与失败案例。

实战案例：

教学案例 30 个问答来自 5 篇政策，随机分行后同一段条文的改写遍布开发与测试。处理时先确定要测新文档还是已知文档新问题，再按目标选择文档分组或受控的问题切分。验收输出每题分组和信息来源，检查近重复跨集合情况；调参所用的错误样本不得继续冒充完全未参与开发的留出证据。

常见误区：

随机分行就认为没有泄漏；拿训练知识截止时间推断某条公开题一定没被见过。

微练习：

为 30 个来自 5 篇文档的问答设计分组切分方案，说明你要测的是“已知文档新问题”还是“新文档新问题”，两种目标不要混报。验收给每题标注文档组与集合，解释知识库允许包含哪些材料，并列出测试集何时需要转为开发集的判断条件。

学习与参考： 主学习章：评测 · 进阶评测与反馈

Q036 LLM-as-a-Judge 有哪些偏差，怎么用才可信？¶

优先级：P0

30–60 秒回答：

Judge 也会判错，要先明确评分维度、锚定样例和可核对证据，再与人工标注对照。比如内容不变，只交换两个答案的位置，分数是否就翻转；控制无关长度差异后，是否仍偏爱长答案。评分器也需要一份考卷。MT-Bench 研究过位置、冗长和自我偏好等偏差，自己的任务仍需校准，不能直接套用论文结果。来源：MT-Bench 论文

展开详细答案、追问与案例

详细答案：

先把评价标准从“答案看起来不错”改成能核对的维度。判断引用支持时，提供用户问题、允许证据、关键断言和评分锚点，让人工先标一批代表性样本并记录分歧原因。没有明确标准，模型输出的小数再精细也只是表面精确；Judge 的工作是执行任务规则，不能自己把流畅、长度和事实正确混成一个偏好。

校准时看具体错误类型。分别统计坏答案被放过、好答案被误拦，并关注少见但高影响的权限与版本错误；总体一致率可能被大量简单样本抬高。交换两个候选的展示位置，控制无关长度，加入风格不同但证据相同的答案，检查结论是否随这些因素变化。论文观察提供测试方向，自己的业务仍需独立验证。

将规则与模型判断组合。JSON 格式、金额、对象数量、权限和数据库终态优先用程序或后端证据；解释完整性等语义问题可让 Judge 辅助，争议样本再人工复核。候选答案声称“证据全部正确”不能成为其真实性来源，评分器应直接看证据。生成与评审使用同一模型时尤其要防共享偏差，不因换个角色名就认为获得独立裁判。

记录 Judge 模型、提示、规则和标注版本，升级后重跑难例与未参与调参的样本。评分器像尺子，换了刻度后要重新校准，不能拿新旧数字直接宣布产物进步。0.9 分也不自然等于校准后的 90% 正确概率；只有定义和验证了相应含义，分数才支持那种解释。

常见追问：

人工标注不一致怎么办？ 保存理由并澄清业务规则，必要时由领域专家裁定争议；模糊标准不应被自动评分掩盖。
换更强的 Judge 就无需校准了吗？ 仍需校准。更强模型也可能受位置、长度和候选诱导影响，要在本任务上检查误放与误拦。
所有维度可以汇成一个总分吗？ 可以为特定决策汇总，但先单列严重禁止项及各维度，避免文风高分抵消事实错误或越权。

实战案例：

教学案例同一事实答案仅加长措辞，Judge 评分就变高。处理时固定证据与断言，设置引用支持的 0/1/2 锚点，盲化候选顺序并与人工对照。验收正确短答不因简短而被误罚，无效长引用不能获得完整支持分；保存争议原因和评审版本，而非只比较一串平均分。

常见误区：

把 Judge 给出的 0.9 当成经过校准的 90% 正确概率；让 Judge 直接相信候选答案自述的事实。

微练习：

写一份“引用支持答案”的 0/1/2 分规则：0 无证据或矛盾，1 部分支持，2 全部关键断言被支持。给每档各造一个短样例，再盲评打乱顺序后的版本。验收保留人工标签、打乱前后结果与分歧理由，并指出哪些关键断言没有被证据支持，不能只交三个分数。

学习与参考： 主学习章：评测 · 进阶评测与反馈

Q037 一条有用的 Agent trace 应记录什么？¶

优先级：P0

30–60 秒回答：

用一次任务的标识关联规划、模型请求、检索、工具执行与最后结果；每一步记录开始结束时间、状态、输入输出摘要、错误类型和版本。Trace 把跨组件操作串成因果链，span 表示其中一段工作。来源：OpenTelemetry Traces 默认只保留排障必要元数据，敏感正文按权限、脱敏和保存期限管理。模型不可见的内部推理不是排障前提。

展开详细答案、追问与案例

详细答案：

从一个任务根标识出发，把模型请求、检索、重排、工具调用和最终结果关联起来。每段工作可用 span 表达，记录起止时间、状态、错误类型与必要输入输出摘要；并发分支保留父子或其他关联关系。这样能沿慢请求或错误结论回到具体步骤，而不是在散落的日志中靠相同关键词猜测哪次调用属于哪位用户。

记录重点是可观察事件。工具选了什么、校验是否通过、检索返回哪些来源 ID、写入关联什么操作 ID，都比要求模型提供隐藏思维更直接。可以记录应用实际可见的计划或结构化决策，但不能把它们称为模型完整内部推理。分析“检索没命中”和“命中了却没使用”，需要把候选、版本与最终主张连起来，单存最后回答做不到。

敏感数据按用途最小化保存。默认保留排障必要元数据，正文和凭据分别限制访问、脱敏与保存期限，避免为方便调试把所有内容复制进日志。数据摘要也可能包含敏感信息，应按实际内容判断。Trace 帮助观察系统，不自动成为可靠业务账本；要求恢复和审计的数据需按相应可靠性合同另行保存。

采样与统计口径要一起设计。失败样本可以提高采样率方便排障，但这样的 trace 集合有偏，不能直接据此计算总体延迟或失败比例。版本至少覆盖模型、工具和检索索引，便于解释同一任务为何变化。GenAI 语义约定会演进，接入时核对当前字段；自定义属性可以有用，但不应随手贴成标准字段。

常见追问：

是不是每步都要保存完整 Prompt？ 不一定。先确定排障目的与敏感范围，可优先存摘要、引用和关联 ID，必要正文采用受控存储与期限。
并行工具都挂根节点够吗？ 应表达真实调用关系及相关连接；若缺少依赖，关键路径和失败传播就可能解释错误。
失败 trace 多采样后能直接算整体错误率吗？ 不能忽略采样偏差。总体指标应来自完整计数或采用明确可校正的统计方式。

实战案例：

教学案例报告金额错误，系统原来只有最终回复，无法确认检索还是汇总出错。处理时给检索候选、重排结果与回答主张关联证据 ID，并记录模型、工具、索引版本。验收同一根任务可追到错误片段第一次出现的位置，且日志没有测试凭据；隐藏推理不可见不影响按可观察事件定位这条错误。

常见误区：

只保存最后回复，无法区分“没检索到”和“检索到了但没使用”；把完整凭据或个人信息写进日志。

微练习：

为一次“检索→重排→回答”画 4 个 span，标明根 span、父子关系、哪一步错误、应保留的 3 个版本号。验收四个 span 可组成一条完整任务链，包含错误状态、模型/工具/索引版本，并解释若提高失败采样率，哪些总体指标不能直接从该样本计算。

学习与参考： 主学习章：评测 · 进阶评测与反馈

Q038 怎样解释 p95 延迟，如何定位慢任务？¶

优先级：P0

30–60 秒回答：

p95 描述指定样本窗口与口径下，约 95% 观测值不超过的延迟，不能当作平均延迟。先明确测的是排队、首字还是任务完成，再沿 trace 拆出检索、模型、工具及重试的关键路径。两路资料都必需时，快的那路先回来，用户仍要等慢的那路，因此并发总耗时不能简单相加。超时和取消也要单列，避免它们从统计中消失。

展开详细答案、追问与案例

详细答案：

先定义时间从哪里开始、到哪里结束。入队到终态、模型开始到首字、工具调用起止是不同指标，样本窗口、请求类别和超时处理也需声明。p95 描述约 95% 观测不超过的值，不是平均数，也不是每次请求的期限保证。分位数实现可能采用 nearest-rank 或插值，比较前要固定算法，避免同一组耗时算出不同结果却以为系统改变。

样本少时尾部估计尤其不稳定。按 nearest-rank，20 个排序耗时的 p95 取第 ceil(20×0.95)=19 个值；十个或二十个样本只能说明这组观察，难以稳定描绘真实长尾。超时、取消和未完成任务应单列状态与数量，不能只留下快速成功的请求。报告 p95 时还需给样本量、统计范围与阶段口径。

定位时沿任务 trace 画关键路径。两个独立且都必需的读取分别 0.8 秒、1.6 秒，合并 0.2 秒，忽略调度开销，串行为 2.6 秒，并行为 1.8 秒。慢分支决定等待，而存在数据依赖的工具不能并行。组件耗时分布与相关性会影响整体，因此不能把各组件 p95 相加，当作准确的端到端 p95。

优化要回到相同任务集比较。减少串行调用、缩短上下文、缓存或增加并发，都可能转移瓶颈或损害证据完整性。记录排队、限流、重试与模型阶段，检查慢任务集中在哪类路径。首字快可以改善等待感，但用户要的工单或报告尚未完成时，不能宣布整个任务已经变快。

常见追问：

各组件 p95 相加为什么不准确？ 各组件的慢请求未必是同一批，还可能并行；需要端到端样本和真实依赖来计算。
超时样本没有终态耗时怎么办？ 单列超时数量、阈值和统计规则，必要时说明观测被截断，不能直接删除后称为全量分布。
并发一定缩短延迟吗？ 只对独立工作有机会获益，下游资源竞争与限流可能增加排队，所以要测真实路径和质量。

实战案例：

教学案例新版本流式首字更快，但后台搜索重试增加，完整报告更晚。处理时把首字和终态分别计时，关联两路工具的排队与结束事件。验收报表能显示用户等待落在哪一阶段，保留超时与取消数量；2.6 秒和 1.8 秒只作为教学依赖算例，不能替代线上实测 p95。

常见误区：

首 token 快就宣称任务快；拿十个样本的 p95 给出稳定生产结论。

微练习：

两个独立必要工具分别耗时 0.8 秒、1.6 秒，合并耗时 0.2 秒。忽略调度开销，串行与并发分别需多久？自检：2.6 秒、1.8 秒；再解释为什么这不是线上 p95 的预测值。验收列出两种耗时公式、依赖假设和三个遗漏的真实开销，再说明至少需要怎样的样本与统计口径才能讨论线上长尾。

学习与参考： 主学习章：评测 · 进阶评测与反馈

Q039 怎样算 Agent 的成本，优化时看哪些指标？¶

优先级：P0

30–60 秒回答：

按每次任务累计全部模型输入输出、检索/重排服务、工具、运行资源和失败重试成本；价格使用实际供应商账单口径和当时版本。除了每次请求均价，还看“总成本/成功完成任务数”，因为便宜但经常失败的方案可能更贵。记录循环轮数和上下文增长，再通过减少无效步骤、选择合适模型与缓存优化，并在同一评测集验证质量。

展开详细答案、追问与案例

详细答案：

成本应以任务为单位汇总，而不是只读最后一条模型账单。累计每轮输入输出、检索与重排、工具、运行资源和失败重试；涉及缓存时按供应商对应计费规则计算。使用实际供应商与当时版本的价格口径，不能拿过期单价承诺当前费用。一次失败任务虽然没交付，也消耗了资源，不能从总账中消失。

除了请求均价，还看总成本除以成功完成任务数。A 的 100 次任务共花 10 单位、完成 80 次，成功成本为 0.125；B 共花 8 单位、完成 50 次，成功成本为 0.16。B 的总支出更低，却不代表每次有效交付更划算。分母必须使用同一验收合同，没有成功时应报告零成功与总费用，不做除零或填一个好看的零成本。

优化前先找无效工作。记录循环轮数、历史输入规模、工具输出和重试来源，再比较减少冗余调用、合适模型与缓存。历史是否每轮完整重传、是否摘要或外置，会改变增长趋势；不能笼统说所有 Agent 成本严格二次增长。调用数少也可能只是提前放弃证据，只有满足质量与权限约束时，节省才有业务意义。

缓存还涉及版本、时效与可见范围。相同问题不代表不同租户可共享结果，命中也不一定免费。将费用与预算、质量、越权和延迟一起看，在同一任务集做版本对照，并保留复杂任务退步样本。省钱像压缩行李，应拿掉重复物品，而不是把必须带的证据丢在出发大厅。

常见追问：

失败重试由 SDK 隐式完成，还要算吗？ 要。应尽可能关联底层尝试或实际计量，不能只统计 Agent 显式调用次数。
成功成本更低就必选吗？ 还需满足质量、安全、覆盖和延迟合同，不能用便宜抵消严重越权或只挑容易任务的偏差。
长上下文是否必然二次增长？ 取决于轮数与每轮输入策略；完整累加、摘要、截断和外置会有不同表现，应测实际计量。

实战案例：

教学案例轻量模型单次更便宜，却反复查相同条文并多次重试，最终交付减少。处理时把所有尝试接到任务成本，比较同题质量与成功成本，再裁剪重复输出和无效循环。验收总账包含失败与缓存费用，复算 A、B 的 0.125 和 0.16；若质量或权限回归，不能只因请求均价下降就上线。

常见误区：

只算最后一次模型输出；用过期单价承诺实际费用；把减少工具调用本身当成成功。

微练习：

A 方案 100 次任务共花 10 个计费单位、完成 80 次；B 花 8 单位、完成 50 次。每个完成任务分别为 0.125 和 0.16 单位；说明还需哪些质量和风险约束才能选型。验收写清总成本和成功数的来源，补一个零成功分支，并列出质量、权限和覆盖三类必要约束。

学习与参考： 主学习章：评测 · 进阶评测与反馈

Q040 离线分数提升，为什么线上还可能变差？¶

优先级：P1

30–60 秒回答：

离线样本、用户行为和线上环境可能不同：新资料、权限、并发、工具故障和用户中途改意图都能改变结果。先做可回滚的小流量发布，分别监测任务完成、转人工、用户纠正、延迟和成本，保留版本对照。线上点赞有选择偏差，不能单独证明事实准确；未随机分组的前后对比也可能受到流量变化影响。

展开详细答案、追问与案例

详细答案：

离线集合固定，线上环境却会继续变化。新政策、权限差异、工具可用性、并发和用户中途修改目标，都可能让原来有效的策略失效。先看哪类失败增加，再定位数据、决策或执行；不要看到线上下降就立刻换模型。离线指标评测的是其样本和环境内的表现，不能自然推导为业务转化的同幅度变化。

发布前定义主要质量指标和保护指标，在可以回退的小流量范围观察。任务完成、转人工、用户纠正、延迟与成本分别监测，保留模型、提示、工具和索引版本对照。影子运行适合先观察无副作用路径，但不能用影子请求重复创建真实对象。具体流量、门槛与回退策略应来自产品合同，而非把教学设定叫行业标准。

解释线上变化时检查分组与选择偏差。主动点赞用户未必代表全部用户，反馈也未必验证事实；前后对比若同时发生流量或政策变化，就不能把相关差异写成策略因果收益。具备条件时安排合适的对照，做不到时清楚描述观察范围与干扰因素。样本量不足要报告数量、窗口与不确定性，不能用几次演示宣布稳定提升。

闭环是把真实失败脱敏后转成回归样本，再检查修复是否伤害其他任务。用户满意度与业务终态冲突时回到具体目标，例如快速但未创建工单的回复不能替代提交完成。固定回归集保留历史教训，新任务继续检查迁移；发布不是考试交卷后就关掉监控，而是让系统在可观察范围继续接受检验。

常见追问：

线上点赞提高能证明事实更准吗？ 不能单独证明，反馈有选择偏差且未必核对证据，应结合任务结果、纠正和独立抽查。
没有足够流量做稳定比较怎么办？ 先做小范围、逐例分析并报告样本与不确定性，继续积累；不要给出超出观察支持的因果结论。
发现新错误就立即加入最终测试集吗？ 可加入生产回归并用于修复，但若反复据此调参，它承担开发作用，仍需独立样本检验迁移。

实战案例：

教学案例新检索器离线更高分，上线后却碰到新权限规则和更多长尾需求。处理时保留旧版本，小流量观察任务完成与越权、延迟保护指标，把具体失败脱敏加入回归。验收发布方案有明确撤回条件、版本关联和样本数量，能区分用户偏好与真实终态；没有随机对照时不把前后变化直接称为因果提升。

常见误区：

离线分数提高几个点就说业务转化提升同样幅度；把相关性写成因果提升。

微练习：

为一个新检索器写发布门槛：1 个主要质量指标、2 个保护指标和 1 个回滚条件。阈值由你设定并标为实验目标，不写成行业标准。验收阈值写明单位、分母、统计窗口和最小观察条件，并说明触发回滚后怎样处理在途任务与已有结果。

学习与参考： 主学习章：评测 · 进阶评测与反馈

参考资料¶

关键事实	一手来源	阅读要点
Agent 可结合轨迹、环境结果及多种评分器评测	Anthropic Agent Evals	任务口径由应用定义
Judge 存在位置、冗长等偏差	MT-Bench 原始研究	在目标任务上校准 Judge 与人工的一致性
Trace 由关联的 span 组织执行链路	OpenTelemetry Traces	结合任务链路选择 span 与属性
GenAI 语义约定旧页面已迁移	OpenTelemetry GenAI 规范仓库	使用时查当前版本

复习时先遮住回答，口述“成功终态→分母→证据→失败归因”，再做算例。下一篇：可靠性与安全。