跳转至

贯穿项目:可恢复的政策研究助手

昨天助手查完两地政策,今天恢复任务又从头查了一遍;用户只想看草稿,它却热心地创建了两张工单。做项目时,这些现场比架构图上的方框更能检验理解。

把 12 章练习接成同一个政策研究助手:读取有权限的资料,解释两地适用条件,生成有证据的草稿;用户批准后,再按具体动作创建内部文档或咨询工单。每一轮都要留下能检查的产物。

先实现单 Agent 与确定性工具,再根据逐题证据决定是否添加图检索、技能包、子 Agent 或训练。每项能力需要解决一个可重现的问题,并说明它增加的成本。

先写任务与终态合同

准备 12 个固定任务:3 个单文档事实题、3 个跨文档比较、2 个版本/条件冲突、2 个证据不足需要澄清、2 个带具体写入请求的任务。为每题写明初始资源、当前用户、允许动作和成功条件。

回答正确至少需要结论适用、证据支持和引用可定位。写入成功需要核对后端对象 ID、内容与状态。资料不全时,正确澄清可以是成功终态;权限拒绝时,不能用另一条工具路径绕过拒绝。

每次尝试固定保存任务 ID、运行 ID、资料与索引版本、模型/工具/策略版本、最终结果、终态和费用。重试写入要有独立于运行 ID 的业务操作 ID,避免每次恢复都变成一个新动作。

第一轮:建立能解释的基线

交付一个读取→检索→比较→生成的最小流程。工具返回结构化内容、来源和错误类型;检索在进入上下文前应用权限与版本过滤。先用固定脚本验证状态与工具合同,再接真实模型评测工具选择和证据理解。

保存一份完整成功轨迹与三份失败轨迹。逐条找到第一个站歪的位置:资料本来就没有、检索没找着、证据被截断,还是模型误读了?继续检查参数与工具结果,特别留意“工具失败,助手仍报喜”的情况。

先给错误定位,再选修法。否则换了一个更贵的模型,可能只是请来一位收费更高的报喜员。具体方法见 01、05、06、09。

第二轮:处理长任务与恢复

把执行进展、待解问题、证据索引和写入意图分开保存。压缩上下文后,检查保留下来的信息是否足以继续下一步,而不是只看摘要读起来是否流畅。

针对写入至少注入四类故障:本地意图落盘前退出、远端成功而本地未记完成、确认返回丢失、用户批准后参数变动。恢复时检查真实后端终态;结果未知不能直接标成失败并更换操作 ID。审批有效性、幂等与资源授权分别检查。

依据见 02、03、11。可先运行 恢复实验,再在真实业务适配器中测试。

第三轮:按证据引入能力

发现的瓶颈 可尝试的改动 要比较的结果
重复处理相同政策流程 提取可审查的技能与测试 覆盖、参数正确率、版本回归
跨文档关系缺失 追加检索、结构化关系或图索引 有效证据覆盖、建索引成本与回答质量
两路研究彼此独立 分支执行或专门研究 Worker 成功率、交接损失、关键路径和总费用
手工网页步骤不可通过 API 完成 增加浏览器观察与操作 定位稳定性、重复动作和实际终态
多次出现同类模型行为错误 改提示或收集高质量训练样本 保留任务收益、回归与奖励漏洞

每轮只改变一个主要因素,沿同一任务集做配对比较。若同时更换模型、增加调用预算和工具,就无法从一个总分解释改进来自哪里。相关设计见 04、07、08、10、12。

一次完整验收需要留下什么

  1. 系统图与任务合同:说明身份、数据、状态、工具和外部环境的边界。
  2. 逐题结果表:展示终态、证据支持、禁止副作用、调用量、耗时和费用;将开发与保留任务分开。
  3. 恢复证据:用操作 ID、后端对象和事件记录说明崩溃后发生了什么。
  4. 权限实验:覆盖跨租户、外部指令、过期批准和修改参数后的执行。
  5. 改进比较:给出修复的失败类型,同时展示新增成本与仍失败的任务。
  6. 发布与回退方案:固定模型、数据、工具、索引和策略版本,说明何时停止或撤回变更。

这些材料也可以用于 项目表达模板:从任务约束、实际决策、失败证据和结果讲起。真实模型的端到端评测与本地机制实验应分别记录,使每一项结果都能追溯到对应实现。

课程目录 · 官方选读地图