贯穿项目:可恢复的政策研究助手¶
昨天助手查完两地政策,今天恢复任务又从头查了一遍;用户只想看草稿,它却热心地创建了两张工单。做项目时,这些现场比架构图上的方框更能检验理解。
把 12 章练习接成同一个政策研究助手:读取有权限的资料,解释两地适用条件,生成有证据的草稿;用户批准后,再按具体动作创建内部文档或咨询工单。每一轮都要留下能检查的产物。
先实现单 Agent 与确定性工具,再根据逐题证据决定是否添加图检索、技能包、子 Agent 或训练。每项能力需要解决一个可重现的问题,并说明它增加的成本。
先写任务与终态合同¶
准备 12 个固定任务:3 个单文档事实题、3 个跨文档比较、2 个版本/条件冲突、2 个证据不足需要澄清、2 个带具体写入请求的任务。为每题写明初始资源、当前用户、允许动作和成功条件。
回答正确至少需要结论适用、证据支持和引用可定位。写入成功需要核对后端对象 ID、内容与状态。资料不全时,正确澄清可以是成功终态;权限拒绝时,不能用另一条工具路径绕过拒绝。
每次尝试固定保存任务 ID、运行 ID、资料与索引版本、模型/工具/策略版本、最终结果、终态和费用。重试写入要有独立于运行 ID 的业务操作 ID,避免每次恢复都变成一个新动作。
第一轮:建立能解释的基线¶
交付一个读取→检索→比较→生成的最小流程。工具返回结构化内容、来源和错误类型;检索在进入上下文前应用权限与版本过滤。先用固定脚本验证状态与工具合同,再接真实模型评测工具选择和证据理解。
保存一份完整成功轨迹与三份失败轨迹。逐条找到第一个站歪的位置:资料本来就没有、检索没找着、证据被截断,还是模型误读了?继续检查参数与工具结果,特别留意“工具失败,助手仍报喜”的情况。
先给错误定位,再选修法。否则换了一个更贵的模型,可能只是请来一位收费更高的报喜员。具体方法见 01、05、06、09。
第二轮:处理长任务与恢复¶
把执行进展、待解问题、证据索引和写入意图分开保存。压缩上下文后,检查保留下来的信息是否足以继续下一步,而不是只看摘要读起来是否流畅。
针对写入至少注入四类故障:本地意图落盘前退出、远端成功而本地未记完成、确认返回丢失、用户批准后参数变动。恢复时检查真实后端终态;结果未知不能直接标成失败并更换操作 ID。审批有效性、幂等与资源授权分别检查。
依据见 02、03、11。可先运行 恢复实验,再在真实业务适配器中测试。
第三轮:按证据引入能力¶
| 发现的瓶颈 | 可尝试的改动 | 要比较的结果 |
|---|---|---|
| 重复处理相同政策流程 | 提取可审查的技能与测试 | 覆盖、参数正确率、版本回归 |
| 跨文档关系缺失 | 追加检索、结构化关系或图索引 | 有效证据覆盖、建索引成本与回答质量 |
| 两路研究彼此独立 | 分支执行或专门研究 Worker | 成功率、交接损失、关键路径和总费用 |
| 手工网页步骤不可通过 API 完成 | 增加浏览器观察与操作 | 定位稳定性、重复动作和实际终态 |
| 多次出现同类模型行为错误 | 改提示或收集高质量训练样本 | 保留任务收益、回归与奖励漏洞 |
每轮只改变一个主要因素,沿同一任务集做配对比较。若同时更换模型、增加调用预算和工具,就无法从一个总分解释改进来自哪里。相关设计见 04、07、08、10、12。
一次完整验收需要留下什么¶
- 系统图与任务合同:说明身份、数据、状态、工具和外部环境的边界。
- 逐题结果表:展示终态、证据支持、禁止副作用、调用量、耗时和费用;将开发与保留任务分开。
- 恢复证据:用操作 ID、后端对象和事件记录说明崩溃后发生了什么。
- 权限实验:覆盖跨租户、外部指令、过期批准和修改参数后的执行。
- 改进比较:给出修复的失败类型,同时展示新增成本与仍失败的任务。
- 发布与回退方案:固定模型、数据、工具、索引和策略版本,说明何时停止或撤回变更。
这些材料也可以用于 项目表达模板:从任务约束、实际决策、失败证据和结果讲起。真实模型的端到端评测与本地机制实验应分别记录,使每一项结果都能追溯到对应实现。