报告格式正确,
数字却对不上。
一次看似通过检查的报告,让我开始追问:我们检查的是报告长什么样,还是它究竟说对了什么?
- 我的参与
- 发现报告矛盾,推动校验方案调整;借助 AI 参与脚本和测试改进。
- 关键判断
- 先统一事实数据与计算,再核对报告里的对象、数值和排名。
- 实际交付
- 事实构建脚本、成品校验规则,以及数值错配等失败样例。
- 验证结果
- 本地复测:归档包 33 项测试通过;使用合成样例。
同一份报告,两种答案。
检查一份 AI 生成的竞品报告时,我发现同一个指标在不同位置对不上:表格中的数值是一种顺序,摘要中的排名却反了。原有检查仍然通过,因为它主要检查结构和表达,没有核对最终报告是否与事实数据一致。
如果摘要、正文和图表各写一遍,
一句“请检查数字”还不够。
这意味着问题需要从生成方法上处理。数字的来源、比较的条件和页面里的呈现,必须能够对应起来。
先整理事实,再生成和检查报告。
我推动把生成过程改成先整理事实数据,再计算排名和比较结果,最后生成展示内容。成品生成之后,还要核对页面上的数值、对象和排名是否对错了位置。
保留对象、指标、单位和统计周期,明确究竟在比较什么。
从同一份数据计算排序。数值相同时允许并列,周期不同时停止比较。
核对图表中的对象与数值,以及摘要结论,发现矛盾再返回修正。
我借助 AI 参与了生成与校验脚本、失败样例和回归测试的改进。业务判断在这里变成了可以执行的条件。
我把哪几个判断带进了实现?
这项工作从上线前复审开始。发现矛盾以后,我推动把“再检查一遍”拆成明确的输入、计算和验收条件,并借助 AI 参与实现与测试改进。
我指出,同一报告里的数值和排名互相矛盾,但校验仍然通过。继续检查后发现,原校验主要约束结构和表达,没有核对成品是否与事实数据一致。
推动先整理一份事实数据,再由程序计算排序和并列。摘要放到最后生成,并与正文、图表核对,减少每个部分分别生成数字与结论的机会。
参与补充数值写反、对象错配、排名矛盾和统计周期不同等失败样例。交付物包括事实构建脚本、成品校验规则和回归测试,供后续改动复查。
这是团队协作中的参与范围。下面的检查器简化了问题,归档复测记录则展示当时交付包里的测试确实能够运行。
让错误真的被找出来。
合成数据 · 教学版检查器
在浏览器里执行简化规则,不连接公司产品。
01 / 事实数据
指标:访问次数 · 同一统计周期
02 / 当前报告
报告摘要:品牌 B 高于品牌 A。
检查范围:对象与数值、排名、并列及统计周期。它不判断数据来源是否可信,也不代表完整生产校验器。
交付了检查,也看清了边界。
这个版本增加了数字错配、排名矛盾、并列和统计时间不同等检查。发现问题之后,可以定位到具体的对象、数值或比较条件,再调整生成结果。
归档校验器 · 实际复测记录
v0.10.0- 数值被写反时,拒绝成品
- 通过
- 摘要排名与事实相反时,拒绝成品
- 通过
- 统计周期不同时,拒绝排名
- 通过
- 数值相同时,正确生成并列
- 通过
在本地重新运行 保留的归档包的全部测试,33 项通过。上面摘列其中四项;完整记录保留测试名称、版本和归档包指纹。
下载本次复测记录 ↓使用原包内的合成测试,包含结构与表达检查。它证明该归档包在本次本地测试中通过,不代表当前线上版本或真实商业效果。
这些检查能够发现“报告与所用数据不一致”。但如果源数据本身有问题,即使所有展示完全一致,结论也不一定可靠。来源核对仍然需要单独完成。
这次工作让我更确定:做 AI 工作流时,要把判断条件写到能够执行和复查的地方。下一次迭代,才能知道自己究竟改好了什么。
相关工作与笔记
从报告成品往前看:快查与深研的范围,怎样落实到报告生成和校验。
另一份数据复盘:当来源不完整时,我怎样核对证据、保留缺口并交付工作簿。