报告格式正确,数字却对不上 · Marina Current
marina current
← 返回作品
AI 工作流 / 公司项目 · 团队协作

报告格式正确,
数字却对不上。

一次看似通过检查的报告,让我开始追问:我们检查的是报告长什么样,还是它究竟说对了什么?

我的参与
发现报告矛盾,推动校验方案调整;借助 AI 参与脚本和测试改进。
关键判断
先统一事实数据与计算,再核对报告里的对象、数值和排名。
实际交付
事实构建脚本、成品校验规则,以及数值错配等失败样例。
验证结果
本地复测:归档包 33 项测试通过;使用合成样例。

同一份报告,两种答案。

检查一份 AI 生成的竞品报告时,我发现同一个指标在不同位置对不上:表格中的数值是一种顺序,摘要中的排名却反了。原有检查仍然通过,因为它主要检查结构和表达,没有核对最终报告是否与事实数据一致。

如果摘要、正文和图表各写一遍,
一句“请检查数字”还不够。

这意味着问题需要从生成方法上处理。数字的来源、比较的条件和页面里的呈现,必须能够对应起来。

先整理事实,再生成和检查报告。

我推动把生成过程改成先整理事实数据,再计算排名和比较结果,最后生成展示内容。成品生成之后,还要核对页面上的数值、对象和排名是否对错了位置。

事实数据

保留对象、指标、单位和统计周期,明确究竟在比较什么。

派生计算

从同一份数据计算排序。数值相同时允许并列,周期不同时停止比较。

成品校验

核对图表中的对象与数值,以及摘要结论,发现矛盾再返回修正。

我借助 AI 参与了生成与校验脚本、失败样例和回归测试的改进。业务判断在这里变成了可以执行的条件。

我把哪几个判断带进了实现?

这项工作从上线前复审开始。发现矛盾以后,我推动把“再检查一遍”拆成明确的输入、计算和验收条件,并借助 AI 参与实现与测试改进。

发现检查缺口

我指出,同一报告里的数值和排名互相矛盾,但校验仍然通过。继续检查后发现,原校验主要约束结构和表达,没有核对成品是否与事实数据一致。

调整生成规则

推动先整理一份事实数据,再由程序计算排序和并列。摘要放到最后生成,并与正文、图表核对,减少每个部分分别生成数字与结论的机会。

把错误变成测试

参与补充数值写反、对象错配、排名矛盾和统计周期不同等失败样例。交付物包括事实构建脚本、成品校验规则和回归测试,供后续改动复查。

这是团队协作中的参与范围。下面的检查器简化了问题,归档复测记录则展示当时交付包里的测试确实能够运行。

让错误真的被找出来。

合成数据 · 教学版检查器
在浏览器里执行简化规则,不连接公司产品。

01 / 事实数据

品牌 A120
品牌 B80

指标:访问次数 · 同一统计周期

02 / 当前报告

80
120
品牌 A品牌 B

报告摘要:品牌 B 高于品牌 A。

还未检查。试着找出图表和摘要里不一致的地方。

检查范围:对象与数值、排名、并列及统计周期。它不判断数据来源是否可信,也不代表完整生产校验器。

交付了检查,也看清了边界。

这个版本增加了数字错配、排名矛盾、并列和统计时间不同等检查。发现问题之后,可以定位到具体的对象、数值或比较条件,再调整生成结果。

归档校验器 · 实际复测记录

v0.10.0
数值被写反时,拒绝成品
通过
摘要排名与事实相反时,拒绝成品
通过
统计周期不同时,拒绝排名
通过
数值相同时,正确生成并列
通过

在本地重新运行 保留的归档包的全部测试,33 项通过。上面摘列其中四项;完整记录保留测试名称、版本和归档包指纹。

下载本次复测记录 ↓

使用原包内的合成测试,包含结构与表达检查。它证明该归档包在本次本地测试中通过,不代表当前线上版本或真实商业效果。

这些检查能够发现“报告与所用数据不一致”。但如果源数据本身有问题,即使所有展示完全一致,结论也不一定可靠。来源核对仍然需要单独完成。

这次工作让我更确定:做 AI 工作流时,要把判断条件写到能够执行和复查的地方。下一次迭代,才能知道自己究竟改好了什么。

相关工作与笔记

用户说“看看竞品”,AI 应该研究到哪一步?

从报告成品往前看:快查与深研的范围,怎样落实到报告生成和校验。

广告后台显示零转化,可能是追踪出了问题

另一份数据复盘:当来源不完整时,我怎样核对证据、保留缺口并交付工作簿。