返回学习路径

learn

可复现报告:让别人能重新相信你的结论

学习一份 TSN 验证报告应该如何组织拓扑、配置、流量、脚本、原始数据、统计和结论边界。

第九章:验证与进阶阅读工程闭环TSN Validation20 分钟

本节学习目标

  • 知道 TSN 报告需要保留可复现材料,而不是只有结论页。
  • 能把原始证据、统计结果和结论边界组织成报告结构。
  • 理解可复现性如何帮助后续读论文和排查问题。

建议先读

核心概念

reproducibilityraw evidenceconfiguration snapshotconclusion boundary

本章目录

  1. 01可观测性计划:TSN 测试要留下哪些证据把拓扑、配置、抓包、硬件时间戳、端口计数器、背景压力和故障注入组织成能证明边界的测试计划。
  2. 02最坏情况指标:平均延迟为什么不够学习 TSN 验证中应该关注最大值、分位数、deadline miss、抖动范围和测量误差,而不是只报告平均延迟。
  3. 03时间同步证据:没有共同时间,延迟数字也会失真学习 TSN 验证中如何记录 gPTP 状态、时间戳来源、offset、grandmaster 和测量时钟,避免把不同时间基准下的数字硬比较。
  4. 04故障注入设计:测试要覆盖你声称覆盖的故障学习如何把 FRER、Qbv、Qcc 的故障模型转成断链、端口 down、设备重启、配置失败和恢复阶段的验证场景。
  5. 05调试手册:TSN 失败时按证据链收敛把 TSN 失败拆成需求、时间、队列、调度、配置、冗余和测量几类证据,形成可复盘的排查顺序。
  6. 06可复现报告:让别人能重新相信你的结论学习一份 TSN 验证报告应该如何组织拓扑、配置、流量、脚本、原始数据、统计和结论边界。
  7. 07从验证报告到论文阅读:指标、假设与结论边界把工程测试里的证据意识迁移到论文阅读,判断 TSN 论文的模型、实验、baseline 和结论是否扎实。

解决什么问题

测试做完以后,如果只留一页 PPT,后面很难复盘。设备版本升级后结果变了,没人知道原来配置是什么;论文读到类似指标,也无法对照自己的测试;现场出问题时,报告无法帮助定位。

可复现报告解决的是信任和复盘。别人不必相信你的口头判断,可以沿着材料重新理解测试条件、执行过程和结论边界。

背景与直觉

科学实验要保留方法和数据,工程验证也一样。TSN 的结论依赖很多条件:拓扑、配置、时间同步、背景流量、测量精度、故障动作。缺任何一项,结论都会变成不可复现的经验。

怎么解决

一份可复现报告可以按这个目录组织。

目录内容
01_topology拓扑图、端口表、链路速率、故障域
02_devices型号、固件、TSN 能力、时间源
03_configgPTP、GCL、CBS、抢占、FRER、Qcc 输出
04_traffic关键流和背景流脚本、参数、持续时间
05_raw抓包、计数器、日志、时间戳原始数据
06_stats统计脚本、最大值、分位数、miss count
07_faults故障注入步骤和恢复结果
08_conclusion结论、适用范围、未覆盖风险

最好把统计脚本也保存下来。这样别人能确认图表如何从原始数据生成,而不是只看到最终图。

带来了什么新问题

可复现报告会增加工作量和数据管理成本。抓包可能很大,设备配置可能包含敏感信息,报告需要脱敏和归档策略。

但如果目标是证明确定性,这些成本是必要的。没有原始证据的报告,很难支撑长期维护和跨团队协作。

检查点

  • 如果一年后设备固件升级导致延迟变差,你希望旧报告里保留哪些材料?
  • 为什么统计图不能替代原始抓包和配置快照?

掌握检查

读完本节后,先用下面这些问题校准自己,而不是只确认“看过了”。

  1. 1能列出一份可复现 TSN 报告的目录结构。
  2. 2能说明为什么原始抓包和配置快照要和统计图一起保存。