AI 简明手册怎样测试一个不确定的 Agent 系统
先看全局
DSH 测非确定性系统的办法是把不确定性圈死在录制那一刻：真实会话日志直接推导成回放脚本，传输层死法用真 HTTP 故障服务器演练，交错空间交给性质测试扫荡。
沿地图找代码
dsh-llm-replay 按 Turn 与 Step 重放流式分片
每个流式分片都以 assistant/chunk 事件落进会话日志，dsh-llm-replay 把 chunk 事件按 (turn, step) 分组，重跑时逐帧吐回。签入的 fixture 必须在 macOS 和 Linux 都能回放，挂了就修 fixture 本身。
[repo]
dsh-llm-mock-server 用真实 HTTP 故障演练传输边界
dsh-llm-mock-server 是真实 Node HTTP 服务器，行为由脚本队列控制，覆盖 socket 重置、发一半掐线、缺 [DONE]、限流、停滞等死法。它只报告协议层事实，不判断可否重试。
[repo]
建议阅读顺序
生成器吐重复 block-end、缺 block-start 的畸形流时，断言哪些不变式： 组装出的块数不超过见过不同索引数；同一索引块内容在重复调用后保持稳定。
录制快照在 macOS 通过、Linux 因路径分隔符挂掉，按纪律改哪里： 改 fixture 本身，让它在两个平台都能回放，不写归一化器。
这张地图没覆盖什么
本页结论对应 revision
0a53fb55bea101816fa226bb964ae2bed71c343b。文件位置、命名和默认行为可能随版本变化，引用实现细节时应同时记录 commit。
来源与核验
- [repo] DeepSeek Harness 官方源码（固定 revision）
- [official] DeepSeek Harness 官方介绍
Revision：0a53fb55bea101816fa226bb964ae2bed71c343b · 核验日期：2026-08-31