本目录是「执行用例 → 采集 → 判定 → 产出报告」阶段的 可运行、可复现、可增量更新 的工作区。 完整设计手册见根目录
../phase02.md;本目录把它落成可跑的组件、流程、命令与模板。
Phase 01(用例设计 Agent Team)
│ 产出:文本用例(source of truth)+ 派生可执行 YAML + 三份基线
│ 交接契约:phase01/schema/executable-case.schema.yaml
▼
Phase 02(执行与报告 Harness)★ 本目录
│ 读入 YAML → 编译 GitCode workflow → 触发 → 采集 → 断言 → 报告
│ 形态:确定性脚本为主,LLM 辅助
① 校验输入 → /phase02-schema-check 逐条过 schema,拒收不合规用例
② 执行用例 → /phase02-exec 新建 run,按维度执行
③ 查看进度 → /phase02-status 看通过率 / 失败摘要 / 进度
④ 生成报告 → /phase02-report 分维度报告 + 回归 diff + flaky 标记
| 路径 | 是什么 |
|---|---|
process.md |
流程定义:执行链、门禁、run 生命周期、DoD |
rules.md |
全局规则:断言纪律、判定铁律、LLM 边界、脱敏 |
contract.md |
★ 与 Phase 01 的接口契约(对齐文档) |
agents/ |
3 个 agent 定义(LLM 辅助角色) |
scripts/ |
6 个确定性脚本规格 |
inputs/ |
输入清单:接收 Phase 01 的 YAML 用例 + 平台配置 |
runs/ |
按执行批次存档,每次 /phase02-exec 生成一个 <run-id>/ |
templates/ |
执行结果模板 / 测试报告模板 |
reports/ |
归档报告 |
- 脚本为主,LLM 为辅。 执行与判定主链路全部由确定性脚本完成;LLM 只做 YAML 编译、失败分析、易用性评判等辅助工作。pass/fail 的最终裁决绝不交给 LLM。
- Schema 校验是第一道闸门。 不合规用例直接拒收并回报 Phase 01,绝不「尽力执行」残缺用例。
- YAML 编译是 Phase 02 核心差异化能力。 把 Phase 01 产出的文本意图(
workflow:字段)编译为可在 GitCode 上真实运行的 workflow YAML 文件。 - 断言三类全覆盖。 positive(应发生)/ negative(不应发生,安全命脉)/ nonfunctional(非功能:时序/并发/可理解性)。
- 可复现、可回归。 每次执行自成一个 run 目录,结果结构化落库,支持与上次 run 对比回归。
Phase 02 只执行用例、采集结果、产出报告,不判断「该测什么」。唯一合法输入是 Phase 01 通过 DoD 验收的可执行 YAML(经 schema 校验)。详见 contract.md。