个人实践
用例编号与评测集 schema
- TC-xxx 对应需求验收条件编号
- EV-xxx 记录输入、期望结果、期望轨迹、最大步数和硬失败项
- 数据集与评分标准同仓库版本化
工程实践03
为 AI 生成的代码和 Agent 行为建立自动化验证:单元、集成、契约、E2E 测试,加上 Agent 评测(Evals),共用一条 CI 门禁。
让代码和 Agent 行为都有可执行的判定:用例能复现、结果能比较、失败能追到需求条目。
| 阶段 | 输入 | 处理 | 输出 |
|---|---|---|---|
| 场景定义 | 动作清单、需求条目 | 按成功、参数非法、无权限、超时拆场景 | 场景清单 |
| 用例与数据集 | 场景清单 | 写 TC- 用例与 EV- 数据集,登记期望轨迹 | 用例库、dataset v1 |
| 代码测试 | 代码与接口契约 | 单元、集成、契约测试并行执行 | 测试结果与覆盖率 |
| Agent 评测 | 固定版本模型与数据集 | 跑 Agent,断言结果、轨迹和安全项 | 轨迹记录、评测结果 |
| 统一门禁 | 两类结果 | 任一硬失败即中止,其余按通过率汇总 | CI 门禁结论 |
| 回归与回流 | 门禁结论与线上问题 | 对比上版本,清洗失败案例 | 回归报告、dataset v2 |
个人实践
个人实践
个人实践
{
"id": "EV-012",
"input": "把 3 号机场的巡检任务改到明天上午",
"expectTools": ["query_task", "update_task"],
"maxSteps": 4,
"hardFail": ["need_confirm_for_irreversible"]
}为一个同时包含「普通代码」和「AI Agent」的项目设计统一质量门禁,输出规范草案与用例样例: 1) 分层测试:单元 / 属性、集成 / 契约、E2E 各覆盖什么,哪四类边界必须写成表驱动用例; 2) Agent 评测:数据集字段(输入、期望结果、期望工具调用轨迹、最大步数、硬失败项),并给 5 条样例用例; 3) 判定规则:哪些用精确断言、哪些用评分,为什么安全项必须是硬失败而不是扣分; 4) 统一治理:TC- / EV- 编号、CI 阶段顺序(快 → 慢)、报告四段固定字段、准出条件; 5) 回流规则:线上问题如何转成一条新用例或一条新规则。 约束:任一硬失败项不过就不准合并;报告要能跨版本直接 diff。
真实项目:无人机智能作业平台 Copilot,评测集随动作清单一起维护。
每个动作单独成组
10 个动作 × 4 类场景
完整巡检、事件处置闭环
用例数与动作数可在评测集清单中核对。