工程实践04

质量与交付

把质量要求落到交付流水线:Code Review、CI/CD、安全扫描、灰度发布和可观测性,发布和回滚都有据可依。

P1 · 《AI 原生软件工程交付流程》

目标

把质量做成流水线上的卡点:机器先过滤能自动判定的问题,人只审设计取舍,发布和回滚都有书面依据。

  • 格式、静态分析、测试、评测、安全扫描先由机器判定
  • 评审聚焦设计取舍、接口语义和失败路径
  • 变更拆小,主干始终可发布
  • 线上问题回流成新用例或新门禁规则

原则

  1. 机器管格式,人管决策lint、格式、类型检查自动完成,评审聚焦设计取舍、接口语义和超时、重试、降级。
  2. 门禁由快到慢静态检查和单测先跑,E2E 和 Evals 后跑;依赖漏洞、密钥泄露、镜像基线在构建阶段拦截。
  3. 发布和生效解耦灰度、特性开关、回滚预案写进发布单;出问题先关开关,再定位原因。
  4. 事故必须回流线上问题要产出一条新用例或新门禁规则,流程才算闭环;复盘对事不对人。

流程

输入拆解执行校验产出反馈需求与定义验收条件 · 接口契约实现与自动检查lint · 类型 · 单测CI 快门禁代码评审设计取舍 · 失败路径PR review测试与评测门禁TC- / EV- 全量CI Gate安全扫描依赖 · 密钥 · 镜像Trivy / Semgrep灰度与观测开关 · 指标 · 链路OTel复盘与回流新用例或新规则postmortemFlow: 质量与交付
阶段与产物
阶段输入处理输出
需求与定义需求、验收条件、接口契约确认准出标准,拆成小批量变更spec、PR 检查单
实现与自动检查spec 与契约Agent 或人实现,跑 lint、类型、单测diff、自动检查结果
代码评审diff 与检查结果评审设计取舍、接口语义和失败路径评审意见
测试与评测门禁通过评审的产物跑 TC- 与 EV- 全量用例测试与评测报告
安全扫描构建产物与依赖清单依赖漏洞、密钥、镜像基线扫描安全报告、SBOM
灰度与观测通过门禁的产物按比例灰度,观测错误率、延迟与链路灰度结论
复盘与回流线上问题与观测数据定位根因,补用例或补规则复盘报告、新门禁规则

规范

个人实践

PR 与 Code Review 检查单

  • PR 描述写清改了什么、为什么改、怎么验证
  • 改动超过阈值必须拆分,不把重构和功能混在一起
  • 评审确认超时、重试、降级和权限边界
  • 机器可判定的格式问题不占用评审时间

个人实践

发布单与故障复盘模板

  • 发布单:变更内容、灰度比例、观测指标、回滚步骤、负责人
  • 复盘:时间线、影响面、根因、改进项、验证方式
  • 根因禁止写「不够仔细」,必须落到流程或规则
  • 改进项指定负责人和截止时间,完成后回填验证结果

个人实践

CI 门禁顺序

  • 静态检查 → 单测 → 契约 / E2E → Evals → 安全扫描
  • 构建产物记录 commit、依赖清单(SBOM)与构建参数
  • 依赖漏洞、密钥泄露、镜像基线在构建阶段拦截
交付物与提示词模板
  • 《AI 原生软件工程交付流程》
  • Code Review 检查单与 PR 描述模板
  • CI/CD 门禁配置与产物来源(SBOM)规范
  • 灰度发布、回滚预案与故障复盘模板
  • 演示案例的复盘报告与新增的并发属性测试用例
按《AI 原生软件工程交付流程》对本次变更做准出检查,逐层核对:
定义层:spec 的验收条件是否可判定、ADR 与接口契约是否齐备、PR 是否只解决一个问题;
实现层:任务是否拆到可独立验证、diff 与契约是否一致、自动检查是否通过;
验证层:TC 与 EV 报告是否齐全、有无硬失败项、与上版本回归对比、安全扫描结果;
交付层:灰度比例、观测指标、回滚预案、发布单是否齐备。
每层给出「齐备 / 缺失」与证据文件路径。
若发现问题,列出最小补齐清单,并指出这次问题应回流成哪一条新用例或新门禁规则;复盘禁止把根因写成「不够仔细」。
最后只输出一个结论:允许上线 / 不允许上线。
行业参考

案例演示案例

AI 生成代码缺陷的拦截与复盘

  • 逃逸原因:单测只覆盖顺序执行,评审关注主流程,都没覆盖并发状态迁移
  • 拦截关卡:契约测试加灰度期错误率告警
  • 修复不止改代码:补用例、补断言、补规则
  • 复盘留档:时间线、影响面、根因、改进项、验证结果

演示案例:用于说明复盘格式与回流方式,不代表真实事故记录。

效果与局限

4 层交付分工

人定义、Agent 实现、CI 验证、平台交付

每次分区变更自身迭代

typecheck + 页面验证 + 人工设计检查

开关 + 灰度回滚方式

个人项目内只做到开关级演练

局限

  • 灰度与回滚在个人项目里只做到开关级演练,未覆盖多实例流量切换。
  • 缺陷拦截案例为演示案例,用于说明复盘格式,不是真实事故记录。

本页自身的迭代按这套流程执行;交付治理部分按行业流程整理。