专题 · Deep Dive

全部专题看交互原型

无人机 Copilot 智能助手:产品设计与技术实现

把一句「圈选这块地,巡检消防通道」变成一条能自己找设备、规划航线、起飞取证、发现异常就处置的闭环——模型当编排者,平台当护栏。

写给想在自家业务系统上面加一层 AI 的工程同学:不光讲架构为什么长这样,每一层还写清楚是用什么做的——模型、状态、动作、护栏、怎么调试,全部摊开。

先记住这三样

一句话

人说目标,它去走那十步;起飞仍由人拍板。

一条链
  1. 1平台已经能干活
  2. 2但用起来要人走十步
  3. 3所以做 Copilot

一张导图

平台已经能干活但用起来要人走十步所以做 Copilot背景把话变成能执行的目标把动作包好,还要拦得住出事判得下,出错查得清问题人说一句话,系统把活排好收不回来的动作,永远要人点确认出了事能查到是哪一步错的目标01 为什么做能力范围方案架构无权操作设备设备离线或状态不允许航线参数不合法状态与安全核心实体接口边界错误语义数据与接口实现02 怎么做结果推进Agent 能做什么、不能做什么,全由动作那一层说了算先有可信状态和逐轮记录,再谈优化裁量权留给人沉淀这个动作可逆吗、出了错谁负责处置决策要读哪些状态、能不能一次拿全,工具报错时模型看得到什么有没有逐轮 Trace反思03 做成什么无人机 Copilot 智能助手:产品设计与技术实现
01为什么做

背景

无人机实战平台先把「能飞」解决了:设备接进来了,航线能规划,任务能下发。等一线真用起来,卡点换成了操作——能力都在系统里,可人要把它调出来,得自己走十步。

  1. 1

    平台已经能干活

    设备接入、航线规划、任务下发、取证回传,接口全都有。缺的不是能力,是替人把这些能力串起来的那一步。

  2. 2

    但用起来要人走十步

    一次巡检要跨好几屏:选设备、定区域、画航线、设参数、确认起飞、盯回传、出异常还得处置,中间点错一步整条重来。干活的人来回换,机型和参数命名又不统一,真正会用的永远是那两三个熟手;而人想说的其实只是「这块地今天巡一遍消防通道」——这段从目标到操作的翻译,一直靠人脑补。

  3. 3

    所以做 Copilot

    让模型替人走这十步:人说目标,它去挑动作、填参数、看结果。什么时候能起飞、出了事谁拍板,仍然留在人这一侧。

问题

「让大模型来控制系统」这句话解决不了任何问题。拆开是三件事,每件都有自己的出错方式。

  1. 1

    把话变成能执行的目标

    人说的话一定缺东西:哪个机场?哪块地?要不要拍照取证?它得会反问,不能自己猜个数就往下执行。动手前还得把设备在哪、还剩多少电、挂了什么、这片空域能不能飞、任务走到哪一步凑成一份当场查出来、可信的现场快照——这些全散在不同接口里。

  2. 2

    把动作包好,还要拦得住

    平台的能力要先包成一个个工具给模型用。参数、权限、错误码各家都不统一;不包好,模型每次调用都在自己拼接口,拼错了也没法重现。起飞、往指定区域飞这类动作做完就收不回,护栏不能交给模型自觉——它说什么都会照做;把关要写在动作这一层,用普通代码一条条判。

  3. 3

    出事判得下,出错查得清

    异常是三处看出来的:画面里的视觉模型、地图上的规则、业务自己的规定,三方说法不一致时得先定谁说了算,不然会出现「明明查出来了,却没人去处置」。链路一长,「这次没做好」就成了一句没法查的话;没有每一轮的记录,能做的只有改改提示词碰碰运气。

目标

动手前只写了三条。做到才动手,做不到就不如不做——后来每次犹豫要不要这么改,都回来对这三条。

  1. 1

    人说一句话,系统把活排好

    原来巡检和测量要人自己点十步:选设备、发指令、看回执、再发下一步。现在人说一句目标,系统自己把这几步排成任务、一步步执行。那十步是原来人工流程的步数,动作面照着它一个一个做,不另外发明一套。

  2. 2

    收不回来的动作,永远要人点确认

    起飞、返航、降落做错没法撤回,所以系统只把指令准备好,由人来点确认。这一条不让给自动化——业务方敢不敢让它进生产,看的就是这个。

  3. 3

    出了事能查到是哪一步错的

    每一轮要干什么、调了哪个工具、传了什么参数、下一步怎么决定,这四样都存下来。出错能翻到具体第几轮,不用靠猜着改提示词。

02怎么做

能力范围

对标大疆司空 2 的公开能力,目标范围是五类作业:共享一个 Copilot 入口,各走各的任务流程、各交各的产出。第一期只把第一类做成闭环,其余按阶段接——没实现的先按目标设计写,不混进已完成。

产品能力图 · 一个入口,五类作业

  1. 1

    智能飞行操控

    用户描述地点、目标、飞行与取证要求;Copilot 交出结构化任务计划、确认卡、执行进度和任务结果。这是第一期落地的闭环,也是后面四类的地基。

  2. 2

    智能航线规划

    输入不只聊天:地图标点、圈选区域、指定点位和自然语言四种都能进。产出航线草稿、地图预览和参数校验结果;草稿先落图给人看,不直接起飞。

  3. 3

    自动化工作流

    用户描述定时巡检或告警触发后的处置流程;产出节点、参数、连线与可编辑草稿。生成、保存、启用、执行是四个状态,模型生成成功不等于工作流已启用。

  4. 4

    作业数据分析

    用户问任务成功率、设备利用率、告警趋势;产出图表、数据依据和分析说明。查询走已有指标接口,不让模型自由写 SQL。

  5. 5

    多模态巡检

    按目标描述搜图片或视频、识别异常;产出候选目标、证据材料、识别结果和告警建议。识别、业务判断、处置拆成三段,误报不直接触发处置。

方案

任务时序图 · 一次消防通道巡检

逐段拆解每一步为什么这么走

走一遍第一期落地的那条路径:从圈选地块、口述要求,到确认卡、起飞、异常处置和最终状态。其余四类作业只是把这条链上的动作换成航线草稿、工作流草稿、查询或识别。

第 1 / 9 步
Copilot 交互层用户在地图上圈选期望海路地块,口述「巡检这里的消防通道」;语音转写与圈选区域一起提交。

架构

系统架构图 · 模块与边界

逐层拆解

Copilot 交互层

对话 + 地图圈选交互
一句话

唯一输入口:把「在哪、干什么」的模糊诉求,转成结构化目标 + 上下文。

30 秒 · 为什么这么设计

用地图圈选代替坐标描述,用一句话代替填表。因为地址不唯一、诉求带隐含条件,交互层要做的不是解析成命令,而是攒够上下文交给 Agent。

常见追问

为什么用圈选而不是让用户打字说地点?

地址不唯一、且区域范围用文字说不精确;圈选把「空间范围」这个高歧义信息一次性确定下来,降低后续决策出错概率。

它拒绝什么、什么时候会出错

不重建业务任务、航线、设备对接、数据落库都留在既有平台;Copilot 只做交互与编排,通过 10 个动作调用平台。
不直接碰设备底层Copilot 不接管飞控与实时控制回路;它调用平台动作,平台负责与设备安全通信。
最终裁量留给人起飞等不可逆高危动作,即便校验全过也需人工二次确认;模型可以建议,不能擅自执行。
急停不经过模型急停与人工接管走平台已有的可靠控制通道,不排在 Agent 的决策链上;这条链路出问题时不能等模型想明白。

状态与安全

能不能把真实设备交给它,取决于两件事:执行状态管得住,权限与风险拦得住。前者靠状态机,后者靠模型之外的一层确定性代码。

任务状态机:理解需求 → 补信息 → 生成计划 → 校验 → 待确认 → 执行 → 成功 / 失败 / 中断;校验不过走拒绝,确认超时走过期。其中 UNKNOWN 不能当失败处理——请求超时不代表业务平台没建任务,必须先按任务 ID、幂等键或业务查询确认真实状态,再决定要不要重试。

会在哪里被拦住

无权操作设备服务端按当前身份与资源授权校验,不看模型说了什么。
设备离线或状态不允许执行前查真实设备状态;状态不缓存,缓存的状态等于拍脑袋。
航线参数不合法确定性规则校验航点、参数与平台能拿到的飞行约束。
高风险飞行操作展示计划与风险信息,要求显式确认,不提供「默认同意」。
确认后又改了计划计划版本一变,旧确认立即失效,必须重新确认。
工具请求超时先查业务执行状态,禁止盲目重复提交——超时不是失败。
任务中断或人工接管更新任务状态并停止派发后续步骤,不再继续往下编排。
模型输出非法参数Schema 与业务校验,失败即拒绝执行,不让「差不多对」的参数出门。
视觉识别误报保留证据与置信度,按规则进复核或告警,不直接等于「已确认」。
模型服务不可用返回可理解的失败状态,不绕过校验直接执行。

人工确认

确认卡绑定的是某一版计划:设备与当前状态、目标与航线预览、关键飞行参数与风险、计划版本 / 过期时间 / 确认人。接口提交 planId、planVersion 和一次性确认凭证,服务端复核用户、任务状态与设备约束后才放行。急停与人工接管走平台已有的可靠控制通道,不排在模型的决策链上。

数据与接口

不另建一套 AI 数据平台,但会话、任务、计划、工具执行和人工确认的生命周期必须分开管理:否则一次超时重试就会变成两条真实任务。

核心实体

CopilotSession会话与设备绑定关系。
CopilotMessage用户消息与助手消息,保留引用而不是把大段内容塞进业务库。
CopilotTask有独立状态与生命周期的业务任务,与平台任务一一对应。
TaskPlan结构化计划及版本;确认与执行都认版本。
ToolExecution每次工具调用的入参、结果、耗时与状态。
HumanApproval确认请求、确认人、计划版本与结果。
TaskEvent进度、状态变化、错误与审计事件。

接口边界

POST /sessions创建会话(/api/copilot 前缀)。
POST /sessions/{id}/messages提交用户指令,返回本轮任务与流式通道。
GET /sessions/{id}/events订阅消息、确认请求和任务进度。
GET /tasks/{id}查任务当前状态,断线重连后靠它恢复。
GET /tasks/{id}/plans/{version}查某一版本的任务计划。
POST /tasks/{id}/confirmations确认待执行计划,带 planId、版本与一次性凭证。
POST /tasks/{id}/cancel取消任务或请求中断,交给平台控制通道。
POST /routes/drafts生成航线草稿;后续的工作流草稿与报告各走自己的接口。

错误语义

需要补充NEEDS_CLARIFICATION:输入缺必要信息,先追问,不猜。
资源与权限RESOURCE_NOT_FOUND / PERMISSION_DENIED:资源不存在,或当前用户无权执行。
前置条件与计划PRECONDITION_FAILED / PLAN_INVALID:设备状态或业务条件不满足;计划或参数校验失败。
确认与执行APPROVAL_REQUIRED / EXECUTION_FAILED:需要人工确认;业务平台确认执行失败。
超时与不可用TOOL_TIMEOUT / MODEL_UNAVAILABLE:工具超时但业务状态待确认;模型服务暂时不可用。

实时通道

SSE 的定位只负责把过程推给前端,不是执行状态的唯一存储;状态以服务端持久化记录为准。
断线重连重连后先查任务状态再续订阅,不靠补齐丢失的事件来猜。

实现

技术选型

工程选型按「模型 → 状态 → 动作 → 护栏 → 调试」的顺序摊开,每一项都写清楚选什么、为什么。

模型与编排

编排框架Spring AI Alibaba 1.1.2.x(配套 Spring AI 1.1.2):工具以 @Tool 注册、结构化输出绑定 {思考, 动作, 参数} 类型、循环骨架自己写——全部落在 Java 技术栈内。既有平台主语言是 Java,这是选型的第一前提:不为此引入一套 Python 服务。
模型接入通义、DeepSeek 等国产大模型,经 Spring AI Alibaba 的模型抽象统一接入;厂商可替换,执行层只依赖「稳定输出结构化 JSON、上下文变长后选工具不退化」这两条契约。照片判读走具备视觉能力的多模态变体。
循环形态ReAct 式多轮循环:思考 → 行动 → 观察,直到收工或转人工。提示词只写角色、工具清单、终止条件三段;业务知识不进提示词,由世界状态按轮注入。
出口与预算三条出口:目标达成、护栏连续拒绝、轮数/时长/token 预算到顶。后两条是防死循环的硬闸门。

服务与实时链路

后端形态Copilot 服务是 Spring Boot 3.5.x 应用:编排循环、动作网关、护栏校验链、Trace 落库在同一进程,与既有平台经服务接口对接。
SSE 回显每轮「思考 → 动作 → 观察」经 SSE 实时推给前端——值班员看得见 Agent 走到哪一步。过程透明本身就是安全设计的一部分。
前端与圈选前端沿用平台管理端的 Vue 3,Copilot 对话面板与地图同屏;Cesium 三维地球上绘制多边形,落为 GeoJSON 随转写后的语音文本一起提交,候选歧义的确认卡片经 SSE 推回这张图。

世界状态与数据

数据来源不建独立库:机巢与无人机状态、电量、载荷、空域、任务进度全部现取平台已有业务数据,裁剪成按轮 JSON 快照。
新鲜度每轮决策前重新拉取,不缓存「上一轮看到的」设备状态——可用性是分钟级变化的,过期状态是决策错误的第一来源。

10 个平台动作(对应人工巡检十步)

圈区域GIS 地点检索与圈选落库;地址有歧义时返回候选列表而非单条结果。
找机场按覆盖区域 + 在线 + 可调度筛机巢。
选无人机在机巢内取空闲且状态可用的机体。
查电量电量阈值判断能否覆盖任务航时。
查载荷相机/喊话器等载荷与任务需求匹配。
查空域目标区域空域是否允许飞行;同一份查询也是护栏的校验依据。
规划航线机场 + 区域生成含航点/高度/覆盖方式的可执行航线。
创建任务航线 + 机体 + 时间落为任务实例,进入平台生命周期。
看视频调 AI拉起实时视频流并挂载车辆检测等识别算法。
拍照喊话拍照取证、远程喊话驱离,并生成异常事件记录。

护栏与确认

校验链确定性代码在下发前依次过权限 / 参数 / 设备 / 任务状态 / 空域五关,任一不过即拒绝;安全性不赌提示词,校验逻辑不经模型。
人工确认起飞等不可逆动作即便全过,仍需前端人工二次确认后才放行——最终裁量留给人。

观测与调试

Trace每轮落盘 {轮次, 快照指纹, 动作, 入参, 护栏判定, 下一步决策},同时经 SSE 推给前端展示,全链路可回放。
调试方法场景测试清单 × Trace 定位:问题归到意图理解 / 动作选择 / 参数传递 / 决策收敛四类之一,改对应动作的 description 或校验规则。

会踩的坑

这些坑跟业务无关,换任何一个 AI 作业系统都会原样遇到。前几条在决策层:怎么告诉它、给它哪些工具、它看什么状态;中间是边界:参数怎么定、什么不能做、什么时候停;最后是出错之后:怎么查、哪些不能当失败、哪些不能交给模型自由发挥。

  1. 1

    把业务知识写进提示词

    提示词越写越长,从三段变成三页。后果不是费 token,是模型开始在长上下文里漏工具、漏条件,而且每改一条业务规则都要重新发版——提示词变成了没人敢动的第二套代码。

    怎么改的提示词只留三段:角色、工具清单、终止条件。业务事实不进提示词,由世界状态按轮注入。判断标准很简单:改一条规则要不要动提示词?要,就说明放错了地方。

  2. 2

    工具描述只写「是什么」,模型选错动作

    两个功能相近的动作经常被选反——查约束条件的和查执行结果的是哪个,模型分不清。表现是循环没报错,但每一步都在做无关的事,最后交不出结果。

    怎么改的每个动作的描述写三行:做什么、什么时候用、什么时候别用。参数用枚举和结构化类型,不接自由文本。另建一张「选错动作」回归清单,每次改描述跑一遍。

  3. 3

    缓存了上一轮看到的状态

    为了少调几次接口,把设备状态缓存在多轮之间复用。决策当时看起来完全正确,下发时设备已经离线或换人了。过期状态是 Agent 决策错误的第一来源,比模型能力问题常见得多。

    怎么改的每轮决策前重新拉取,快照只在本轮内复用;把「新鲜度」写成世界状态的字段契约而不是实现细节。省下来的接口调用不是免费,是拿正确性换的。

  4. 4

    参数让模型自己拼

    入参是宽字符串时,坐标精度会丢、时间格式五花八门、本该是 ID 的字段被写成一句描述。单看每一轮都「差不多对」,合起来就是执行失败。

    怎么改的结构化输出绑定类型,ID 类字段只接受枚举或上游动作的返回值;必填与取值范围校验放在护栏里,不放在提示词里求模型「请务必填写」。

  5. 5

    用提示词当安全边界

    加了「禁止在未授权区域操作」之后,模型大部分时候遵守,偶尔不遵守——而「偶尔」在安全场景里等于零。这类事故复盘到最后都会发现:确定性的判断被交给了概率模型。

    怎么改的权限、参数、设备、任务状态、约束条件逐关用代码在下发前校验,任一不过即拒绝,校验逻辑不经模型。提示词只负责让它少做蠢事,不负责保证它绝不做。

  6. 6

    不可逆动作没分级

    全流程自动化跑通的那天,一次意图理解错误直接执行了撤不回来的操作。根因是把「模型有信心」当成了「可以执行」——这两件事之间没有关系。

    怎么改的按可逆性分级:可逆动作护栏过了就走,不可逆动作即便全过也要人工二次确认。分级表进配置,不进提示词;新增动作时必须先填它属于哪一级。

  7. 7

    循环不收敛,靠「再试一次」续命

    没有出口预算时,轮数会悄悄涨到十几轮,中间反复调同一个动作、换同一个参数,最后仍然转人工。更糟的是这种失败没有痕迹,看不出来它从第几轮开始就已经不抱希望了。

    怎么改的三条出口写死:目标达成、护栏连续拒绝 N 次、轮数/时长/token 到顶。后两条触发即转人工并附上完整 Trace。把平均轮数和转人工率当日常指标看,它们比答案质量更早暴露问题。

  8. 8

    出问题只会改提示词

    调了一下午 Prompt,这个场景好了,上个场景坏了;改回来,坏的又好了。没有定位手段时,唯一能动的就是文字,于是迭代变成来回摇摆。

    怎么改的每轮落 Trace(轮次、快照指纹、动作、入参、护栏判定、下一步决策),问题先归到意图理解 / 动作选择 / 参数传递 / 决策收敛四类之一,再改对应动作的描述或校验规则。配一张场景测试清单当回归。

  9. 9

    把 UNKNOWN 当成失败重试

    工具超时后直接重试,看起来是在兜底,实际可能已经建出两条任务。请求超时不代表平台没执行,只代表这次没拿到回执;把「没回执」当「没发生」,是生产事故的常见起点。

    怎么改的状态机里单独留 UNKNOWN:超时后先按任务 ID、幂等键或业务查询接口确认真实状态,再决定重试还是收工;写操作全部带幂等键。

  10. 10

    让模型自由写 SQL

    数据分析这类需求看起来最适合让模型直接查库:灵活、少写接口。代价是权限、口径、超时、扫描量全部失控,而且同一个问题每次都算出不同的数。

    怎么改的优先用已有指标接口与查询服务;确实需要动态查询时,也只走带 SQL 白名单、权限约束、查询超时、结果行数限制和只读控制的通道。

  11. 11

    识别出异常就当处置完成

    视觉模型说「发现疑似障碍物」,界面就显示已处置——把识别、判断、处置混成一步。误报会变成真实出警,漏报则没有人复核,两种都不可接受。

    怎么改的拆成三段:识别只给候选、置信度和证据;业务规则决定要不要复核、记录或告警;处置动作如果需要飞行控制,重新进入权限与风险校验。

03做成什么

结果

第一期交付的是飞行任务闭环的架构与设计口径,还没有上线后的真实指标。这里只写三件事:现在能确定的量级、怎么验、上线后必须回填哪些数。

不编数字。五类作业里只有飞行任务闭环进入第一期实现,航线、工作流、报告、多模态按阶段推进——没实现的按目标设计标注,不写成已有能力。主要失败面是参数装配错与设备选错,这两类决定任务返工率,也是 Trace 最先要盯的两个字段。

动作面10 个平台动作,对应人工巡检十步;Agent 只出现在编排层,不直接下发设备指令
一条任务9 步闭环:意图 → 世界状态 → 选设备 → 规划航线 → 参数校验 → 二次确认 → 起飞取证 → 异常判定 → 处置归档。单轮决策控制在秒级,超过 5s 值班员会认为它卡住并自己上手,编排就白做了
不可逆动作起飞等动作 100% 需要二次确认——这条不随模型能力变化,是设计约束不是过渡方案
能力范围五类作业共享一个入口,第一期只交付飞行任务闭环;其余先在草稿态验证,生成 / 保存 / 启用 / 执行分开

怎么验

意图理解多种说法描述同一任务时,是否落到同一任务类型和同一组必要参数。
缺失信息缺设备、地点、时间或目标时,是否主动追问,而不是编一个值往下执行。
工具调用正常、异常与边界参数下,工具选择与入参是否都符合动作契约。
安全控制无权限、设备离线、参数越界时,是否在服务端被拦住,而不是靠模型自觉。
确认机制取消、过期、计划变更后,旧确认能否被正确拒绝。
执行可靠性超时、重复请求、状态查询失败后,是否避免重复执行并能恢复。
多模态识别不同场景、目标尺寸与拍摄条件下的错误类型是否可衡量。
数据报告时间范围、指标口径与空数据下,图表数值是否与数据服务一致。

指标口径

意图识别准确率任务类型判断正确的测试样本占比。
参数提取准确率必要参数与标准答案匹配的比例。
工具调用成功率工具请求成功完成的次数 / 工具请求总次数。
计划校验通过率通过业务规则校验的计划占比。
任务完成率真实业务平台确认完成的任务占比。
人工接管率执行中需要人工介入的任务占比。
端到端耗时从用户提交到业务结果可见的耗时。
故障恢复成功率异常后在规定时间内恢复到正确状态的比例。

及格线

安全测试全过权限绕过、确认绕过、非法参数这类安全用例必须全部拦住;拦不住的先别谈效果。
重复提交不出重复任务重复提交与请求超时测试不能产生未预期的第二任务。
执行中的任务都追得到每个执行中的任务都能关联到可查询的业务任务 ID,或明确标记为状态待确认。
先有 Trace,再谈优化没有逐轮记录(轮次 · 快照指纹 · 动作 · 入参 · 护栏判定 · 下一步决策),任何一次「变好了」都无法归因。
一次通过率要能持续上升同一目标被重复下发的次数应随动作契约收敛而下降;不降说明工具设计在把复杂度推给模型。
接管原因必须可归类人工接管要落到「意图理解 / 动作选择 / 参数传递 / 决策收敛」四类之一,否则改进没有靶子。

推进

第一版不铺开五类作业,按四阶段推进。每一阶段的交付物都要能拿给人看:链路跑通、图能核对、状态查得到。

  1. 1

    阶段一:打通核心闭环

    对话入口、设备绑定、会话管理;意图识别、状态查询、结构化计划;计划确认、权限与参数校验;调用现有任务接口、展示进度与结果;Trace、超时、取消与故障排查。交付一个真实可验证的飞行任务链路。

  2. 2

    阶段二:航线与多模态

    地图圈选、点位输入与航线草稿;航线预览、参数校验与保存;图片 / 视频目标搜索;识别结果、证据记录和告警建议。让 AI 生成的结果能在地图与媒体界面里被检查。

  3. 3

    阶段三:自动化工作流

    受约束的工作流 Schema;节点、参数、连线的生成与校验;可视化编辑、保存与启用;定时或事件触发、执行记录与失败恢复。从一次性任务扩展到可配置流程。

  4. 4

    阶段四:作业数据分析

    指标与查询接口;自然语言筛选与统计;图表、分析说明与报告;历史报告与数据一致性。形成任务执行后的分析闭环,且不复用飞行任务的 Agent 流程。

沉淀

做完这个 Copilot,对 Agent 的判断变了三条。这三条比架构图本身更值钱——它们决定下一个 Agent 项目怎么起手。

  1. 1

    Agent 能做什么、不能做什么,全由动作那一层说了算

    Agent 能做多少,取决于你封装了什么动作、什么参数、什么错误码,而不是模型多大;契约清楚能力自然收敛,契约含糊模型就替你发明动作。权限 / 参数 / 设备 / 任务状态 / 空域五关用确定性代码在下发前把关——写在提示词里的安全约束,只是许愿。

  2. 2

    先有可信状态和逐轮记录,再谈优化

    世界状态不可信时,多步规划只会放大错误,先做一份当轮新鲜、可查的快照再谈动态决策。意图 → 动作 → 参数 → 下一步决策这四点有记录之后,多数问题不用改提示词就能定位;顺序反了就会一直调提示词。

  3. 3

    裁量权留给人

    不可逆动作永远要确认。这不是保守,是让系统敢进生产的前提,也是它能被业务方接受的理由。

反思

以后再设计 Agent,我先问这三个问题。

  1. 1

    这个动作可逆吗、出了错谁负责处置

    决定自动化推进到哪一步停。

  2. 2

    决策要读哪些状态、能不能一次拿全,工具报错时模型看得到什么

    决定世界状态的形状和错误码怎么设计。

  3. 3

    有没有逐轮 Trace

    决定它能不能被调试。

你大概率会问

凭什么叫 Agent,不是把接口包了层对话皮?

看编排者:巡检里「要不要喊话」没写在任何 if-else,是模型观察照片后在第 N 轮动态决定的。这一条就把它从工作流里区分出来。

为什么不直接写死流程,更可控?

运行时才知道的分支太多(设备可用性、航线复用、异常处置),写死=组合爆炸且脆;动态决策把成本从人预先枚举转成模型按上下文选择,用护栏兜底可控性。

为什么不拆成多个 Agent?

复杂度在领域流程、工具契约和安全状态机上,不在 Agent 数量。第一版一个编排器加显式状态机,行为可查、可回放;某类作业的流程稳定、工具面变大之后,再按领域拆。

跟大疆司空 2 是什么关系?

只对标公开能力:自然语言操控、航线生成、工作流草稿、飞行报告和多模态搜索,不推断它内部用了什么框架。我们要做的是在自家平台上,把这五类作业用同一套入口接出来。

怎么从 demo 调到能用?

靠 Agent Trace:意图→Tool→参数→下一步决策逐轮留痕,配场景测试清单定位问题在理解、选择、参数还是收敛,再改描述或加校验。