Copilot 交互层
对话 + 地图圈选交互唯一输入口:把「在哪、干什么」的模糊诉求,转成结构化目标 + 上下文。
用地图圈选代替坐标描述,用一句话代替填表。因为地址不唯一、诉求带隐含条件,交互层要做的不是解析成命令,而是攒够上下文交给 Agent。
常见追问
为什么用圈选而不是让用户打字说地点?
地址不唯一、且区域范围用文字说不精确;圈选把「空间范围」这个高歧义信息一次性确定下来,降低后续决策出错概率。
把一句「圈选这块地,巡检消防通道」变成一条能自己找设备、规划航线、起飞取证、发现异常就处置的闭环——模型当编排者,平台当护栏。
写给想在自家业务系统上面加一层 AI 的工程同学:不光讲架构为什么长这样,每一层还写清楚是用什么做的——模型、状态、动作、护栏、怎么调试,全部摊开。
人说目标,它去走那十步;起飞仍由人拍板。
一条链无人机实战平台先把「能飞」解决了:设备接进来了,航线能规划,任务能下发。等一线真用起来,卡点换成了操作——能力都在系统里,可人要把它调出来,得自己走十步。
设备接入、航线规划、任务下发、取证回传,接口全都有。缺的不是能力,是替人把这些能力串起来的那一步。
一次巡检要跨好几屏:选设备、定区域、画航线、设参数、确认起飞、盯回传、出异常还得处置,中间点错一步整条重来。干活的人来回换,机型和参数命名又不统一,真正会用的永远是那两三个熟手;而人想说的其实只是「这块地今天巡一遍消防通道」——这段从目标到操作的翻译,一直靠人脑补。
让模型替人走这十步:人说目标,它去挑动作、填参数、看结果。什么时候能起飞、出了事谁拍板,仍然留在人这一侧。
「让大模型来控制系统」这句话解决不了任何问题。拆开是三件事,每件都有自己的出错方式。
人说的话一定缺东西:哪个机场?哪块地?要不要拍照取证?它得会反问,不能自己猜个数就往下执行。动手前还得把设备在哪、还剩多少电、挂了什么、这片空域能不能飞、任务走到哪一步凑成一份当场查出来、可信的现场快照——这些全散在不同接口里。
平台的能力要先包成一个个工具给模型用。参数、权限、错误码各家都不统一;不包好,模型每次调用都在自己拼接口,拼错了也没法重现。起飞、往指定区域飞这类动作做完就收不回,护栏不能交给模型自觉——它说什么都会照做;把关要写在动作这一层,用普通代码一条条判。
异常是三处看出来的:画面里的视觉模型、地图上的规则、业务自己的规定,三方说法不一致时得先定谁说了算,不然会出现「明明查出来了,却没人去处置」。链路一长,「这次没做好」就成了一句没法查的话;没有每一轮的记录,能做的只有改改提示词碰碰运气。
动手前只写了三条。做到才动手,做不到就不如不做——后来每次犹豫要不要这么改,都回来对这三条。
原来巡检和测量要人自己点十步:选设备、发指令、看回执、再发下一步。现在人说一句目标,系统自己把这几步排成任务、一步步执行。那十步是原来人工流程的步数,动作面照着它一个一个做,不另外发明一套。
起飞、返航、降落做错没法撤回,所以系统只把指令准备好,由人来点确认。这一条不让给自动化——业务方敢不敢让它进生产,看的就是这个。
每一轮要干什么、调了哪个工具、传了什么参数、下一步怎么决定,这四样都存下来。出错能翻到具体第几轮,不用靠猜着改提示词。
对标大疆司空 2 的公开能力,目标范围是五类作业:共享一个 Copilot 入口,各走各的任务流程、各交各的产出。第一期只把第一类做成闭环,其余按阶段接——没实现的先按目标设计写,不混进已完成。
用户描述地点、目标、飞行与取证要求;Copilot 交出结构化任务计划、确认卡、执行进度和任务结果。这是第一期落地的闭环,也是后面四类的地基。
输入不只聊天:地图标点、圈选区域、指定点位和自然语言四种都能进。产出航线草稿、地图预览和参数校验结果;草稿先落图给人看,不直接起飞。
用户描述定时巡检或告警触发后的处置流程;产出节点、参数、连线与可编辑草稿。生成、保存、启用、执行是四个状态,模型生成成功不等于工作流已启用。
用户问任务成功率、设备利用率、告警趋势;产出图表、数据依据和分析说明。查询走已有指标接口,不让模型自由写 SQL。
按目标描述搜图片或视频、识别异常;产出候选目标、证据材料、识别结果和告警建议。识别、业务判断、处置拆成三段,误报不直接触发处置。
走一遍第一期落地的那条路径:从圈选地块、口述要求,到确认卡、起飞、异常处置和最终状态。其余四类作业只是把这条链上的动作换成航线草稿、工作流草稿、查询或识别。
唯一输入口:把「在哪、干什么」的模糊诉求,转成结构化目标 + 上下文。
用地图圈选代替坐标描述,用一句话代替填表。因为地址不唯一、诉求带隐含条件,交互层要做的不是解析成命令,而是攒够上下文交给 Agent。
常见追问
地址不唯一、且区域范围用文字说不精确;圈选把「空间范围」这个高歧义信息一次性确定下来,降低后续决策出错概率。
能不能把真实设备交给它,取决于两件事:执行状态管得住,权限与风险拦得住。前者靠状态机,后者靠模型之外的一层确定性代码。
任务状态机:理解需求 → 补信息 → 生成计划 → 校验 → 待确认 → 执行 → 成功 / 失败 / 中断;校验不过走拒绝,确认超时走过期。其中 UNKNOWN 不能当失败处理——请求超时不代表业务平台没建任务,必须先按任务 ID、幂等键或业务查询确认真实状态,再决定要不要重试。
确认卡绑定的是某一版计划:设备与当前状态、目标与航线预览、关键飞行参数与风险、计划版本 / 过期时间 / 确认人。接口提交 planId、planVersion 和一次性确认凭证,服务端复核用户、任务状态与设备约束后才放行。急停与人工接管走平台已有的可靠控制通道,不排在模型的决策链上。
不另建一套 AI 数据平台,但会话、任务、计划、工具执行和人工确认的生命周期必须分开管理:否则一次超时重试就会变成两条真实任务。
工程选型按「模型 → 状态 → 动作 → 护栏 → 调试」的顺序摊开,每一项都写清楚选什么、为什么。
这些坑跟业务无关,换任何一个 AI 作业系统都会原样遇到。前几条在决策层:怎么告诉它、给它哪些工具、它看什么状态;中间是边界:参数怎么定、什么不能做、什么时候停;最后是出错之后:怎么查、哪些不能当失败、哪些不能交给模型自由发挥。
提示词越写越长,从三段变成三页。后果不是费 token,是模型开始在长上下文里漏工具、漏条件,而且每改一条业务规则都要重新发版——提示词变成了没人敢动的第二套代码。
怎么改的提示词只留三段:角色、工具清单、终止条件。业务事实不进提示词,由世界状态按轮注入。判断标准很简单:改一条规则要不要动提示词?要,就说明放错了地方。
两个功能相近的动作经常被选反——查约束条件的和查执行结果的是哪个,模型分不清。表现是循环没报错,但每一步都在做无关的事,最后交不出结果。
怎么改的每个动作的描述写三行:做什么、什么时候用、什么时候别用。参数用枚举和结构化类型,不接自由文本。另建一张「选错动作」回归清单,每次改描述跑一遍。
为了少调几次接口,把设备状态缓存在多轮之间复用。决策当时看起来完全正确,下发时设备已经离线或换人了。过期状态是 Agent 决策错误的第一来源,比模型能力问题常见得多。
怎么改的每轮决策前重新拉取,快照只在本轮内复用;把「新鲜度」写成世界状态的字段契约而不是实现细节。省下来的接口调用不是免费,是拿正确性换的。
入参是宽字符串时,坐标精度会丢、时间格式五花八门、本该是 ID 的字段被写成一句描述。单看每一轮都「差不多对」,合起来就是执行失败。
怎么改的结构化输出绑定类型,ID 类字段只接受枚举或上游动作的返回值;必填与取值范围校验放在护栏里,不放在提示词里求模型「请务必填写」。
加了「禁止在未授权区域操作」之后,模型大部分时候遵守,偶尔不遵守——而「偶尔」在安全场景里等于零。这类事故复盘到最后都会发现:确定性的判断被交给了概率模型。
怎么改的权限、参数、设备、任务状态、约束条件逐关用代码在下发前校验,任一不过即拒绝,校验逻辑不经模型。提示词只负责让它少做蠢事,不负责保证它绝不做。
全流程自动化跑通的那天,一次意图理解错误直接执行了撤不回来的操作。根因是把「模型有信心」当成了「可以执行」——这两件事之间没有关系。
怎么改的按可逆性分级:可逆动作护栏过了就走,不可逆动作即便全过也要人工二次确认。分级表进配置,不进提示词;新增动作时必须先填它属于哪一级。
没有出口预算时,轮数会悄悄涨到十几轮,中间反复调同一个动作、换同一个参数,最后仍然转人工。更糟的是这种失败没有痕迹,看不出来它从第几轮开始就已经不抱希望了。
怎么改的三条出口写死:目标达成、护栏连续拒绝 N 次、轮数/时长/token 到顶。后两条触发即转人工并附上完整 Trace。把平均轮数和转人工率当日常指标看,它们比答案质量更早暴露问题。
调了一下午 Prompt,这个场景好了,上个场景坏了;改回来,坏的又好了。没有定位手段时,唯一能动的就是文字,于是迭代变成来回摇摆。
怎么改的每轮落 Trace(轮次、快照指纹、动作、入参、护栏判定、下一步决策),问题先归到意图理解 / 动作选择 / 参数传递 / 决策收敛四类之一,再改对应动作的描述或校验规则。配一张场景测试清单当回归。
工具超时后直接重试,看起来是在兜底,实际可能已经建出两条任务。请求超时不代表平台没执行,只代表这次没拿到回执;把「没回执」当「没发生」,是生产事故的常见起点。
怎么改的状态机里单独留 UNKNOWN:超时后先按任务 ID、幂等键或业务查询接口确认真实状态,再决定重试还是收工;写操作全部带幂等键。
数据分析这类需求看起来最适合让模型直接查库:灵活、少写接口。代价是权限、口径、超时、扫描量全部失控,而且同一个问题每次都算出不同的数。
怎么改的优先用已有指标接口与查询服务;确实需要动态查询时,也只走带 SQL 白名单、权限约束、查询超时、结果行数限制和只读控制的通道。
视觉模型说「发现疑似障碍物」,界面就显示已处置——把识别、判断、处置混成一步。误报会变成真实出警,漏报则没有人复核,两种都不可接受。
怎么改的拆成三段:识别只给候选、置信度和证据;业务规则决定要不要复核、记录或告警;处置动作如果需要飞行控制,重新进入权限与风险校验。
第一期交付的是飞行任务闭环的架构与设计口径,还没有上线后的真实指标。这里只写三件事:现在能确定的量级、怎么验、上线后必须回填哪些数。
不编数字。五类作业里只有飞行任务闭环进入第一期实现,航线、工作流、报告、多模态按阶段推进——没实现的按目标设计标注,不写成已有能力。主要失败面是参数装配错与设备选错,这两类决定任务返工率,也是 Trace 最先要盯的两个字段。
第一版不铺开五类作业,按四阶段推进。每一阶段的交付物都要能拿给人看:链路跑通、图能核对、状态查得到。
对话入口、设备绑定、会话管理;意图识别、状态查询、结构化计划;计划确认、权限与参数校验;调用现有任务接口、展示进度与结果;Trace、超时、取消与故障排查。交付一个真实可验证的飞行任务链路。
地图圈选、点位输入与航线草稿;航线预览、参数校验与保存;图片 / 视频目标搜索;识别结果、证据记录和告警建议。让 AI 生成的结果能在地图与媒体界面里被检查。
受约束的工作流 Schema;节点、参数、连线的生成与校验;可视化编辑、保存与启用;定时或事件触发、执行记录与失败恢复。从一次性任务扩展到可配置流程。
指标与查询接口;自然语言筛选与统计;图表、分析说明与报告;历史报告与数据一致性。形成任务执行后的分析闭环,且不复用飞行任务的 Agent 流程。
做完这个 Copilot,对 Agent 的判断变了三条。这三条比架构图本身更值钱——它们决定下一个 Agent 项目怎么起手。
Agent 能做多少,取决于你封装了什么动作、什么参数、什么错误码,而不是模型多大;契约清楚能力自然收敛,契约含糊模型就替你发明动作。权限 / 参数 / 设备 / 任务状态 / 空域五关用确定性代码在下发前把关——写在提示词里的安全约束,只是许愿。
世界状态不可信时,多步规划只会放大错误,先做一份当轮新鲜、可查的快照再谈动态决策。意图 → 动作 → 参数 → 下一步决策这四点有记录之后,多数问题不用改提示词就能定位;顺序反了就会一直调提示词。
不可逆动作永远要确认。这不是保守,是让系统敢进生产的前提,也是它能被业务方接受的理由。
以后再设计 Agent,我先问这三个问题。
决定自动化推进到哪一步停。
决定世界状态的形状和错误码怎么设计。
决定它能不能被调试。
看编排者:巡检里「要不要喊话」没写在任何 if-else,是模型观察照片后在第 N 轮动态决定的。这一条就把它从工作流里区分出来。
运行时才知道的分支太多(设备可用性、航线复用、异常处置),写死=组合爆炸且脆;动态决策把成本从人预先枚举转成模型按上下文选择,用护栏兜底可控性。
复杂度在领域流程、工具契约和安全状态机上,不在 Agent 数量。第一版一个编排器加显式状态机,行为可查、可回放;某类作业的流程稳定、工具面变大之后,再按领域拆。
只对标公开能力:自然语言操控、航线生成、工作流草稿、飞行报告和多模态搜索,不推断它内部用了什么框架。我们要做的是在自家平台上,把这五类作业用同一套入口接出来。
靠 Agent Trace:意图→Tool→参数→下一步决策逐轮留痕,配场景测试清单定位问题在理解、选择、参数还是收敛,再改描述或加校验。