架构无人机智能作业平台

无人机智能作业平台

面向巡检场景的无人机智能作业平台:自动调度无人机执行巡检任务,实时回传视频与设备状态,AI 识别异常并输出事件预警。

产品功能架构图Capability Map

六大产品能力域:作业与任务、设备与机场、实时监控、地图与数据、智能与事件、组织与开放。

作业与任务从任务创建到执行闭环设备与机场机场与飞行器统一纳管实时监控低时延图传与直播地图与数据地图、建图与成果沉淀智能与事件识别、告警与处置组织与开放团队协作与系统集成任务创建选设备 · 定航线提交任务队列航线规划航点 · 动作 · 复飞GIS 航点编辑任务计划定时 · 循环执行计划排程任务下发前置校验 · 排队状态机驱动执行监控进度 · 状态 · 遥测实时回传任务模板常用任务复用批量创建机场管理开舱 · 充电 · 环境远程运维飞行器管理在线 · 电量 · 型号统一设备模型负载管理相机 · 喊话器 · 探照灯负载即插即用设备状态健康度 · 告警秒级刷新远程调试云台 · 相机参数指令下发与回执固件升级批量 · 灰度升级升级任务编排实时图传低时延 · 多路并发WebRTC · RTSP云台控制转向 · 变焦 · 拍照低时延指令多路直播多机同屏监看一路多屏直播分享链接分享 · 权限免登录观看指挥大屏态势总览 · 投屏大屏可视化录像抓拍关键帧 · 一键抓拍存证归档二维/三维地图底图 · 实景三维GIS 一张图云端建图正射影像 · 三维模型建图任务禁飞区电子围栏 · 越界告警空间校验轨迹回放飞行轨迹 · 参数曲线历史回放媒体库照片 · 视频 · 成果按任务归档成果导出报告 · 数据包批量打包下载AI 识别目标检测 · 分类视频抽帧分析智能巡检航线 + 算法编排识别规则配置事件告警分级 · 实时推送站内 · 消息通知事件处置派单 · 复核 · 闭环处置留痕巡检报告自动汇总 · 归档报告模板算法配置模型 · 阈值管理算法适配层组织与项目多项目数据隔离组织架构成员权限角色 · 设备授权RBAC操作审计全量操作留痕审计日志消息通知站内信 · 短信告警订阅开放 API设备 · 任务 · 媒体REST · 回调第三方集成业务系统对接Webhook · 单点登录Product: 无人机智能作业平台

核心业务流程图Business Flow

巡检作业全流程:从任务创建到报告归档,覆盖设备执行、AI 识别与人工处置闭环。

提交下发指令上报视频 + 轨迹识别出事件告警推送处置完成落库巡检结束创建巡检任务选设备 · 定航线运营人员 / Copilot任务派发校验电量与空域状态机:待执行设备执行起飞 · 按航线巡检机场 / 飞行器实时回传视频 + 位置 + 状态MQTT · RTSPAI 分析视频分析 · 事件识别AI 云服务事件预警推送告警到管理台WebSocket人工处置确认 · 派单 · 复核裁量留给人任务闭环完成 / 超时补偿状态机终态归档与报告过程留痕 · 统计报表MySQL · MinIOFlow: 一次巡检作业

系统总体架构图System Overview

分层视角下的系统组成:用户与终端、接入与通信、业务应用、平台服务、数据与中间件、基础设施六层,以及贯穿各层的运维、安全与研发交付能力。

用户与终端层Web · 大屏 · H5 · Copilot接入与通信层网关 · 长连接 · 协议适配业务应用层面向作业的业务功能平台服务层可复用的领域服务数据与中间件层状态 · 业务 · 对象 · 消息基础设施层计算 · 存储 · 网络横向支撑能力贯穿全部六层Web 管理台任务 · 地图 · 视频App: Vue 3指挥大屏态势总览 · 告警App: 可视化Copilot 入口对话式作业App: SSE 流式移动 H5外勤查看 · 审批App: H5API 网关认证 · 限流 · 路由NginxWebSocket 网关长连接 · 会话管理NettyMQTT 接入设备长连接托管EMQX 集群视频接入RTSP · GB28181流媒体网关开放接口第三方系统对接HTTP · OpenAPI任务管理创建 · 派发 · 跟踪状态机驱动设备管理机场 · 遥控器 · 飞行器统一设备模型视频监控直播 · 回放 · 抓图视频调阅地图态势轨迹 · 设备分布GIS 一张图事件预警识别结果 → 告警人工确认闭环任务调度航线校验 · 超时补偿状态机 · 幂等设备服务连接 · 心跳 · 指令下发统一设备模型媒体服务转码 · 分发 · 录像FFmpeg · ZLMediaKit地图与空域轨迹 · 禁飞区校验GIS · 空间分析Agent 编排意图 · 规划 · 工具调用LLM · 执行护栏Redis设备状态 · 会话内存读写MySQL业务 · 历史数据事务强一致MinIO视频 · 图片 · 录像S3 对象存储消息总线任务 · 事件异步发布订阅云服务器业务与数据托管计算资源容器集群弹性伸缩 · 滚动发布K8s · HPA边缘节点视频转码 · 断网缓存现场部署网络与专线公网 · 专线接入带宽保障存储资源池对象与块存储冗余备份运维监控指标 · 日志 · 告警Prometheus · ELK安全治理鉴权 · 审计 · 传输加密RBAC · TLS研发交付持续集成 · 灰度发布CI/CD 流水线System: 无人机智能作业平台

核心技术架构图Technical Architecture

五个核心技术领域及其关键机制:微服务治理、设备接入、实时媒体与时序数据、消息驱动执行、AI Agent。

微服务与分布式架构按业务边界拆分,服务间可靠协作物联网设备接入架构异构设备统一接入与连接治理实时媒体与时序数据架构低时延视频与高频状态数据消息驱动与任务执行架构异步解耦与任务可靠执行AI Agent 技术架构自然语言到作业执行的闭环服务拆分按业务边界划分服务任务 · 设备 · 媒体 · GIS注册发现实例注册与健康检查Nacos配置管理配置集中下发与热更新Nacos Config限流熔断过载保护与自动降级Sentinel链路追踪跨服务调用可定位Trace ID · 日志关联多协议适配MQTT · HTTP · RTSPGB28181 协议网关统一设备模型异构设备标准化接入设备影子 · 物模型心跳管理在线状态与保活检测超时判定 · 状态缓存断线重连会话恢复与消息补发QoS 1 · 消息重投指令下发下行控制与回执确认指令通道 · ack视频流接入RTSP · GB28181 拉流协议网关媒体转发转码与多端分发FFmpeg · ZLMediaKit录像回放切片录像与按需回看MinIO · HLS高频遥测存储秒级状态与轨迹Redis 热存 · MySQL 归档抽帧分析关键帧送 AI 识别定时抽帧 · 对象存储异步消息事件驱动 · 削峰解耦MQTT 发布订阅任务状态机全生命周期状态流转待执行 → 执行中 → 完成任务调度定时触发与超时补偿调度器 · 重试策略幂等与恢复重复指令不重复执行幂等键 · 补偿任务事件发布状态变更通知推送WebSocket · 告警意图识别指令解析与参数抽取LLM · 结构化输出任务规划多步骤任务拆解工具链规划工具调用仅调用统一动作接口10 个业务动作RAG 检索巡检规程与知识注入向量检索 · 提示词执行安全校验高风险动作人工确认动作分级 · 确认门禁评测效果回归与质量度量离线集 · 人工复核Tech: 五大技术领域

核心交互时序图Interaction Sequence

「Copilot 发起巡检」完整交互时序:自然语言指令到任务执行,再到状态实时回显。

运营人员ActorCopilotAgent 编排业务服务任务 · 设备无人机设备MQTT实时推送Netty · WSWeb 管理台Vue「巡检 3 号消防通道」device.list_available(只读)在线且电量 ≥ 40% 的设备返回执行计划,等待确认确认执行task.create + task.dispatch下发航线指令(MQTT)起飞 ack · 状态上报状态变更(先落 Redis)WebSocket 推送地图实时显示设备起飞Sequence: Copilot 发起一次巡检

系统部署架构图Deployment

边缘节点 + 云端 K8s 部署:视频在现场转码,业务与数据托管云端。

作业现场边缘节点云端 K8s 集群业务区数据区云托管 · 主从RTSP 视频MQTT转码后上传REST / WS订阅上报状态变更读写状态业务落库对象读写机场 + 飞行器作业设备厂商硬件边缘盒子视频转码 · 断网缓存FFmpeg · 本地盘IngressTLS · 路由Nginx IngressEMQX 集群MQTT 接入 ×3StatefulSet业务服务 ×N任务 · 设备 · 媒体Deployment · HPA推送服务 ×2WebSocket 会话StatefulSetRedis主从 + 哨兵实时状态MySQL主从半同步业务数据MinIO纠删码 4 节点视频与图片Deploy: 边缘 + 云端

Copilot 智能助手Copilot Agent

从自然语言指令到受控执行的完整编排:意图理解与任务规划决定做什么,工具调用与安全校验决定怎么做、能不能做。

分发请求结构化意图步骤序列待执行动作放行多轮上下文动作契约确认结果执行留痕Agent 编排统一调度一次对话状态机 · 工具链意图理解指令解析与参数抽取LLM · 结构化输出任务规划多步骤任务拆解计划生成 · 约束校验工具调用只调用注册动作统一动作接口安全校验风险分级与拦截动作分级 · 确认门禁任务执行下发并跟踪结果幂等 · 回执确认会话上下文多轮对话与实体继承会话记忆动作注册表动作契约与权限白名单 · 版本人工确认高风险动作二次确认审批留痕执行日志全链路可回溯审计日志Special: Copilot 智能助手

数据分析 AgentData Agent

把业务问题翻译成受控 SQL:Schema 理解与语义映射确定口径,生成语句经安全校验后在只读数据源上执行并解读结果。

取数问题字段语义指标口径生成语句只读放行字段释义表关系执行 SQL只读连接结果集自然提问业务问题即入口自然语言 · 图表追问Schema 理解库表结构与字段含义元数据 · 字段注释语义映射业务指标落到字段指标 · 维度 · 口径Text-to-SQL多表关联与聚合LLM · SQL 生成SQL 安全控制只读 · 行级权限 · 限流语法校验 · 执行白名单结果分析解读数据并配图图表生成 · 结论摘要数据字典字段释义与枚举人工维护 · 版本表关系图谱主外键与关联路径血缘 · 关系图只读数据源生产库只读副本从库 · 视图查询执行只读账号执行连接池 · 超时控制Special: 数据分析 Agent

智能咨询 AgentConsult Agent

检索增强的咨询回答:问题改写后双路召回、精排取 Top-K,生成时逐条标注来源;证据不足宁可拒答。

原始问题检索式候选集Top-K回答与来源文档向量索引权限范围低置信拒答用户提问自然语言咨询站内 · API 入口查询改写补全指代与同义词改写 · 多查询扩展混合检索向量 + 关键词召回双路召回 · 去重Reranker 精排相关性重新排序交叉编码 · Top-K生成回答基于证据组织答案LLM · 上下文注入引用溯源逐条标注来源片段定位 · 原文跳转知识入库文档接入与版本批量 · 增量解析切片结构解析与切片Embedding · 索引权限过滤按角色限定知识范围知识库 ACL拒答策略证据不足不编造置信阈值 · 兜底Special: 智能咨询 Agent

物联网设备接入IoT Access

异构设备统一接入:多协议适配屏蔽厂商差异,连接、心跳与重连保证在线可靠,统一设备模型向上提供一致的状态与指令语义。

接入认证协议解析保活超时判定恢复同步状态同步心跳写入事件写入指令下发机场与飞行器站端设备厂商硬件多协议适配MQTT · HTTP · GB28181协议网关 · 厂商 SDK连接管理会话注册与鉴权长连接 · 会话池心跳检测在线状态与保活定时心跳 · 超时判定断线重连会话恢复与补发退避重连 · 消息重投统一设备模型异构设备标准化物模型 · 设备影子设备影子期望与上报状态版本号 · 差异同步在线状态在线设备与最近心跳Redis 热存上行事件状态 · 遥测 · 告警事件总线下行指令控制 · 升级 · 配置指令通道 · 回执Special: 物联网设备接入

实时视频流处理Live Video

从设备取流到多端播放:GB28181 信令与 RTSP 拉流接入,转码适配后一路多端分发,录制切片进入对象存储支持按时间回放。

信令注册点播请求原始流转码流分发关键帧切片录制切片落盘按需读取回放请求机载与机场相机无人机 / 机场负载厂商图传GB28181 信令注册 · 目录 · 点播SIP 信令视频接入实时拉流与转封装RTSP · RTP转码适配码率与分辨率适配FFmpeg · 硬件编码流媒体转发一路多端分发ZLMediaKit · 集群播放分发WebRTC · HLS · RTMP多协议输出AI 抽帧关键帧送识别定时抽帧录像切片按时间切片落盘异步录制录像存储对象存储 · 生命周期MinIO 纠删码录像回放按时间检索回放HLS 点播Special: 实时视频流处理

分布式任务调度Task Scheduling

任务从编排到可靠执行的完整链路:编排拆分、幂等去重、调度抢占、异步执行与状态机流转,失败按退避重试,超限转死信告警。

提交去重通过派发状态上报失败任务请求取任务加锁抢占状态落库死信告警任务编排步骤编排与依赖DAG · 子任务拆分幂等校验重复提交不重复执行幂等键 · 去重表任务调度取任务并分发执行调度器 · 分片异步执行工作节点异步跑线程池 · 隔离任务状态机全生命周期流转待执行 → 执行中 → 完成重试与恢复退避重试与补偿重试策略 · 补偿任务业务请求任务提交入口REST · 内部调用任务队列待执行任务排队Redis · 延迟队列分布式锁同一任务只被一个节点取走加锁抢占 · 续期任务库任务与状态持久化MySQL 事务死信与告警多次失败转人工死信队列 · 告警Special: 分布式任务调度