架构公共安全大数据分析平台

公共安全大数据分析平台

面向研判分析场景的大数据平台:整合人员、车辆、轨迹与物联感知等多源数据,以对象档案为底座,提供轨迹碰撞、时空分析与关系扩展,权限与审计贯穿每次检索。

产品功能架构图Capability Map

六大产品能力域:数据汇聚、对象档案、轨迹与时空、关系与图谱、预警与任务、配置与开放。

数据汇聚多源接入与统一标准对象档案人员、车辆与关联信息轨迹与时空轨迹检索与碰撞分析关系与图谱关系发现与多层扩展预警与任务规则预警与线索流转配置与开放低代码搭建与系统对接数据源管理接入登记与连通检测数据源 · 表结构批量接入全量与增量同步CDC · 定时抽取实时接入流式数据持续写入消息通道数据标准化字段映射与主键归一标准字典质量校验完整性 · 一致性校验规则接入监控延迟与失败率接入看板人员档案一人一档全息视图主键归一车辆档案一车一档与关联人主键归一档案聚合多源信息合并实体对齐标签画像身份 · 特征 · 风险标签体系档案更新增量数据持续回写版本与时间线档案检索多条件组合查询多维检索轨迹查询按对象与时间窗检索时空条件轨迹碰撞两条轨迹时空匹配候选集 + 匹配时空伴随同现频次与停留时间窗 · 距离阈值同行分析长期同行关系频次统计落脚点分析停留与常驻区域聚类 · 频次时空热力区域与时段分布热力聚合关系发现从数据中识别关联实体关系抽取关系路径两点之间的链路图遍历多层扩展按层级逐步展开广度优先群体分析共同关联与聚类图聚类图谱渲染关系图谱交互展示画布渲染关系导出图谱与清单导出异步导出规则预警条件命中即预警规则引擎模型预警行为特征异常提示模型评分线索流转线索分派与状态跟踪线索台账任务派发按辖区与角色分派任务流处置反馈结果回填与复核闭环反馈研判报告结论与证据链报告模板低代码表单按业务自定义字段动态模型流程配置审批与流转编排流程引擎大屏搭建指标与组件编排可视化搭建权限管理角色与数据范围RBAC · 行列权限开放接口能力与数据服务化OpenAPI智能助手自然语言检索与研判大模型 · 流式输出Product: 公共安全大数据分析平台

核心业务流程图Business Flow

一次研判任务从线索受理到结果归档:权限与数据范围校验、检索预过滤、轨迹碰撞、研判复核、处置流转。

提交授权放行候选集匹配结果结论落稿结论下发结果归档指标汇总拒绝并告警线索录入线索 · 任务 · 来源工作台 / 接口权限与审计数据范围 · 操作留痕RBAC · 审计日志检索预过滤时间窗 · 区域 · 条件ES 多维检索轨迹碰撞时空匹配 · 候选集Spark 批量计算研判结论关联 · 复核 · 标注研判工作台研判报告结论与证据链报告模板处置流转派发 · 反馈 · 复核任务流结果归档结果与证据留存归档存储指标沉淀研判效率与命中率数据看板Flow: 一次研判任务

系统总体架构图System Overview

分层视角下的系统组成:终端与渠道、接入与通信、业务应用、平台服务、数据与存储、基础设施六层,以及贯穿各层的安全合规、可观测与研发交付能力。

终端与渠道层工作台 · 大屏 · 移动端接入与通信层网关 · 认证 · 数据接入业务应用层档案、研判与预警平台服务层可复用的领域服务数据与存储层明细 · 检索 · 缓存基础设施层计算 · 网络 · 存储横向支撑能力贯穿全部六层研判工作台线索 · 检索 · 研判App: Web指挥大屏态势与预警展示App: 可视化移动警务现场核查与线索上报App: iOS / Android业务系统数据与工单对接外部系统API 网关鉴权 · 限流 · 路由Spring Cloud Gateway身份认证登录态与令牌JWT · SSO推送网关SSE 流式下发Netty · SSE文件服务名单与证据文件对象存储直传开放接口对外服务与回调OpenAPI数据接入批量与实时接入CDC · Kafka一人一档人员全息档案主键归一一车一档车辆与关联信息主键归一轨迹研判碰撞 · 伴随 · 同行时空计算关系图谱关系发现与扩展图计算预警任务规则与模型预警预警流研判报告结论与证据链报告模板权限中心角色与数据范围RBAC · 行列权限审计中心操作与访问留痕审计日志检索服务多条件检索编排ES 聚合任务调度离线作业编排分布式调度消息服务事件发布与消费消费幂等模型服务意图识别与研判助手LLM 网关HBase轨迹与档案明细列式存储Elasticsearch多维检索与地理查询分片索引Kafka实时数据总线多分区MySQL业务与任务数据主从MongoDB低代码动态模型文档存储对象存储文件与归档冷备负载均衡流量分发四层 / 七层容器集群弹性扩容K8s · HPA监控告警指标与告警Prometheus日志中心全链路检索ELK容灾备份跨区备份定期演练安全合规分级 · 脱敏 · 审计等保要求可观测性指标 · 日志 · 链路全链路追踪容量与压测基线压测与容量规划峰值模型研发交付持续集成 · 灰度CI/CD 流水线System: 公共安全大数据分析平台

核心技术架构图Technical Architecture

五个核心技术领域:多源数据接入与治理、海量存储与检索、轨迹碰撞与时空计算、微服务与低代码、大模型流式应用。

多源数据接入与治理批量、实时与标准化海量存储与检索明细、检索与冷热分层轨迹碰撞与时空计算候选集预过滤与批量匹配微服务与低代码服务治理与动态数据模型大模型流式应用受控问答与流式输出批量接入全量与增量同步CDC · 抽取任务实时通道流式写入与缓冲Kafka 多分区标准与主键字段映射与标识归一标准字典质量校验完整性与一致性检查校验规则 · 拦截元数据与血缘来源、加工与下游元数据管理HBase 行键设计对象 + 时间倒序预分区 · 盐值ES 分片与索引多条件与地理查询倒排 · Geo 字段文档模型低代码动态字段MongoDB冷热分层近期热存 · 历史归档分层存储缓存与读写分离热点对象与查询缓存Redis · 主从时空索引时间片与空间格网格网编码Geo 预过滤按区域缩小候选集ES geo 查询批量匹配候选集并行碰撞Spark时空伴随时间窗与距离阈值同现频次结果分页与缓存大结果集分页返回游标 · 缓存注册与配置服务发现与配置推送Nacos流量治理限流、熔断与降级Sentinel动态数据模型字段与表单按需扩展MongoDB 文档表单与流程低代码配置与发布表单引擎 · 流程大屏编排指标与组件自由组合可视化搭建意图识别自然语言转检索条件LLM · 结构化输出RAG 检索规程与档案知识注入向量检索 · 提示词工具调用仅调用受控检索接口动作白名单流式输出逐段返回生成结果Netty · SSE结果校验与评测引用与合规校验离线集 · 人工复核Tech: 五大技术领域

核心交互时序图Interaction Sequence

「研判人员发起一次轨迹碰撞」完整交互时序:鉴权与数据范围校验、检索预过滤、批量碰撞、流式回显与审计留痕。

研判工作台ActorAPI 网关鉴权 · 限流权限中心数据范围检索服务候选集HBase · ES明细与索引计算集群Spark提交碰撞任务(对象 · 时间窗)鉴权与数据范围校验授权通过,记录审计转发检索请求Geo 预过滤 + 明细读取候选轨迹集提交批量碰撞批量读取参与匹配碰撞结果(SSE 流式)超时与限流提示Sequence: 发起一次轨迹碰撞

系统部署架构图Deployment

分区分域部署:接入区承接访问流量,应用区无状态扩容,数据区托管明细、检索、消息与业务数据。

接入区流量入口应用区K8s 无状态服务数据区存储与中间件HTTPS转发鉴权放行路由检索查询明细读取任务与结果清洗入队模型配置工作台与大屏多端入口Web · 大屏 · 移动端负载均衡流量分发四层 / 七层接入网关 ×2鉴权 · 限流Deployment检索服务 ×N检索编排HPA 弹性研判应用 ×N档案 · 任务 · 报告Deployment分析服务 ×N碰撞 · 时空计算Spark 作业汇聚任务 ×N接入与清洗消费者组HBase轨迹与档案明细RegionServerElasticsearch检索与地理查询分片集群Kafka实时数据总线多分区MySQL业务与任务数据主从MongoDB低代码动态模型副本集Deploy: 接入 + 应用 + 数据

一人一档对象库Person Profile

以人员唯一标识为主键聚合多源数据:标识归一、实体对齐、明细与索引分写,标签与关系按需补充,档案按时间线可追溯。

标识归一明细写入索引构建标签计算多维查询主键映射明细读取索引查询关系补充主键归一多源标识映射唯一对象标识映射表多源聚合基础、轨迹与关系汇总实体对齐档案明细全息档案写入明细库HBase 宽表检索索引高频条件建索引Elasticsearch标签画像特征与风险标签标签体系档案检索多维条件与关联跳转组合查询标识库对象与来源标识关系库HBase 明细档案明细与历史列族设计ES 索引检索字段分片索引关系扩展关联对象一跳展开图遍历Special: 一人一档对象库

轨迹碰撞与时空分析Spatio-temporal Collision

数亿级轨迹的碰撞设计:时间片与格网索引先缩小范围,地理检索预过滤候选集,Spark 并行匹配后按时间窗与距离阈值判定伴随关系。

建立索引候选范围候选集匹配对伴随结果分区数据空间过滤并行调度分页回读轨迹接入逐条轨迹归一与清洗实时 + 批量时空索引时间片与格网编码格网 · 分片Geo 预过滤按区域缩小候选集ES geo 查询批量匹配候选集并行碰撞Spark时空伴随同现频次与停留时长时间窗 · 距离阈值结果集分页与证据链结果缓存HBase 分区按对象与时间分片预分区ES Geo 索引地理字段与时间过滤geo_shape任务编排批次切分与并行度调度 + 分片结果缓存大结果集分页游标 · 缓存Special: 轨迹碰撞与时空分析

多源数据接入与治理Data Ingest & Governance

多源数据的统一入口:批量与实时双通道接入,标准化统一主键与字段,质量校验拦截异常数据,元数据与血缘保证可追溯。

批量任务全量转增量标准化规则校验校验通过抽取参数流式缓冲字段映射拦截统计数据源管理接入登记与连通检测数据源 · 表结构批量接入全量与增量同步CDC · 抽取任务实时接入流式数据持续写入Kafka数据标准化字段映射与主键归一标准字典质量校验完整性与一致性校验规则入库分发写入明细与索引批量 + 流式抽取配置频率、并发与字段范围配置化接入队列削峰与重试消息队列标准字典字段与取值标准字典表质量看板异常与拦截统计指标看板Special: 多源数据接入与治理

微服务治理与低代码Service Mesh & Low-code

共性能力服务化:网关统一入口,注册配置与流量治理保证稳定性,动态数据模型支撑表单、流程与大屏按场景快速配置。

服务发现治理规则请求放行字段定义流程数据网关配置指标反馈版本切换发布审批统一网关鉴权、限流与路由Spring Cloud Gateway注册与配置服务发现与配置下发Nacos流量治理限流、熔断与降级Sentinel动态数据模型字段与表单按需扩展MongoDB 文档表单与流程低代码配置与发布表单引擎 · 流程大屏编排指标与组件组合可视化搭建配置中心配置版本与灰度版本化发布服务监控调用链与错误率指标看板模型版本字段变更可回滚版本与迁移发布审批配置变更需复核审批流Special: 微服务治理与低代码

大模型流式研判助手LLM Research Assistant

受控的大模型问答:意图识别把自然语言转成检索条件,RAG 注入规程与档案上下文,工具调用只开放受控接口,结果经 SSE 流式返回并做引用校验。

提交问题检索条件上下文结果流逐段校验场景约束知识召回接口契约留痕研判提问自然语言描述目标对话入口意图识别转成检索条件LLM · 结构化输出知识检索规程与档案上下文向量检索工具调用只调用受控接口动作白名单流式输出逐段返回生成结果Netty · SSE结果校验引用与合规检查规则 + 人工复核提示词模板场景化指令与约束版本管理知识库规程与说明文档向量库动作注册可用接口与参数接口契约会话审计提问与结果留痕审计日志Special: 大模型流式研判助手

数据分级与安全审计Data Security

数据按敏感级别分级管控:角色与数据范围决定可见性,敏感字段下发前脱敏,检索、导出与登录全程审计,异常访问触发告警。

级别约束可见字段脱敏下发导出申请异常导出分级取值策略读取日志落盘巡检发现数据分级按敏感级别划分数据分级标准权限策略角色与数据范围RBAC · 行列权限字段脱敏按级别遮蔽与哈希脱敏规则访问审计检索与查看留痕审计日志导出管控水印与审批导出审批安全告警异常访问即时提示阈值规则分级标准级别与字段映射标准表角色策略角色与可见范围策略库审计存储日志留存与检索只写存储合规检查权限与日志巡检定期核对Special: 数据分级与安全审计