跳到正文
无限游戏地图

无限游戏地图

由Mixlab孵化的问题驱动实验

登录/注册
← 返回项目列表

SiteGuard:监控视频实时转米制数字孪生场景——区域人员定位与计数原型

【一句话】 把一路固定监控视频实时转换成一个可量化的「数字孪生场景」:以地面单应性标定建立米制坐标系,把画面里每个人的位置换算成场景坐标,在这个底座上按任意划定的区域做人员位置判断与实时计数。

【为什么做原型】 监控视频本身只能看、不能算。想回答「这个区域现在有几个人」「离边缘还有多远」「这条路线今天走过多少人」,只能人工回看录像。本原型验证的是这条中间层是否成立:单目固定机位 + 姿态检测,能不能低成本地把视频变成一个带坐标系、带区域、带计数的场景数据源,而不是一个只能看的画面。

换句话说,本期交付的是底座,不是一个安全告警产品;告警只是底座上的第一个消费方。

【要验证的三个假设】

  1. 单目固定机位 + 地面单应性,产出的米制人员坐标精度足够支撑区域级业务问题(在场人数、是否越界、到边界距离),精度需求是厘米到十厘米级而非毫米级。→ 可证伪:与现场尺量对比,偏差超出业务可接受阈值。
  2. 区域是一等公民。同一套标定底座上,任意划多边形区域即刻得到「区内人员列表 + 实时计数」,区域可复用、可持久化,不必每换一个业务问题就重做系统。→ 可证伪:换一个业务问题(如统计动线、统计设备区占用)时,改动量超出预期。
  3. 只传抽帧 + 检测结果、不传视频流的架构,能在普通网络条件下把延迟压到业务可用范围,带宽占用相比视频流低两个数量级以上。→ 可证伪:实测帧率或延迟不达阈值。

【本期做什么(最小闭环)】

  • 场景标定:地面上点一个已知尺寸矩形四角,解出米制单应性;实时显示重投影误差,误差过大拒绝应用
  • 多平面:地面之外可再标墙面/桌面/斜面,各自一个平面,人员自动归属到最合适的平面
  • 人员定位:姿态检测 + 多目标跟踪,每人输出稳定 track_id 与地面米制坐标(地面取脚,竖直面取躯干)
  • 区域(Region):在米制地面上画任意多边形,存的是真实地面坐标——相机挪位后重新标定即可复用,不用重画
  • 区域计数与位置判断:每个区域实时输出区内人员列表、人数、逐人区内时长,以及「到区域边的最近距离」
  • 米制俯视图:1 米网格的真实俯视,与视频画面双向对应
  • 累计热力:地面米制网格上按时间指数遗忘累积足迹密度,投回画面时自带透视
  • 时间序列与事件落库:进出区域、标定变更、区域变更全部落 SQLite
  • 参数热更新:判定阈值滑块即时生效

【本期不做什么】

  • 不做人员身份识别(明确不做,避免合规风险)
  • 不做物体与设施建模:孪生体通常还包括货架、设备、门禁、通道等静态要素,本期只做「人」
  • 不做三维孪生与体积量测:本期是 2D 米制地面
  • 不做跨平面的统一场景坐标系:各平面是独立局部坐标系,跨平面距离算不了
  • 不做多路并发、录像存储与回放,只做单路
  • 不做非平面场景(楼梯、坡道、多层货架)的正确几何
  • 不做场景资产持久化:标定与区域目前只在内存,后端重启即丢
  • 不做对外闭源商业服务:检测权重为 AGPL-3.0

【验证场地与成功标准(数字待定)】

  • 场地待定,需覆盖至少三种区域形态:① 平整单层作业面(仓库、货架后场、门店后厨一类);② 含坡道或台阶的区域(用于界定几何失效边界);③ 人流密集且存在边界徘徊的区域(用于验计数稳定性)。
  • 成功标准建议(阈值待定):米制人员坐标与尺量偏差 ≤ N cm;已知人数脚本下区域计数准确率 ≥ N%、漏计多计 ≤ N 次/小时;人员在边界徘徊时计数抖动 ≤ N%(当前实现预计不达标,见待确认);同一底座上新增一个业务查询的改动工时 ≤ N 人天;告警延迟中位数 ≤ N ms、抽帧带宽 ≤ N KB/s。

【已有证据】

  • 可运行的完整实现:前端已构建出部署产物,后端单文件服务并托管前端;带无浏览器的端到端冒烟测试与模型选型基准脚本
  • 区域计数已在代码中实现:逐人内外判定汇总为区内人员列表与计数
  • 合成素材实测(AI 生成的虚构素材,非真实场地录像):标定重投影误差 0.000000 m;点击角点回算地面坐标误差 11.2 mm;声明 4.0 m 的锚点反算 4.0000 m;每米像素数近/远端比 1.33–1.37×(透视成立);空场负样本 24 帧全部无人(无误报);单人段 19/24 帧检出,足点来源 100% 取最高优先级的双踝中点
  • 推理尺寸选型实测:640 → 960 检出数 6 → 18、延迟 82 → 95 ms;1280 检出不再增加但耗时翻倍至 199 ms

【待确认】

  • 场景资产未持久化:标定与区域存在内存,后端重启即丢。孪生的前提是场景资产可长期复用,这是当前最关键的缺口。
  • 各平面是独立局部坐标系,无法合成一张统一场景图,因此目前只能算单平面的场景底座,还称不上完整的「孪生体」。
  • 区域计数用的是原始内外判定,迟滞只作用在告警状态上,因此人在边界徘徊时计数字会抖——对「实时在场人数」是直接缺陷,需要把迟滞下沉到计数口径。
  • track_id 仅在单次会话内有意义,长时间遮挡后重连不保证同一 ID,不适合直接做人员级统计。
  • 绝对尺度尚未在真实场地验证:现有米数是「声明」出来的假设值,可信的只有相对几何与透视关系,必须补真实场地录像按已知尺寸实体标定。
  • 现有测试素材仅 5 秒左右,覆盖不到迟滞与长时累计;且缺「边界徘徊」「多人同框」两类关键素材。
  • 检测权重 AGPL-3.0 许可是否可接受,决定后续是否替换权重。
  • 静态设施要不要纳入孪生体,取决于首个落地场景是什么。

【后续方向(不在本期范围)】

  • 场景资产持久化:标定、区域、平面做成可导出/导入的场景文件,一个场景建一次长期复用
  • 统一场景坐标系:标一个公共原点(如房间角落)把多平面拼成一张图,实现跨区域距离量测
  • 迟滞下沉到计数口径 + 多人密集场景的跟踪 ID 稳定性优化
  • 静态要素建模与图层叠加(设施、禁行区、可通行路径)
  • 非平面场景:多平面标定或深度估计
  • 采集通道从浏览器抽帧改为服务端解码(需补丢帧逻辑)
  • 多路并发与录像回放对接
进度
x
10%筹备中

发起人:shadow

商业合作状态:已有可运行实现与合成素材实测;场景资产未持久化,真实场地验证未开始

参与者:暂无

计算机视觉0.2原型0.2综合权重 0.2

所属集合:原型展厅

关联内容(0 篇)

暂无已发布内容

留言 · 0

还没有人留言

登录后可以留言