多源分析平台

01 / 场景

场景与约束

运动分析的数据天然是多源的：摄像头给姿态，UWB 给位置，心率带与足压垫给生理与力学信号。这些设备各有自己的时钟，直接叠在一起看，结论会失真。更现实的问题是场地网络不稳定、GPU 机器不能放在场地中间、教练需要在训练当下就看到结果，而不是等数据上传云端再出报告。

• 设备时钟不同步，多源数据无法直接对齐
• 场地网络带宽与稳定性不可控，实时上传不可靠
• 训练现场要求低延迟反馈，算法必须本地跑
• 科研与复盘需要原始数据可回溯、结果可复核

02 / 方案

方案构成

平台把“采集—对齐—计算—呈现—归档”拆成可独立部署的几块：现场工作台负责设备接入与实时呈现，算法服务跑在带 GPU 的机器上，两者在同一局域网内通过 WebSocket 通信；原始视频与传感器数据本地缓存，网络恢复后按批次归档到云端对象存储，保证现场不因断网停摆。

• 现场工作台：设备接入、实时画面、指标面板（Electron 桌面端）
• 算法服务：检测、姿态估计、目标追踪、三维重建（GPU 推理）
• 时间同步服务：多源时钟对齐与统一时间轴
• 归档服务：原始数据与计算结果的长期存储与检索
• 分析报告：训练评估、对比与导出

03 / 技术

技术要点

视觉部分以 ONNXRuntime 做推理加速，模型侧使用 RTMPose 一类关键点方案配合 OpenCV 完成检测与追踪；视频链路用 FFmpeg / PyAV 解码，WebSocket 把结果推给前端，避免在浏览器里做重计算；后端以 NestJS 组织业务，MySQL 存结构化结果、Redis 做缓存与队列、OSS 存视频与原始数据；桌面端用 Electron 把本地设备与界面打包成一个工作台，减少现场配置成本。

• 推理：PyTorch 训练、ONNXRuntime 部署、RTMPose 关键点
• 视频：FFmpeg / PyAV 解码，WebSocket 实时推送
• 桌面：Electron + React/Vue 现场工作台
• 服务：NestJS、MySQL、Redis、OSS

04 / 交付

交付与验收

这类系统的验收不能只看“能不能跑”，而要看在真实光照、遮挡与网络条件下结果是否稳定。交付时会带着现场数据做标定与对比，把算法精度、延迟、丢帧率这些指标量化出来，并留下可复现的原始数据。

• 现场勘测与设备布置方案（相机位、UWB 基站、光照）
• 工作台与算法服务可运行版本
• 时间同步与时延测量报告
• 算法精度评估记录（基于现场采集的验证集）
• 数据归档结构与检索说明
• 操作手册与现场培训

05 / 边界

可复用与边界

多源同步、视觉计算与本地优先的部署结构可以复用到康复评估、体育教学、工业动作分析等场景。需要说清楚的边界是：姿态精度受光照、遮挡与相机角度影响，标定不到位时结果不可用；实时帧率取决于 GPU 型号与模型规模，同一套算法在不同硬件上表现不同；涉及运动员或患者数据时，采集与归档必须符合约定的授权与留存规则。

• 可迁移：康复评估、体育教学、工业动作分析
• 依赖：现场光照、相机位与网络条件
• 不承诺：未标定条件下的精度与延迟指标