AI 体感动作识别与实时评分

项目背景

体感运动课需要在没有专用硬件的条件下判断动作是否标准，家长和教练希望看到可解释的评分，而不是一个黑盒结果。

技术选型

选择 MediaPipe 的姿态关键点模型，配合 TensorFlow 做动作序列的时序判定。相比自研模型，现成关键点方案在移动端体积和帧率上更可控，也更方便针对单个动作做规则微调。

关键实现

1. 关键点提取与归一化：按人体尺度做坐标归一化，降低拍摄距离差异带来的影响；
2. 动作分段：用关键点速度与角度变化切分动作起止，避免整段视频逐帧判定；
3. 规则评分：每个动作维护角度、幅度、节奏三类阈值，输出分项得分与扣分原因；
4. 语音纠错：把扣分原因映射为简短提示音，训练中即时反馈。

我的职责

负责技术方案验证、识别链路在小程序与 H5 的适配、评分规则设计与服务端数据打通，并推动项目库从十几类动作扩展到 78 类。

踩过的坑

• 低端安卓机的摄像头帧率波动大，需要做丢帧补帧；
• 逆光环境下关键点抖动明显，最终加了平滑滤波才稳定。