基于关键点轨迹的俯卧撑姿态检测系统

我们的项目完成了在RK3399PRO上搭建以摄像头视频流为输入，通过yolov4-tiny进行人体骨骼关键点识别，并通过神经网络恢复为3D骨骼点，将关键点序列输入几何判别模块通过速度矢量、速度梯度数值、关键点向量角度等进行俯卧撑动作计数、姿态纠正并识别5个关键帧输入后续的隐马尔科夫模型，进行进一步的精确计数。之所以不使用端到端的神经网络是由于板子本身能力的限制，我们选择了隐马尔科夫模型这样的轻量网络进行推理。
几何判别模块如下所示：

速度梯度方向发生转变的帧为两个中间帧，速度方向发生变化的地方为最初帧、最底帧、最终帧——将这一个完整的由五帧组成的动作序列（每个序列中关键节点的速度矢量序列）传入隐马尔科夫模型推理。
检测效果如下图所示，截取了视频中的一帧，视频可在链接获取。


视频演示：https://www.bilibili.com/video/BV1uM4y1g7M1
项目代码：https://gitee.com/xzqq/fuwo/tree/master/