Toybrick

基于关键点轨迹的俯卧撑姿态检测系统

seerk

新手上路

积分
11
发表于 2021-7-5 13:05:46    查看: 2614|回复: 0 | [复制链接]    打印 | 显示全部楼层
本帖最后由 seerk 于 2021-7-5 13:09 编辑

我们的项目完成了在RK3399PRO上搭建以摄像头视频流为输入,通过yolov4-tiny进行人体骨骼关键点识别,并通过神经网络恢复为3D骨骼点,将关键点序列输入几何判别模块通过速度矢量、速度梯度数值、关键点向量角度等进行俯卧撑动作计数、姿态纠正并识别5个关键帧输入后续的隐马尔科夫模型,进行进一步的精确计数。之所以不使用端到端的神经网络是由于板子本身能力的限制,我们选择了隐马尔科夫模型这样的轻量网络进行推理。
几何判别模块如下所示:

速度梯度方向发生转变的帧为两个中间帧,速度方向发生变化的地方为最初帧、最底帧、最终帧——将这一个完整的由五帧组成的动作序列(每个序列中关键节点的速度矢量序列)传入隐马尔科夫模型推理。
检测效果如下图所示,截取了视频中的一帧,视频可在链接获取。


视频演示:https://www.bilibili.com/video/BV1uM4y1g7M1
项目代码:https://gitee.com/xzqq/fuwo/tree/master/





本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表