Toybrick

在开发板做模型转换耗时太久

771488533

注册会员

积分
174
楼主
发表于 2019-3-13 10:11:22    查看: 24406|回复: 16 | [复制链接]    打印 | 只看该作者
在开发板上做模型转换耗时非常久,是否重新优化一下?否则没办法做动态的模型转换
回复

使用道具 举报

程子

中级会员

积分
386
沙发
发表于 2019-3-13 10:32:13 | 只看该作者
模型转换本来就不该在板子上做。
回复

使用道具 举报

771488533

注册会员

积分
174
板凳
 楼主| 发表于 2019-3-13 10:49:29 | 只看该作者
程子 发表于 2019-3-13 10:32
模型转换本来就不该在板子上做。

某些模型需要动态转换模型输入大小,比如mtcnn 的 p-net ,懂?
回复

使用道具 举报

elooon

注册会员

积分
139
地板
发表于 2019-3-13 10:50:33 | 只看该作者
Yes.Model transform has better to be done on pc.
回复

使用道具 举报

771488533

注册会员

积分
174
5#
 楼主| 发表于 2019-3-13 10:56:08 | 只看该作者
elooon 发表于 2019-3-13 10:50
Yes.Model transform has better to be done on pc.

I know,But some model need to transform the input size when it run according to the input camera image size. Like mtcnn model P-net
回复

使用道具 举报

nevin007

注册会员

积分
127
6#
发表于 2019-3-13 13:57:39 | 只看该作者
771488533 发表于 2019-3-13 10:56
I know,But some model need to transform the input size when it run according to the input camera  ...

如果摄像头的输入尺寸不是经常变化的话,最好还是离线先统一转好再跑吧,要不然太耗资源了...感觉NPU上跑这种小的全卷积网络是个bug...还不如在CPU上跑...
回复

使用道具 举报

771488533

注册会员

积分
174
7#
 楼主| 发表于 2019-3-13 14:17:55 | 只看该作者
nevin007 发表于 2019-3-13 13:57
如果摄像头的输入尺寸不是经常变化的话,最好还是离线先统一转好再跑吧,要不然太耗资源了...感觉NPU上跑 ...

前端应用,输入图像大小很难固定下来。不知道你那边移植的怎么样了,我这边mtcnn移植的差不多了,输入图像尺寸640*480的条件下,用npu跑起来速度还不如放CPU使用ncnn跑,达不到实时,这NPU性能感觉有点渣
回复

使用道具 举报

771488533

注册会员

积分
174
8#
 楼主| 发表于 2019-3-13 14:29:13 | 只看该作者
771488533 发表于 2019-3-13 14:17
前端应用,输入图像大小很难固定下来。不知道你那边移植的怎么样了,我这边mtcnn移植的差不多了,输入图 ...

使用NPU自带的时间测试标志位RKNN_FLAG_COLLECT_PERF_MASK返回的耗时是挺短的,可是实际rknn_run 和rknn_outputs_get接口耗时基本上是自带测试时间的两三倍,不知道是c++接口的问题还是这NPU单次推理本来就耗时比较久,目前的测试结果完全达不到官方宣传的3个T的运算速度,跑个mtcnn这种小卷积网络都没办法实时。。。
回复

使用道具 举报

nevin007

注册会员

积分
127
9#
发表于 2019-3-13 14:29:38 | 只看该作者
771488533 发表于 2019-3-13 14:17
前端应用,输入图像大小很难固定下来。不知道你那边移植的怎么样了,我这边mtcnn移植的差不多了,输入图 ...

差不多,我移植好了,PNet用固定尺寸模型跑的,没做量化,测试下来mtcnn跑一遍100ms左右,CPU上只要60ms...
回复

使用道具 举报

771488533

注册会员

积分
174
10#
 楼主| 发表于 2019-3-13 14:38:03 | 只看该作者
nevin007 发表于 2019-3-13 14:29
差不多,我移植好了,PNet用固定尺寸模型跑的,没做量化,测试下来mtcnn跑一遍100ms左右,CPU上只要60ms. ...

hhh,我也是没有做量化跑的,我是使用0.9.8.1版本的rknn,后续推理时间如果没有优化的话,跑个mtcnn完全没办法实时,要这NPU有何用?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表