Toybrick

楼主: peng

rknn多图推理参数设置

jefferyzhang

版主

积分
12961
楼主
发表于 2019-10-16 11:59:12 | 显示全部楼层
gwjjj35 发表于 2019-10-16 08:55
有没有官方技术人员解答一下呀!着急!

输出图片的要注意下是NCHW结构还是NHWC结构。
调换下试试结果。
不是很懂的情况下,可以用c接口枚举出输出类型看下。
回复

使用道具 举报

jefferyzhang

版主

积分
12961
沙发
发表于 2019-10-23 16:30:31 | 显示全部楼层
batchsize=1是否一致
回复

使用道具 举报

jefferyzhang

版主

积分
12961
板凳
发表于 2020-3-17 09:49:43 | 显示全部楼层
呱唧 发表于 2020-3-16 16:29
请问一下,这里将rknn_batch_size设为3,一次跑3张图片,比rknn_batch_size设为1,顺序执行3张图片要快吗? ...

这个不一定快,得看NPU是不是刚好有空闲资源。
NPU是分时复用的,除非刚好遇到一个简单的OP出现NPU资源空闲,可以通过加大batch塞满计算资源外,其余都是分时复用的,batch=3和batch=1送三次没区别。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表