Toybrick

楼主: peng

rknn多图推理参数设置

gwjjj35

注册会员

积分
108
发表于 2019-10-23 16:28:11 | 显示全部楼层
raul 发表于 2019-10-18 09:30
这样写试下。打印output0看跟单张是不是类似的?

我尝试了一下,结果并不类似....
回复

使用道具 举报

jefferyzhang

超级版主

积分
7949
发表于 2019-10-23 16:30:31 | 显示全部楼层
batchsize=1是否一致
回复

使用道具 举报

几头米

注册会员

积分
87
发表于 2019-10-29 16:08:45 | 显示全部楼层
你好, 请问是否有c++ 接口的示例,谢谢
回复

使用道具 举报

呱唧

注册会员

积分
59
发表于 2020-3-16 16:29:20 | 显示全部楼层
请问一下,这里将rknn_batch_size设为3,一次跑3张图片,比rknn_batch_size设为1,顺序执行3张图片要快吗?大概快多少?
回复

使用道具 举报

jefferyzhang

超级版主

积分
7949
发表于 2020-3-17 09:49:43 | 显示全部楼层
呱唧 发表于 2020-3-16 16:29
请问一下,这里将rknn_batch_size设为3,一次跑3张图片,比rknn_batch_size设为1,顺序执行3张图片要快吗? ...

这个不一定快,得看NPU是不是刚好有空闲资源。
NPU是分时复用的,除非刚好遇到一个简单的OP出现NPU资源空闲,可以通过加大batch塞满计算资源外,其余都是分时复用的,batch=3和batch=1送三次没区别。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表