mobilenet 批量测试出错！

rknn只能一个一个送进去计算，不支持批量送

771488533 发表于 2019-3-8 09:09
这功能这么弱吗，连批量计算都不支持，有没有支持批量计算的计划？

批量送和一个个送效果是一样的，npu只是一个计算单元，送一批也是要一个个计算，没太大区别，反而送多了会造成npu那边2g的DDR爆掉。
貌似npu那边没有支持批量送的计划。。。

话说一个个送对于异步拆分处理流水线是有更好的帮助的，一批送的做法并不能提高程序效率。

771488533 发表于 2019-3-13 16:45
我猜测在开发板上做推理运算，NPU运算结果送到顶层需要有其它的时间开销，这个时间不会很久，但是如果批 ...

GPU是通用计算单元，每个cuda计算单元是通用独立的，npu比较专一，卷积运算器就只能做卷积运算。
这里有成本和功耗原因在里头