mobilenet 批量测试出错！

显示全部楼层 · 发表于 2019-3-8 09:09:28

jefferyzhang 发表于 2019-3-7 09:38
rknn只能一个一个送进去计算，不支持批量送

这功能这么弱吗，连批量计算都不支持，有没有支持批量计算的计划？

显示全部楼层 · 发表于 2019-3-8 14:51:15

jefferyzhang 发表于 2019-3-8 12:15
批量送和一个个送效果是一样的，npu只是一个计算单元，送一批也是要一个个计算，没太大区别，反而送多了 ...

不知道是不是NPU和GPU的区别，隔壁nvidia的tensorRT批量计算的话实测下来是比单个推送计算节省时间的

显示全部楼层 · 发表于 2019-3-13 16:45:59

jefferyzhang 发表于 2019-3-8 12:15
批量送和一个个送效果是一样的，npu只是一个计算单元，送一批也是要一个个计算，没太大区别，反而送多了 ...

我猜测在开发板上做推理运算，NPU运算结果送到顶层需要有其它的时间开销，这个时间不会很久，但是如果批量数比较大的话这个节省的时间就很可观了