关于1808推理速度

[复制链接] · 发表于 2020-6-3 16:28:51

本帖最后由 ylc123 于 2020-6-3 16:34 编辑

你好，
测试平台，pc端，cpu，python脚本，
（1）example caffe中的vgg ssd
rknn.inference(inputs=[img2]) 时间为：299.26ms/帧

ssd_post_process(outputs[1], outputs[0] 时间为：720.96ms/帧

（2）裁剪后的mobilenet ssd，大小为224*224
rknn.inference(inputs=[img2]) 时间为：779.01ms/帧有波动，最高980ms左右

ssd_post_process(outputs[1], outputs[0] 时间为：101.03ms/帧有波动，最高140ms左右
说明：同样的pc端，这个模型用c++测试大概为80ms/帧

问题：
（1）使用咱们的脚本为什么我在我的pc端速度差异这么大（python脚本和c++脚本可能会有一定影响，但不应该这么大）
（2）咱们是否对prototxt做了其他修改呢？
（3）这个速度是否合理呢？

只看该作者 · 发表于 2020-6-3 17:09:21

没人理啊，或者大家有谁碰到这种情况吗？或者官方文档有说明吗？
求解答-.-

只看该作者 · 发表于 2020-6-3 20:15:16

没看懂你发的这些是什么意思。。。
NPU都是同一个，只要走NPU，来回速度是一样的。

只看该作者 · 发表于 2020-6-5 17:51:01

jefferyzhang 发表于 2020-6-3 20:15
没看懂你发的这些是什么意思。。。
NPU都是同一个，只要走NPU，来回速度是一样的。 ...

就是我自己剪枝过的ssd的速度在pc测试只有四五十ms，用咱们的测试为什么将近1s了？
但感觉咱们的测试vgg ssd速度还算比较正常，
求解答。

只看该作者 · 发表于 2020-6-5 18:14:21

ylc123 发表于 2020-6-5 17:51
就是我自己剪枝过的ssd的速度在pc测试只有四五十ms，用咱们的测试为什么将近1s了？
但感觉咱们的测试vgg ...

剪枝过？做了什么剪枝？

只看该作者 · 发表于 2020-6-8 09:32:37

本帖最后由 ylc123 于 2020-6-8 09:38 编辑

leok 发表于 2020-6-5 18:14
剪枝过？做了什么剪枝？

前段mobilenet backbone裁了一半，特征金字塔哪里去了一半，最后的box大概有一千多。
用python脚本测试效果正常，就是速度太慢。

只看该作者 · 发表于 2020-6-9 11:11:37

有没有大佬解答一下呢