关于1808推理速度

你好，
测试平台，pc端，cpu，python脚本 ，
（1）example caffe中的vgg ssd
rknn.inference(inputs=[img2])             时间为：299.26ms/帧

ssd_post_process(outputs[1], outputs[0]   时间为：720.96ms/帧




（2）裁剪后的mobilenet ssd，大小为224*224
rknn.inference(inputs=[img2])             时间为：779.01ms/帧    有波动，最高980ms左右

ssd_post_process(outputs[1], outputs[0]   时间为：101.03ms/帧    有波动，最高140ms左右
说明：同样的pc端，这个模型用c++测试大概为80ms/帧


问题：
（1）使用咱们的脚本为什么我在我的pc端速度差异这么大（python脚本和c++脚本可能会有一定影响，但不应该这么大）
（2）咱们是否对prototxt做了其他修改呢？
（3）这个速度是否合理呢？

没人理啊，或者大家有谁碰到这种情况吗？或者官方文档有说明吗？
求解答-.-

没看懂你发的这些是什么意思。。。
NPU都是同一个，只要走NPU，来回速度是一样的。

jefferyzhang 发表于 2020-6-3 20:15
没看懂你发的这些是什么意思。。。
NPU都是同一个，只要走NPU，来回速度是一样的。 ...

就是我自己剪枝过的ssd的速度在pc测试只有四五十ms，用咱们的测试为什么将近1s了？
但感觉咱们的测试vgg ssd速度还算比较正常，
求解答。

ylc123 发表于 2020-6-5 17:51
就是我自己剪枝过的ssd的速度在pc测试只有四五十ms，用咱们的测试为什么将近1s了？
但感觉咱们的测试vgg  ...

剪枝过？   做了什么剪枝？

leok 发表于 2020-6-5 18:14
剪枝过？   做了什么剪枝？

前段mobilenet backbone裁了一半，特征金字塔哪里去了一半，最后的box大概有一千多。
用python脚本测试效果正常，就是速度太慢。

有没有大佬解答一下呢