yolov3推理时间超长

[复制链接] · 发表于 2019-12-17 23:25:31

我用rknn_toolkit推理我自己训练的yolov3模型，时间长达366.57秒，是怎么回事，另外在板子上推理，到init runtime environment就似乎卡住额，需要很长时间，求解答

只看该作者 · 发表于 2019-12-18 08:30:13

量化了么，推理时间多久？
首次加载模型当然很慢，推理是推理，加载是加载

只看该作者 · 发表于 2019-12-18 11:17:17

jefferyzhang 发表于 2019-12-18 08:30
量化了么，推理时间多久？
首次加载模型当然很慢，推理是推理，加载是加载 ...

做了量化，推理时间（rknn.inference函数）374.85秒，你说的加载模型是rknn.load_rknn吗

只看该作者 · 发表于 2019-12-18 11:44:47

小宁哥发表于 2019-12-18 11:17
做了量化，推理时间（rknn.inference函数）374.85秒，你说的加载模型是rknn.load_rknn吗 ...

除了推理inference，都是初始化

只看该作者 · 发表于 2019-12-18 12:44:07

jefferyzhang 发表于 2019-12-18 11:44
除了推理inference，都是初始化

我是使用toolkit工具在pc上跑的，在rk3399上就270ms了，是因为这个工具只适用于这些板子吗

只看该作者 · 发表于 2019-12-18 14:52:26

小宁哥发表于 2019-12-18 12:44
我是使用toolkit工具在pc上跑的，在rk3399上就270ms了，是因为这个工具只适用于这些板子吗 ...

.....
PC那只是仿真

只看该作者 · 发表于 2019-12-18 16:01:41

jefferyzhang 发表于 2019-12-18 14:52
.....
PC那只是仿真

pc是模拟的rk1808吧，那速度也未免太慢了吧

只看该作者 · 发表于 2019-12-18 21:28:33

小宁哥发表于 2019-12-18 16:01
pc是模拟的rk1808吧，那速度也未免太慢了吧

pc模拟你要看输出的时间和帧率，而不是自己去算他运行时间。
仿真运行而已。 1808和3399pro用的npu是同一个。
莫非你意思是用我们toolkit，你电脑就能得到我们NPU的推理速度了？