Toybrick

标题: yolov3推理时间超长 [打印本页]

作者: 小宁哥 时间: 2019-12-17 23:25
标题: yolov3推理时间超长
我用rknn_toolkit推理我自己训练的yolov3模型，时间长达366.57秒，是怎么回事，另外在板子上推理，到init runtime environment就似乎卡住额，需要很长时间，求解答

作者: jefferyzhang 时间: 2019-12-18 08:30
量化了么，推理时间多久？
首次加载模型当然很慢，推理是推理，加载是加载

作者: 小宁哥 时间: 2019-12-18 11:17

jefferyzhang 发表于 2019-12-18 08:30
量化了么，推理时间多久？
首次加载模型当然很慢，推理是推理，加载是加载 ...

做了量化，推理时间（rknn.inference函数）374.85秒，你说的加载模型是rknn.load_rknn吗

作者: jefferyzhang 时间: 2019-12-18 11:44

小宁哥发表于 2019-12-18 11:17
做了量化，推理时间（rknn.inference函数）374.85秒，你说的加载模型是rknn.load_rknn吗 ...

除了推理inference，都是初始化

作者: 小宁哥 时间: 2019-12-18 12:44

jefferyzhang 发表于 2019-12-18 11:44
除了推理inference，都是初始化

我是使用toolkit工具在pc上跑的，在rk3399上就270ms了，是因为这个工具只适用于这些板子吗

作者: jefferyzhang 时间: 2019-12-18 14:52

小宁哥发表于 2019-12-18 12:44
我是使用toolkit工具在pc上跑的，在rk3399上就270ms了，是因为这个工具只适用于这些板子吗 ...

.....
PC那只是仿真

作者: 小宁哥 时间: 2019-12-18 16:01

jefferyzhang 发表于 2019-12-18 14:52
.....
PC那只是仿真

pc是模拟的rk1808吧，那速度也未免太慢了吧

作者: jefferyzhang 时间: 2019-12-18 21:28

小宁哥发表于 2019-12-18 16:01
pc是模拟的rk1808吧，那速度也未免太慢了吧

pc模拟你要看输出的时间和帧率，而不是自己去算他运行时间。
仿真运行而已。 1808和3399pro用的npu是同一个。
莫非你意思是用我们toolkit，你电脑就能得到我们NPU的推理速度了？

欢迎光临 Toybrick (https://t.rock-chips.com/)