Toybrick

标题: rknn_init时间很长 [打印本页]

作者: nila 时间: 2019-3-5 17:26
标题: rknn_init时间很长
运行rknn_init这个函数的时候，发现运行时间是33.692s
这个时间好长，是否正确？
如果代码中间要切换模型，是不是也要这么长的时间进行重新初始化？

作者: seedlin 时间: 2019-3-5 17:46
我有试过多个模型的，一开始的时候init几个模型，然后后面直接用，也用的好好的

作者: nevin007 时间: 2019-3-5 19:51

seedlin 发表于 2019-3-5 17:46
我有试过多个模型的，一开始的时候init几个模型，然后后面直接用，也用的好好的 ...

你好，我在跑多模型的时候也碰到了类似问题，我想问下，你用的是Python的API还是C++的API？

作者: seedlin 时间: 2019-3-6 14:51

nevin007 发表于 2019-3-5 19:51
你好，我在跑多模型的时候也碰到了类似问题，我想问下，你用的是Python的API还是C++的API？ ...

python的，不过python最终也是需要调用C的lib来执行的，所以是一样的，要注意两个模型必须是两个context

作者: nevin007 时间: 2019-3-6 18:01

seedlin 发表于 2019-3-6 14:51
python的，不过python最终也是需要调用C的lib来执行的，所以是一样的，要注意两个模型必须是两个context ...

我是直接用的C++API，但是用两个context仍然会报错，能帮忙定位下问题么？
论坛链接：http://t.rock-chips.com/forum.ph ... 9&page=1#pid888

作者: jefferyzhang 时间: 2019-3-7 13:02
正确的，init时候在转成npu能识别的语言，时间需要很久，你可以转换时候打开pre_compiling选项，能把一部分编译工作放到转换时候完成，能大大缩减init时间。
init一次后没有重新复位npu是不需要重新init的，后面run的速度就非常快了。

作者: jefferyzhang 时间: 2019-3-7 13:03

seedlin 发表于 2019-3-5 17:46
我有试过多个模型的，一开始的时候init几个模型，然后后面直接用，也用的好好的 ...

是的，rknn支持同时初始化多个模型，后面都可以直接使用。

作者: nevin007 时间: 2019-3-7 20:49

jefferyzhang 发表于 2019-3-7 13:03
是的，rknn支持同时初始化多个模型，后面都可以直接使用。

你好，想问下C++API是不是不支持同时初始化多个模型？我试过python的API可以初始化多模型，但C++API不可以...

作者: jefferyzhang 时间: 2019-3-8 12:11

nevin007 发表于 2019-3-7 20:49
你好，想问下C++API是不是不支持同时初始化多个模型？我试过python的API可以初始化多模型，但C++API不可 ...

支持的，可以用的。我回头自己也试试。

作者: nevin007 时间: 2019-3-12 11:58

jefferyzhang 发表于 2019-3-8 12:11
支持的，可以用的。我回头自己也试试。

你好，建议测试一下MTCNN的PNet

作者: jefferyzhang 时间: 2019-3-14 08:50

nevin007 发表于 2019-3-12 11:58
你好，建议测试一下MTCNN的PNet

我们mtcnn全部都转换过可以用的。过一段时间就会有mtcnn的直播，敬请关注

作者: 771488533 时间: 2019-3-14 09:45

jefferyzhang 发表于 2019-3-14 08:50
我们mtcnn全部都转换过可以用的。过一段时间就会有mtcnn的直播，敬请关注

可以透露一下你们的mtcnn的运行速度吗？640*480输入图片能否达到实时？

作者: nevin007 时间: 2019-3-14 09:49

jefferyzhang 发表于 2019-3-14 08:50
我们mtcnn全部都转换过可以用的。过一段时间就会有mtcnn的直播，敬请关注

我这边现在能跑起来，但有2个小问题：
1、PNet只能用fp16模型跑，否则会初始化失败；RNet和ONet都可以用int8模型跑；
2、整个mtcnn可以正常跑完，也能得到正确的结果，但最后会打印出“E NPUTransfer: Please open transfer first!”，你知道是什么原因么？

作者: jefferyzhang 时间: 2019-3-14 15:35

771488533 发表于 2019-3-14 09:45
可以透露一下你们的mtcnn的运行速度吗？640*480输入图片能否达到实时？

这个另外一个工程师做的，别急哈，我回头问问

作者: jefferyzhang 时间: 2019-3-14 15:35

nevin007 发表于 2019-3-14 09:49
我这边现在能跑起来，但有2个小问题：
1、PNet只能用fp16模型跑，否则会初始化失败；RNet和ONet都可以用i ...

暂时还没有听说他有这个问题，我回头帮你问问

作者: 771488533 时间: 2019-3-14 15:38

jefferyzhang 发表于 2019-3-14 15:35
暂时还没有听说他有这个问题，我回头帮你问问

把他拉进来论坛啊，跑过去问多麻烦

作者: jefferyzhang 时间: 2019-3-14 15:40

771488533 发表于 2019-3-14 15:38
把他拉进来论坛啊，跑过去问多麻烦

你看我们泡论坛的哪有时间钻研技术，他们搞技术的大牛也没时间泡论坛呀。
不要着急，面包会有的，mtcnn也会有的。。。

作者: 谁染枫林醉 时间: 2019-5-10 10:39
您好，请问您有遇到这种情况吗？
[root@localhost ~]# ./rknn_ssd
E NPUTransfer: Transfer interface open failed!, ret = -4
ret = rknn_init fail! ret=-3
能指导一下吗？

作者: jefferyzhang 时间: 2019-5-13 08:30
大家可以用1.0试下init时间有没有加快了

作者: uuii9988 时间: 2019-6-19 11:18

jefferyzhang 发表于 2019-5-13 08:30
大家可以用1.0试下init时间有没有加快了

没有啊

作者: zhangxiangming 时间: 2019-6-19 15:47

jefferyzhang 发表于 2019-3-8 12:11
支持的，可以用的。我回头自己也试试。

请问测试得怎么样？我也碰到同样问题，c++调多个模型，第二个模型报错，python调可以。

欢迎光临 Toybrick (https://t.rock-chips.com/)