[C++ API] 如何使用rknn_init初始化多个模型

显示全部楼层 · 发表于 2019-3-7 11:40:54

nevin007 发表于 2019-3-6 11:39
是的，模型我都单独运行过，没有问题...不会是同时只能有一个ctx吧...
灰掉上半部分，初始化下半部分是正 ...

你好，你在c++运行的时候有发现c++下面跑模型比python下面慢么？

显示全部楼层 · 发表于 2019-3-7 16:36:33

nevin007 发表于 2019-3-7 13:41
推理速度还好，主要是init时间太长了

我今天专门分别在两边测试了下，发现c++ inference的速度比Python慢差不多一倍。不知道是哪里的问题。。你的c++ api是0.9.3吗？

显示全部楼层 · 发表于 2019-3-8 05:24:29

nevin007 发表于 2019-3-7 16:48
你好，我用的C++API版本是0.9.3，我测试过它自带的mobilenet-ssd，用SDK自带的测试函数：python约10ms，c ...

奇怪了，我这里直接跑那个rknn_ssd需要22ms。你是在pc上交叉编译好了然后再在3399pro上运行的吗？还是直接在3399pro上编译运行的？我是后者。

显示全部楼层 · 发表于 2019-3-8 07:09:31

protossw512 发表于 2019-3-8 05:24
奇怪了，我这里直接跑那个rknn_ssd需要22ms。你是在pc上交叉编译好了然后再在3399pro上运行的吗？还是直 ...

我终于找到原因了，因为我在init的时候加了RKNN_FLAG_COLLECT_PERF_MASK的flag,所以速度会变慢。。。然而不用加也能够测试速度。

显示全部楼层 · 发表于 2019-3-9 05:16:48

nevin007 发表于 2019-3-8 09:21
那你能同时初始化多个模型再做推理么

我还没试过，项目暂时还没用到多个模型。你是怎么实现的？是同样的rknn_context init多次么？还是说不同的rknn_context？