init_runtime()过程每次都要花费很多时间？

1，我是用YOLOv3将近70M的rknn权重的文件，init_runtime需要将近20分钟，这个是正常执行时间吗？可以进行加速吗？或者说，加速后，一般时间能到多少？
2，我用Unet网络将近7M的rknn权重的文件，init_runtime需要将近2分钟时间？

troy 发表于 2019-9-23 14:24
这个时间不太正常，建议更新系统固件到V1.5，更新rknn-toolkit到V1.2，再进行测试。 ...

为什么我在PC电脑上用pre_compile=True加速，竟然报错了？说是不能再模拟器上面加速环境是，rknn1.1.0, Ubuntu-linux-64，不是rk3399pro板子

troy 发表于 2019-9-23 17:31
文档里面有写，开启预编译，就不能在PC上模拟了。运行提示也写的很清楚了，PC模拟器上不能运行预编译的模 ...

你理解错了我的问题，我问的是：
1，以前我没有预编译，直接在rk3399pro上面运行，发现每次模型的init_runtime时间都特别长，现在我想通过pre_compile来减少模型的init_runtime，我尝试在PC上面进行预编译，但是预编译报了上面的错误？
2，官方文档上面，不是说，预编译可以在PC搭建的rknn-toolkit 1.1.0环境上面进行预编译吗？

troy 发表于 2019-9-24 08:35
我看懂你的意思了。
1.pre_compile是可以加快init_runtime的速度，预编译报的错误是TensorFlow相关的，你 ...

你这样一说，我好像明白为什么报错了：
1，我Ubuntu上面只有tensorflow-gpu==1.13.1的版本，没有cpu的版本，这样会不会报错？
2，你能推荐一个和rknn-toolkit 1.1.0匹配的tensorflow版本吗？我看官网资料上面没有推荐

troy 发表于 2019-9-24 10:22
1.你可以自己找个TensorFlow的demo，跑一下TensorFlow，确保你的TensorFlow环境正常
2.rknn-toolkit1.1.0 ...

感谢大神的指导，我修改了一个tensorflow的版本，发现可以预编译成功了！
令人惊讶的是，我YOLOv3的70Mrknn权重，预编译后，体积反而变大了，是73M左右，但是init_runtime的时间，从700s降低到了3s左右，效果非常好。
但是我比较疑惑这个700到3s是如何做到的？

troy 发表于 2019-9-24 16:28
NPU最终执行的其实都是预编译后的代码，只是如果rknn模型没开预编译，就会导致在init_runtime的时候执行 ...

奇迹了，看来执行预编译很有必要，不过，还是要感谢大神的指点