Toybrick

标题: caffe模型转RKNN问题 [打印本页]

作者: ryanzx 时间: 2020-5-7 14:02
标题: caffe模型转RKNN问题
本帖最后由 ryanzx 于 2020-5-7 14:25 编辑

请问，3399PRO 在量化人脸识别模型时采用asymmetric-u8以及dynamic-u8量化方式时精度下降非常多有什么办法解决??同时采用dynamic-u16位量化后加载模型就报错的原因是什么??

报错的信息内容如下：
--> Init runtime environment
I NPUTransfer: Starting NPU Transfer Client, Transfer version 1.9.8 (cab3961@2019-12-12T09:54:26)
E RKNNAPI: rknn_init, msg_load_ack fail, ack = 1(ACK_FAIL), expect 0(ACK_SUCC)!
E RKNNAPI: ==============================================
E RKNNAPI: RKNN VERSION:
E RKNNAPI: API: 1.3.0 (c5654ea build: 2019-12-25 12:40:55)
E RKNNAPI: DRV: 1.3.1 (6ebb4d7 build: 2020-01-02 09:37:58)
E RKNNAPI: ==============================================
E Catch exception when init runtime!
E Traceback (most recent call last):
E File "rknn/api/rknn_base.py", line 988, in rknn.api.rknn_base.RKNNBase.init_runtime
E File "rknn/api/rknn_runtime.py", line 320, in rknn.api.rknn_runtime.RKNNRuntime.build_graph
E Exception: RKNN init failed. error code: RKNN_ERR_MODEL_INVALID
Init runtime environment failed

作者: jefferyzhang 时间: 2020-5-8 09:25
使用混合量化。
请参看文档。。

作者: ryanzx 时间: 2020-5-8 10:28

jefferyzhang 发表于 2020-5-8 09:25
使用混合量化。
请参看文档。。

混合量化正在看，每一层的量化配置有没有什么指导的文档？
另外：上面的dynamic-u16位量化后的模型在运行时为什么不能正在加载？

作者: jefferyzhang 时间: 2020-5-8 11:05

ryanzx 发表于 2020-5-8 10:28
混合量化正在看，每一层的量化配置有没有什么指导的文档？
另外：上面的dynamic-u16位量化后的模型在运 ...

你其实都不用搞u16，就是用u8或者就不量化，u16意义不大。
这个也是炼金过程，toolkit里有sample你可以参考下。
一般来说就是模型前几层和后几层改成不量化可以很大提高精度
u16那个不能加载你可以在混合量化里试试，全部u16意义不大，速度很慢。

欢迎光临 Toybrick (https://t.rock-chips.com/)