onnx模型转换为rknn模型, 输出结果不正确

jefferyzhang 发表于 2020-3-31 14:22
NPU部门回复：
在 onnx_edit.py 里， rknn.config 漏掉了一个参数 reorder_channel='0 1 2'， rknn.inferen ...

是这个问题，添上就解决了，板子上推理也正确了。谢谢版主！( toolkit 1.3.0-NPU, 1.3.1-PC 都ok )

ddcat1991 发表于 2020-3-31 16:04
是这个问题，添上就解决了，板子上推理也正确了。谢谢版主！( toolkit 1.3.0-NPU, 1.3.1-PC 都ok ) ...

onnx_edit.py 这个文件在哪里，没找到啊

请问转换rknn时你是怎么移除softmax层的，能不能详细讲下谢谢我用1MB with landmars 转换时卡在knn-softmanx出来的结果全是1了

zengwubin 发表于 2020-4-6 11:49
请问转换rknn时你是怎么移除softmax层的，能不能详细讲下谢谢我用1MB with landmars 转换时卡在k ...

把1mb vision/ssd/ssd.py 里  forward函数下 从94 行开始 "confidences = F.softmax(confidences, dim=2)" 和后面的注释掉就可以了

大佬，我也刚好在哢这个模型，有好些问题，有偿求助，可以的话加我QQ：405631964，谢谢了

我也是用Ultra-Light-Fast-Generic-Face-Detector-1MB,这个的RFB-640的模型，我做了相应的裁剪，然后也用onnxsim做了模型简化，但是当我把简化的模型转为rknn的时候就报错了:

IndexError:_Map_base::at
我百度了，说是我的torch.onnx.export需要个  keep_initializers_as_inputs 这个参数，我现在的版本根本就没有这个参数，我的就是pytorch1.2.0直接转的onnx1.4.1的，所以不知道该怎么继续，如果你也有这个经历，麻烦告知，谢谢

jefferyzhang 发表于 2020-3-2 09:52
还有我看你都是在板子上操作，请先核对下npu-drv版本号和toolkit是不是匹配，是否都是1.3.0.
驱动不对的话 ...

请问，如何查看 npu-drv版本号 和 toolkit 版本 ？ npu-drv版本如何升级 ？

参考楼主的代码做转换是可以的，但是加了pre_compile，输出全部变成了0，不知道为什么。

1. import onnx
   
2. from onnx import helper, TensorProto
   
3. import numpy as np
   
4. 
   
5. 
   
6. # Common - Input Setting
   
7. np.random.seed(1234)
   
8. image = np.random.random((1, 3, 240, 320))*2 - 1.0  # 原模型输入为归一化后 -1~1之间的结果
   
9. image = image.astype(np.float32)
   
10. 
    
11. intermidiate_y = '187'
    
12. intermidiate_shape = [1, 16, 120, 160]
    
13. # intermidiate_shape = [1, 4, 8, 10]
    
14. new_model_name = 'toto_%s.onnx' % intermidiate_y
    
15. 
    
16. modelName = "version-RFB-320_without_postprocessing"
    
17. 
    
18. # load model
    
19. model = onnx.load_model(modelName +".onnx")
    
20. 
    
21. # add output
    
22. intermediate_layer_value_info = helper.make_tensor_value_info(intermidiate_y, TensorProto.FLOAT, intermidiate_shape)
    
23. # intermediate_layer_value_info = helper.ValueInfoProto()
    
24. # intermediate_layer_value_info.name = intermidiate_y
    
25. 
    
26. # model.graph.output.extend([intermediate_layer_value_info])
    
27. onnx.save(model, new_model_name)
    
28. onnx.checker.check_model(model)
    
29. 
    
30. 
    
31. # run model
    
32. import onnxruntime as ort
    
33. ort_session = ort.InferenceSession(new_model_name)
    
34. input_name = ort_session.get_inputs()[0].name
    
35. 
    
36. conf_onnx, boxes_onnx = ort_session.run(None, {input_name: image})
    
37. 
    
38. 
    
39. # ================ rknn model ========================
    
40. from rknn.api import RKNN
    
41. # Create RKNN object
    
42. rknn1 = RKNN(verbose=False)
    
43. print('--> Loading model')
    
44. rknn1.load_onnx(model=new_model_name)
    
45. print('done')
    
46. rknn1.config(batch_size=1,reorder_channel='0 1 2', mean_values=[[0, 0, 0]], std_values=[[1, 1, 1]], target_platform="rv1109")
    
47. 
    
48. # Build model
    
49. print('--> Building model')
    
50. rknn1.build(do_quantization=False)
    
51. print('done')
    
52. rknn1.export_rknn('./tmp.rknn')
    
53. rknn1.release()
    
54. 
    
55. # Create RKNN object
    
56. rknn2 = RKNN(verbose=False)
    
57. print('--> Loading model2')
    
58. rknn2.load_onnx(model=new_model_name)
    
59. print('done')
    
60. rknn2.config(batch_size=1,reorder_channel='0 1 2', mean_values=[[0, 0, 0]], std_values=[[1, 1, 1]], target_platform="rv1109")
    
61. 
    
62. # Build model
    
63. print('--> Building pre_compile model')
    
64. rknn2.build(do_quantization=False, pre_compile=True)
    
65. print('done')
    
66. rknn2.export_rknn(modelName +'.rknn')
    
67. rknn2.release()
    
68. 
    
69. rknn = RKNN(verbose=True)
    
70. rknn.load_rknn('./tmp.rknn')
    
71. rknn.config(batch_size=1,reorder_channel='0 1 2', mean_values=[[0, 0, 0]], std_values=[[1, 1, 1]], target_platform="rv1109")
    
72. rknn.init_runtime()
    
73. print('image.shape:', image.shape)
    
74. conf_rknn, boxes_rknn = rknn.inference(inputs=[image],data_format='nchw')
    
75. rknn.release()
    
76. 
    
77. tmp_onnx = conf_onnx
    
78. tmp_rknn = conf_rknn
    
79. ## ========================== Result Compare ===============================
    
80. print('********************* Intermidiante Layer Number: %s *******************' % intermidiate_y)
    
81. tmp_onnx = np.squeeze(tmp_onnx)
    
82. tmp_rknn = np.squeeze(tmp_rknn)
    
83. tmp_onnx = tmp_onnx.reshape(-1,tmp_onnx.shape[-1])
    
84. tmp_rknn = tmp_rknn.reshape(-1,tmp_rknn.shape[-1])
    
85. 
    
86. # for idx in range(tmp_onnx.shape[0],2):
    
87. for idx in range(0,4):
    
88.     print('********************* Onnx:%d ****************************' % idx)
    
89.     print(tmp_onnx[idx,:20])
    
90.     print('********************* Rknn:%d ****************************' % idx)
    
91.     print(tmp_rknn[idx,:20])
    
92. 
    
93. difference = np.sum(np.abs(tmp_onnx-tmp_rknn))
    
94. total_weight = np.sum(np.abs(tmp_onnx))
    
95. print('totoal-difference:', difference)
    
96. print('totoal-weight:', total_weight)
    
97. print('drift-rate: %.4f%%' % (difference/total_weight*100))
    

复制代码