pytorch -> rknn 转换 nn.ReLU op 有问题，似乎是 bug

kkkaaa 发表于 2020-5-22 11:07
I see... 你们的 NPU 部门连这是不是一个 bug 都不会立马反馈给你们是吧。。。
看来用 rknn 还是最好限制 ...

只要你们按文档操作，有问题肯定是bug。
你们可以自己尝试绕过去，或者只能等他们处理。

立项客户可以通过FAE或者直接跟他们交流。

NPU Team回复：  253049

1.如果要跑你这个模型，rknn.config(optimization_level=0)设置一下，如果不设置的话卷积和relu在硬件上会merge。

2.rknn.init_runtime 请指定设备，因为驱动更新比模拟器快，硬件跑的结果可能会和模拟器跑的结果不一样。

直接跑我这个test.py是能得到正确结果的。

1. # -*- coding: utf-8 -*-
   
2. # create time: 2020-05-15 15:29
   
3. 
   
4. import torch
   
5. from rknn.api import RKNN
   
6. import numpy as np
   
7. 
   
8. 
   
9. class Net(torch.nn.Module):
   
10. 
    
11.     def __init__(self):
    
12.         super(Net, self).__init__()
    
13. 
    
14.         self.conv1 = torch.nn.Conv2d(3,24,3)
    
15.         self.nonlinear = torch.nn.ReLU()  # successful op: Sigmoid, LeakyReLU
    
16. 
    
17.     def forward(self, x):
    
18.         x1 = self.conv1(x)
    
19.         y = self.nonlinear(x1)
    
20.         return x1, y
    
21. 
    
22. 
    
23. def E_D(vector1, vector2):
    
24.     print("vector1 norm: ", np.linalg.norm(vector1))
    
25.     print("vector2 norm: ", np.linalg.norm(vector2))
    
26.     print("distance: ", np.linalg.norm(vector1 - vector2))
    
27. 
    
28. def cos_d(vector1, vector2):
    
29.     d = 1 - np.dot(vector1, vector2) / (np.linalg.norm(vector1) * (np.linalg.norm(vector2)))
    
30.     print(d)
    
31. 
    
32. 
    
33. if __name__ == '__main__':
    
34. 
    
35.     net = Net()
    
36.     net.eval()
    
37.     i1 = torch.rand(1,3,5,5)
    
38.     # i2 = torch.rand(1,2,7,7)
    
39.     # i3 = torch.rand(1,3,9,9)
    
40.     trace_model = torch.jit.trace(net, (i1))
    
41.     trace_model.save('test.pt')
    
42. 
    
43. 
    
44.     rknn = RKNN(verbose=True)
    
45.     rknn.config(batch_size=1,
    
46.                 channel_mean_value='0 0 0 1',
    
47.                 reorder_channel='0 1 2',
    
48.                 optimization_level=0,
    
49.                 epochs=1)
    
50. 
    
51.     ret = rknn.load_pytorch(model='test.pt', input_size_list=[[3,5,5]])
    
52.     # ret = rknn.load_onnx(model='lstm{128x64}.pt.onnx')
    
53.     if ret != 0:
    
54.         print('Load pytorch model failed!')
    
55.         exit(ret)
    
56. 
    
57.     ret = rknn.build(do_quantization=False, dataset='./dataset.txt')
    
58.     if ret != 0:
    
59.         print('Build pytorch failed!')
    
60.         exit(ret)
    
61. 
    
62.     ret = rknn.init_runtime(target='rk1808')
    
63.     if ret != 0:
    
64.         print('Init runtime environment failed')
    
65.         exit(ret)
    
66. 
    
67. 
    
68.     rknn_r = rknn.inference(inputs=[i1.numpy()],
    
69.                             data_type='float32',
    
70.                             data_format='nchw')
    
71.     pytorch_r = net(i1)
    
72. 
    
73. 
    
74.     for d1, d2 in zip(rknn_r, pytorch_r):
    
75.         d1 = d1.ravel()
    
76.         d2 = d2.detach().numpy().ravel()
    
77. 
    
78.         E_D(d1, d2)
    
79.         cos_d(d1, d2)
    
80. 
    
81.         print("---")
    
82. 
    

复制代码