多输入时,通道顺序为何会乱? Python接口怎么用多输入?

在多输入时,各个输入shape不一样,为何从onnx转换为rknn后输入的顺序会乱, 输出的顺序是正常的,
另外C API 可以支持多输入, Python接口怎么构选多输入?  user guide 文档并没有叙述.
谢谢!

Pytorch             1.2.0
RKNN                1.3.0tensorflow         1.14.0
onnx                 1.4.1
onnx-tf              1.2.1
RKNN API  1.3.0,  DRIVE: 1.3.0     Debain 10
如下代码:

1. import platform
   
2. import os
   
3. import torch
   
4. import numpy as np
   
5. 
   
6. from rknn.api import RKNN
   
7. 
   
8. import onnx
   
9. from onnx_tf.backend import prepare
   
10. 
    
11. class LSTM(torch.nn.Module):
    
12. 
    
13.     def __init__(self, input_size, hidden_size):
    
14.         super(LSTM, self).__init__()
    
15. 
    
16.         self._input_size = input_size
    
17.         self._hidden_size = hidden_size
    
18.         self._fc = torch.nn.Linear(input_size, input_size)
    
19.         self._tanh = torch.nn.Tanh()
    
20.         self._sigmoid = torch.nn.Sigmoid()
    
21. 
    
22.     def forward(self, x, h0, c0):
    
23. 
    
24.         return self._fc(x), self._sigmoid(h0), self._sigmoid(c0)
    
25.         #ox, (h1, c1) = self._lstm(x, (h0, c0))
    
26.         return ox, h1, c1
    
27. 
    
28. if __name__ == '__main__':
    
29. 
    
30.     system = platform.system()
    
31. 
    
32.     isize = 128
    
33.     hsize = 64
    
34.     #m = torch.nn.Linear(isize, hsize)
    
35.     m = LSTM(isize, hsize)
    
36.     m.eval()
    
37.     m.float()
    
38. 
    
39.     h0 = torch.full((1, 1, hsize), fill_value=0.15, dtype=torch.float)
    
40.     c0 = torch.full((1, 1, hsize//2), fill_value=0.07, dtype=torch.float)
    
41.     x = torch.full((1, isize), fill_value=0.1, dtype=torch.float)
    
42.     #x1 = torch.full((1, hsize), fill_value=0.2, dtype=torch.float)
    
43.     pt_file = "lstm{%dx%d}.pt" % (isize, hsize)
    
44. 
    
45.     rknn = RKNN(verbose=True)
    
46.     rknn.config(batch_size=1,
    
47.                 epochs=1)  # asymmetric_quantized-u8,  quantized_dtype='dynamic_fixed_point-16' , channel_mean_value='0 0 0 1', reorder_channel='0 1 2',
    
48. 
    
49.     #pt = torch.jit.trace(m, x, h0, c0)
    
50.     #pt.save(pt_file)
    
51.     #rknn.load_pytorch(model=pt_file, input_size_list=[[1, isize]])
    
52. 
    
53.     onnx_file = pt_file + '.onnx'
    
54.     torch.onnx.export(m, (x, h0, c0), onnx_file,
    
55.                       export_params=True,  # store the trained parameter weights inside the model file
    
56.                       # do_constant_folding=True,  # whether to execute constant folding for optimization
    
57.                       opset_version=9,  # the ONNX version to export the model to
    
58.                       input_names=['input', 'h0', 'c0'],  # the model's input names
    
59.                       output_names=['output', 'h1', 'c1']  # the model's output names
    
60.                       # dynamic_axes={'input' : {0 : 'batch_size'},    # variable lenght axes
    
61.                       #              'output' : {0 : 'batch_size'}}
    
62.                       )
    
63.     rknn.load_onnx(model=onnx_file)
    
64. 
    
65.     rknn_file = pt_file + '.rknn'
    
66.     ret = rknn.build(do_quantization=False, dataset='./dataset.txt')
    
67.     rknn.export_rknn(rknn_file)
    
68. 
    
69.     print('--> Init runtime environment')
    
70. 
    
71.     if system == 'Windows':
    
72.         print("rknn run target rk1808")
    
73.         ret = rknn.init_runtime(target='rk1808', target_sub_class='AICS')
    
74.     else:
    
75.         print("rknn run target self")
    
76.         ret = rknn.init_runtime()
    
77.     if ret != 0:
    
78.         print('Init runtime environment failed')
    
79.         exit(ret)
    
80.     print('done')
    
81. 
    
82.     ix = x.numpy()
    
83.     tf_model = onnx.load(onnx_file)
    
84.     tf_rep = prepare(tf_model)
    
85.     tf_out, tf_h1, tf_c1 = tf_rep.run((ix, h0, c0))
    
86.     tf_out = np.array(tf_out)
    
87.     print("onnx out:", ix.shape, ', ', tf_out.shape)
    
88.     print(tf_out)
    
89. 
    
90.     torch_out, th_h1, th_c1 = m.forward(x, h0, c0)
    
91.     print("torch [out]:", x.shape, ', ', torch_out.shape)
    
92.     print(torch_out.detach().unsqueeze(0).numpy())
    
93. 
    
94.     ih0 = h0.numpy()
    
95.     ic0 = c0.numpy()
    
96.     rknn_out = rknn.inference(inputs=[(ix, ih0, ic0)], data_type='float32', data_format='nchw')   # , inputs_pass_through=[1]
    
97.     rknn_out = np.array(rknn_out)
    
98.     print("rknn out:", ix.shape, ', ', rknn_out.shape)
    
99.     print(rknn_out)
    
100. 
     
101.     rknn.release()

复制代码

输出的模型形状，输入输出均已命名，且onnx模型可正常运行：


查询RKNN输入相关的代码, 在RK3399Pro上运行：

1. ret = rknn_query(ctx, RKNN_QUERY_IN_OUT_NUM, &in_out_num, sizeof(in_out_num));
   
2. if (ret < 0) {
   
3.     printf(_LINE_MARK_ " rknn_query fail: query in out num, ret=%d\n", ret);
   
4.     goto Error;
   
5. }
   
6. assert(_NInChs == in_out_num.n_input && _NOutChs == in_out_num.n_output);
   
7. for (int i = 0; i < _NInChs; i++) {
   
8.     inputs_attr[i].index = i;
   
9.     ret = rknn_query(ctx, RKNN_QUERY_INPUT_ATTR, &(inputs_attr[i]), sizeof(inputs_attr[i]));
   
10.     if (ret < 0) {
    
11.         printf(_LINE_MARK_ " rknn_query fail: query inputs attrs, ret=%d\n", ret);
    
12.         goto Error;
    
13.     }
    
14. }
    
15. for (int i = 0; i < _NOutChs; i++) {
    
16.     outputs_attr[i].index = i;
    
17.     ret = rknn_query(ctx, RKNN_QUERY_OUTPUT_ATTR, &(outputs_attr[i]), sizeof(outputs_attr[i]));
    
18.     if (ret < 0) {
    
19.         printf(_LINE_MARK_ " rknn_query fail: query outputs attrs ret=%d\n", ret);
    
20.         goto Error;
    
21.     }
    
22. }
    

复制代码


输入为 (x, h0, c0)按顺序对应的shape 分另为：(1, 128), (1, 1, 64), (1, 1, 32)，但在RKNN C API中获取到的输入属性为 (1, 1, 32), (1, 128), (1, 1, 64)：

输出的顺序确是正确的(1, 128), (1, 1, 64), (1, 1, 32)：, scale = 1}}



而且,  不同次导出的onnx,   RKNN编译查询得到的输入属性都会不同

为啥不直接用pytorch模型转rknn试试？

jefferyzhang 发表于 2020-2-23 11:04
为啥不直接用pytorch模型转rknn试试？

之前试了load_pytorch加载 build报错， 应该原因是fc输入要减少一维变成两维的。

不过针对这个多输入的问题还想请教一下：
1. 是啥原因输入的顺序和给的模型不一样？另外C接口查出来的输入属性中.name是空的，如果有这个名字也方便面匹配，onnx是给了名字的。
2. 多输入的Python接口运行是怎么用的？3. 多输入如果形状不一样可以么，比如 [1, 120, 128]  [1, 64] [1, 64]？

再请教一下，目前支持的这些模型格式，是不是都不支持LSTM运算符的？
现在想做个评估看看基本性能，想把TTS部到NPU，或者是测出LSTM的性能，拆出一部分部到上面。

谢谢

1. 顺序不一致要再看下，我们还在确认这个问题中
2. name可以通过Netron看
3. 多输入python请参看教程有写，文档也有写
4. 不明白你说的多输入形状不一致是什么意思，如果是多个input节点当然是可以的，如果是多batch当然是不行的

NPU部门回复：
1.支持多输入多输出，多个输入时shape可以不一样，但是输入要按照nchw的格式，具体可以参考my_multiple_input_test.py；
2.目前pytorch和onnx暂不支持lstm，tensorflow有些可以支持；

my_multiple_input_test.py：

1. import torch
   
2. from rknn.api import RKNN
   
3. import numpy as np
   
4. 
   
5. class Net(torch.nn.Module):
   
6. 
   
7.     def __init__(self):
   
8.         super(Net, self).__init__()
   
9. 
   
10.         self.conv1 = torch.nn.Conv2d(1,6,3)
    
11.         self.conv2 = torch.nn.Conv2d(2,12,3)
    
12.         self.conv3 = torch.nn.Conv2d(3,24,3)
    
13. 
    
14.     def forward(self, x, y, z):
    
15.         x = self.conv1(x)
    
16.         y = self.conv2(y)
    
17.         z = self.conv3(z)
    
18. 
    
19.         return x,y,z
    
20. 
    
21. def E_D(vector1, vector2):
    
22.     print(np.linalg.norm(vector1 - vector2))
    
23. 
    
24. def cos_d(vector1, vector2):
    
25.     d = np.dot(vector1, vector2) / (np.linalg.norm(vector1) * (np.linalg.norm(vector2)))
    
26.     print(d)
    
27. 
    
28. 
    
29. if __name__ == '__main__':
    
30. 
    
31.     net = Net()
    
32.     i1 = torch.rand(1,1,5,5)
    
33.     i2 = torch.rand(1,2,7,7)
    
34.     i3 = torch.rand(1,3,9,9)
    
35.     trace_model = torch.jit.trace(net, (i1,i2,i3))
    
36.     trace_model.save('test.pt')
    
37. 
    
38. 
    
39.     rknn = RKNN(verbose=True)
    
40.     rknn.config(batch_size=1,
    
41.                 channel_mean_value='0 1#0 0 1#0 0 0 1',
    
42.                 reorder_channel='0 1 2#0 1 2#0 1 2',
    
43.                 epochs=1)
    
44. 
    
45.     ret = rknn.load_pytorch(model='test.pt', input_size_list=[[1,5,5],[2,7,7],[3,9,9]])
    
46.     # ret = rknn.load_onnx(model='lstm{128x64}.pt.onnx')
    
47.     if ret != 0:
    
48.         print('Load pytorch model failed!')
    
49.         exit(ret)
    
50. 
    
51.     ret = rknn.build(do_quantization=False, dataset='./dataset.txt')
    
52.     if ret != 0:
    
53.         print('Build pytorch failed!')
    
54.         exit(ret)
    
55. 
    
56.     ret = rknn.init_runtime(target='rk1808',device_id='7e9f3eb02ede60e8')
    
57.     if ret != 0:
    
58.         print('Init runtime environment failed')
    
59.         exit(ret)
    
60. 
    
61. 
    
62.     rknn_r = rknn.inference(inputs=[i1.numpy(), i2.numpy(), i3.numpy()],
    
63.                             data_type='float32',
    
64.                             data_format='nchw')
    
65.     pytorch_r = net(i1,i2,i3)
    
66. 
    
67. 
    
68.     for d1, d2 in zip(rknn_r, pytorch_r):
    
69.         d1 = d1.ravel()
    
70.         d2 = d2.detach().numpy().ravel()
    
71. 
    
72.         E_D(d1, d2)
    
73.         cos_d(d1, d2)
    
74. 
    
75.         print()
    
76. 
    
77. 
    

复制代码

jefferyzhang 发表于 2020-2-26 09:50
NPU部门回复：
1.支持多输入多输出，多个输入时shape可以不一样，但是输入要按照nchw的格式，具体可以参考m ...

好的，谢谢

多输入，在做量化时，'./dataset.txt' 应该怎么样输入呢？