pytorch模型转换问题

jefferyzhang 发表于 2020-2-16 19:42
rknn-toolkit存在的目的就是倒入其他格式模型，转换成rknn。
rknn-toolkit pc版和arm版功能几乎是一样的 ...

这个目前对我来说难度比较高，我也不断在研究。
请问您们是否有 tensorflow或者pytorch框架maskRcnn的模型转换方案和demo呢？

jefferyzhang 发表于 2020-2-16 19:42
rknn-toolkit存在的目的就是倒入其他格式模型，转换成rknn。
rknn-toolkit pc版和arm版功能几乎是一样的 ...

请问可以帮我确定一下tensorflow下预训练的mask_rcnn_inception_v2_coco模型的input和output节点吗？

jefferyzhang 发表于 2020-2-14 16:00
看log这里已经报错了，研究下你的模型这里是什么意思：
Syntax error in input! LexToken(NAMED_IDENTIFIER ...

RKNN v1.3, Pytorch v1.2

只一个FC层，使用.load_pytorch载入也是出现这样的错误，该从哪分析

1. 
   
2. import torch
   
3. import numpy as np
   
4. 
   
5. from rknn.api import RKNN
   
6. 
   
7. if __name__ == '__main__':
   
8. 
   
9.     ic = 128
   
10.     oc = 128
    
11.     m = torch.nn.Linear(ic, oc)
    
12.     m.eval()
    
13.     m.float()
    
14. 
    
15.     x = torch.full((1, ic), fill_value=0.1, dtype=torch.float)
    
16.     pt = torch.jit.trace(m, x)
    
17.     pt_file = "fc{128x128}.pt"
    
18. 
    
19.     rknn = RKNN(verbose=True)
    
20.     rknn.config(batch_size=1, channel_mean_value='0 0 0 1', reorder_channel='0 1 2',
    
21.                 epochs=1)  # asymmetric_quantized-u8,  quantized_dtype='dynamic_fixed_point-16'
    
22. 
    
23.     rknn_file = pt_file + '.rknn'
    
24.     pt.save(pt_file)
    
25.     rknn.load_pytorch(model=pt_file, input_size_list=[[1, ic]])
    
26. 
    
27.     onnx_file = pt_file + '.onnx'
    
28.     # torch.onnx.export(m, x, onnx_file,
    
29.     #                   export_params=True,  # store the trained parameter weights inside the model file
    
30.     #                   # do_constant_folding=True,  # whether to execute constant folding for optimization
    
31.     #                   opset_version=9,  # the ONNX version to export the model to
    
32.     #                   input_names=['input'],  # the model's input names
    
33.     #                   output_names=['output']  # the model's output names
    
34.     #                   # dynamic_axes={'input' : {0 : 'batch_size'},    # variable lenght axes
    
35.     #                   #              'output' : {0 : 'batch_size'}}
    
36.     #                   )
    
37.     # rknn.load_onnx(model=onnx_file)
    
38. 
    
39.     ret = rknn.build(do_quantization=False, dataset='./dataset.txt')
    
40.     rknn.export_rknn(rknn_file)
    
41. 
    
42.     rknn.release()
    

复制代码
代码中，如果导出.onnx，再load_onnx是可以正常build的，load_pytorch后bulid报错和楼主应该是一样的消息

1. fc{128x128}.pt ********************
   
2. WARNING: Token 'COMMENT' defined, but not used
   
3. WARNING: There is 1 unused token
   
4. !!!!! Illegal character '"'
   
5. Syntax error in input! LexToken(NAMED_IDENTIFIER,'fc',1,27)
   
6. !!!!! Illegal character '"'
   
7. D import clients finished
   
8. 2020-02-20 20:40:13.391282: I tensorflow/core/platform/cpu_feature_guard.cc:142] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2
   
9. I Build fc{128x128} complete.
   
10. D Optimizing network with force_1d_tensor, swapper, merge_layer, auto_fill_bn, resize_nearest_transformer, auto_fill_multiply, merge_avgpool_conv1x1, auto_fill_zero_bias, proposal_opt_import
    
11. D Optimizing network with conv2d_big_kernel_size_transform
    
12. W Genreate input meta fail, please check model.
    
13. W External input meta file "C:\Users\dm\AppData\Local\Temp\tmpyqrr_3bz\fc128x128_inputmeta.yml" is not exists.
    
14. Traceback (most recent call last):
    
15.   File "E:/Work/_Code/dmax/test/lstm/fc.py", line 39, in <module>
    
16.     ret = rknn.build(do_quantization=False, dataset='./dataset.txt')
    
17.   File "D:\Program Files\Python\Python36\lib\site-packages\rknn\api\rknn.py", line 238, in build
    
18.     ret = self.rknn_base.build(do_quantization=do_quantization, dataset=dataset, pack_vdata=pre_compile, batch_size=rknn_batch_size)
    
19.   File "rknn\api\rknn_base.py", line 719, in rknn.api.rknn_base.RKNNBase.build
    
20.   File "rknn\api\rknn_base.py", line 2249, in rknn.api.rknn_base.RKNNBase._generate_inputmeta
    
21. IndexError: list index out of range
    

复制代码load_pytorch没报错，在build时报的错：
W Genreate input meta fail, please check model.
W External input meta file "C:\Users\dm\AppData\Local\Temp\tmpszyfyeur\lstm1414_inputmeta.yml" is not exists.


rknn.config 中的参数  channel_mean_value='0 0 0 1', reorder_channel='0 1 2'  是三通道的，如果像这个，输入只是一个向量的，这里该怎么设置， channel_mean_value='0 0 1', reorder_channel='0 1 ' 么？但这里即便按chw三个维度设置，fc的输入输出均是[1,x]向量，onnx格式也能正常导出rknn。

xsky 发表于 2020-2-20 20:43
RKNN v1.3, Pytorch v1.2

只一个FC层，使用.load_pytorch载入也是出现这样的错误，该从哪分析

这个问题我报告给NPU部门了，等他们答复我会回你

jefferyzhang 发表于 2020-2-21 08:42
这个问题我报告给NPU部门了，等他们答复我会回你

好的谢谢啊

xsky 发表于 2020-2-21 09:48
好的谢谢啊

NPU部门回复：
pytorch模型必须继承自torch.nn.Module，1个fc层的pytorch示例可以参考test.py：

1. import torch
   
2. 
   
3. from rknn.api import RKNN
   
4. 
   
5. import numpy as np
   
6. 
   
7. def export_pytorch_model():
   
8. 
   
9.     class MyNet(torch.nn.Module):
   
10.         def __init__(self):
    
11.             super(MyNet, self).__init__()
    
12.             self.fc = torch.nn.Linear(224*224, 10)
    
13. 
    
14.         def forward(self, x):
    
15.             x = x.view(1,-1)
    
16.             return self.fc(x)
    
17. 
    
18.     net = MyNet()
    
19.     dummy_input = torch.randn([1, 1, 224, 224])
    
20. 
    
21.     trace_model = torch.jit.trace(net, dummy_input)
    
22.     pt_save_path = './test.pt'
    
23.     trace_model.save(pt_save_path)
    
24. 
    
25.     return pt_save_path
    
26. 
    
27. 
    
28. if __name__ == '__main__':
    
29. 
    
30.     pt_model = export_pytorch_model()
    
31.     input_size_list = [[1, 224, 224]]
    
32. 
    
33.     # Create RKNN object
    
34.     rknn = RKNN()
    
35. 
    
36.     # pre-process config
    
37.     print('--> config model')
    
38.     rknn.config(channel_mean_value='0 1', reorder_channel='0 1 2')
    
39.     print('done')
    
40. 
    
41.     # Load pytorch model
    
42.     print('--> Loading model')
    
43.     ret = rknn.load_pytorch(model=pt_model, input_size_list=input_size_list)
    
44.     if ret != 0:
    
45.         print('Load pytorch model failed!')
    
46.         exit(ret)
    
47.     print('done')
    
48. 
    
49.     # Build model
    
50.     print('--> Building model')
    
51.     ret = rknn.build(do_quantization=False, dataset='./dataset.txt')
    
52.     if ret != 0:
    
53.         print('Build pytorch failed!')
    
54.         exit(ret)
    
55.     print('done')
    
56. 
    
57.     # Set inputs
    
58.     img = np.random.randn(224,224,1).astype(np.float32)
    
59. 
    
60.     # init runtime environment
    
61.     print('--> Init runtime environment')
    
62.     ret = rknn.init_runtime()
    
63.     if ret != 0:
    
64.         print('Init runtime environment failed')
    
65.         exit(ret)
    
66.     print('done')
    
67. 
    
68.     # Inference
    
69.     print('--> Running model')
    
70.     outputs = rknn.inference(inputs=[img])
    
71.     print('rknn output:')
    
72.     print(outputs[0])
    
73. 
    
74.     # pytorch inference
    
75.     pt_i = np.expand_dims(img, axis=0)
    
76.     pt_i = np.transpose(pt_i, [0,3,1,2])
    
77.     pt_i = torch.from_numpy(pt_i)
    
78.     model = torch.jit.load(pt_model)
    
79.     pt_o = model(pt_i).detach().numpy()
    
80.     print('pytorch output:')
    
81.     print(pt_o)
    
82. 
    

复制代码

jefferyzhang 发表于 2020-2-22 16:19
NPU部门回复：
pytorch模型必须继承自torch.nn.Module，1个fc层的pytorch示例可以参考test.py：

好的谢谢，我试下

jefferyzhang 发表于 2020-2-14 16:08
NPU部门回复如下：

这个应该是pytorch版本问题。

你好，请问rknn_toolkit_v1.3.0支持pytorch中的nn.pixelshuffle()模块吗，我的pytorch模型中包括该模块，rknn.load_pytorch报"aten::pixel_shuffle"

rlgl 发表于 2020-4-2 17:54
你好，请问rknn_toolkit_v1.3.0支持pytorch中的nn.pixelshuffle()模块吗，我的pytorch模型中包括该模块，r ...

pytorch1.2
如果转换报错，那就是那个op不支持，可以把模型和转换脚本发给我们，
NPU部门是会慢慢去支持的，急的话自己可以写自定义OP来支持的。
详细参看文档

jefferyzhang 发表于 2020-4-2 18:02
pytorch1.2
如果转换报错，那就是那个op不支持，可以把模型和转换脚本发给我们，
NPU部门是会慢慢去支持 ...

怎么发给你们呢，这个模型的构建代码比较复杂，我今天先自己重新构建下，把代码搞简单点，然后发给您看看