pytorch模型转换问题

rlgl 发表于 2020-4-3 09:15
怎么发给你们呢，这个模型的构建代码比较复杂，我今天先自己重新构建下，把代码搞简单点，然后发给您看看 ...

原始模型+你写的转换脚本，打包放到百度网盘，发链接给我

jefferyzhang 发表于 2020-4-2 18:02
pytorch1.2
如果转换报错，那就是那个op不支持，可以把模型和转换脚本发给我们，
NPU部门是会慢慢去支持 ...

另外，请问有没有文档可以看到现在的rknn_toolkit_v1.3.0支持pytorch的那些模块

rlgl 发表于 2020-4-3 11:36
另外，请问有没有文档可以看到现在的rknn_toolkit_v1.3.0支持pytorch的那些模块

没有这样的文档，一直都在更新，不支持的也可以自己写自定义OP来支持，并且pytorch还有subgraph这样的层，没办法写全。。。

jefferyzhang 发表于 2020-4-2 18:02
pytorch1.2
如果转换报错，那就是那个op不支持，可以把模型和转换脚本发给我们，
NPU部门是会慢慢去支持 ...

关于转换pytorch中nn.ConvTranspose2d()模块的bug，rknn和pytorch输出的维度对不上

1. import numpy as np
   
2. from rknn.api import RKNN
   
3. import torch
   
4. 
   
5. 
   
6. def export_pytorch_model():
   
7.         class simplepose(nn.Module):
   
8.                 def __init__(self):
   
9.                         super(simplepose, self).__init__()
   
10.                         self.preact = nn.ConvTranspose2d(3, 64, kernel_size=4,stride=2, padding=1)
    
11. 
    
12.                 def forward(self, x):
    
13.                         x = self.preact(x)
    
14.                         return x
    
15. 
    
16.         net = simplepose()
    
17.         dummy_input = torch.randn([1, 3, 224, 224])
    
18. 
    
19.         trace_model = torch.jit.trace(net, dummy_input)
    
20.         pt_save_path = './simplepose.pt'
    
21.         trace_model.save(pt_save_path)
    
22.         return pt_save_path
    
23. 
    
24. if __name__ == '__main__':
    
25. 
    
26.         pt_model = export_pytorch_model()
    
27.         input_size_list = [[3, 224, 224]]
    
28. 
    
29.         # Create RKNN object
    
30.          rknn = RKNN()
    
31. 
    
32.          # pre-process config
    
33.          print('--> config model')
    
34.          rknn.config(channel_mean_value='0 0 0 1', reorder_channel='0 1 2')
    
35.          print('done')
    
36. 
    
37.          # Load pytorch model
    
38.          print('--> Loading model')
    
39.          ret = rknn.load_pytorch(model=pt_model, input_size_list=input_size_list)
    
40.          if ret != 0:
    
41.                   print('Load pytorch model failed!')
    
42.                   exit(ret)
    
43.          print('done')
    
44. 
    
45.          # Build model
    
46.          print('--> Building model')
    
47.          ret = rknn.build(do_quantization=False, dataset='./dataset.txt')
    
48.          if ret != 0:
    
49.                   print('Build pytorch failed!')
    
50.                   exit(ret)
    
51.          print('done')
    
52. 
    
53.          # Set inputs
    
54.          img = np.random.randn(224, 224, 3).astype(np.float32)
    
55. 
    
56.          # init runtime environment
    
57.          print('--> Init runtime environment')
    
58.          ret = rknn.init_runtime()
    
59.          if ret != 0:
    
60.                   print('Init runtime environment failed')
    
61.                   exit(ret)
    
62.          print('done')
    
63. 
    
64.          # Inference
    
65.          print('--> Running model')
    
66.          outputs = rknn.inference(inputs=[img])
    
67.          print('rknn output:')
    
68.          print(outputs[0].shape)
    
69. 
    
70.          # pytorch inference
    
71.          pt_i = np.expand_dims(img, axis=0)
    
72.          pt_i = np.transpose(pt_i, [0, 3, 1, 2])
    
73.          pt_i = torch.from_numpy(pt_i)
    
74.          model = torch.jit.load(pt_model)
    
75.          pt_o = model(pt_i).detach().numpy()
    
76.          print('pytorch output:')
    
77.          print(pt_o.shape)
    
78. 
    
79.          rknn.release()
    

复制代码

rlgl 发表于 2020-4-3 14:30
关于转换pytorch中nn.ConvTranspose2d()模块的bug，rknn和pytorch输出的维度对不上

我也遇见了一样的问题，你看http://t.rock-chips.com/forum.ph ... page%3D1&page=2

gyq_ 发表于 2020-4-3 14:42
我也遇见了一样的问题，你看http://t.rock-chips.com/forum.php?mod=viewthread&tid=1330&extra=page%3D1 ...

非常感谢，先收藏，我现在先用没pixelshuffle的模型，您那边如果解决了这个问题麻烦告知一下，非常感谢！

jefferyzhang 发表于 2020-4-3 11:57
没有这样的文档，一直都在更新，不支持的也可以自己写自定义OP来支持，并且pytorch还有subgraph这样的层 ...

您好，在只使用一个卷积层和bn层的情况下，使用相同的输入，pytorch模型的输出和rknn模型（由pytorch模型转换而来）的输出，差异很大，代码上传到百度云中

链接：https://pan.baidu.com/s/1blN8xltCmt408RBt1QyxpA
密码：fpff

rlgl 发表于 2020-4-3 15:15
非常感谢，先收藏，我现在先用没pixelshuffle的模型，您那边如果解决了这个问题麻烦告知一下，非常感谢！ ...

版主发了个新版本，我这边可以正常转换了。

rlgl 发表于 2020-4-3 15:32
您好，在只使用一个卷积层和bn层的情况下，使用相同的输入，pytorch模型的输出和rknn模型（由pytorch模型 ...

你先试下beta7版本，他们同样的问题已经解决了。还有差异最好在不量化时候也测试下

链接：https://pan.baidu.com/s/1DuLeBawfoBP62mu0ADNGAA
提取码：qtys

jefferyzhang 发表于 2020-4-3 16:31
你先试下beta7版本，他们同样的问题已经解决了。还有差异最好在不量化时候也测试下

链接：https://pan.ba ...

您好，beta7版本nn.Transpose2d输入输出维度正常。但另一个问题：在使用相同输入情况下，pytorch模型输出和rknn模型输出差异较大，模型为一个卷积层+一个bn层，代码
https://pan.baidu.com/s/1blN8xltCmt408RBt1QyxpA，密码fpff