Toybrick

标题: 关于 pytorch 的 ZeroPad2d, 通过onnx 转rknn结果不一致 [打印本页]
作者: kkkaaa    时间: 2020-4-24 11:05
标题: 关于 pytorch 的 ZeroPad2d, 通过onnx 转rknn结果不一致
本帖最后由 kkkaaa 于 2020-4-24 11:12 编辑

模型的卷积用到 nn.ZeroPad2d, 似乎有问题，就单独拎出来测试转换。
torch -> onnx -> rknn （无量化）: 可以转换成功，但是torch 和 rknn inference 结果不同，代码和结果都附在最后（虽然结果不一致，但是似乎有某种规律）
torch -> rknn(无量化)：失败，
E Catch exception when loading pytorch model: little_model_zeropad.pt!
E Traceback (most recent call last):
E   File "rknn/api/rknn_base.py", line 611, in rknn.api.rknn_base.RKNNBase.load_pytorch
E   File "rknn/base/RKNNlib/app/importer/import_pytorch.py", line 97, in rknn.base.RKNNlib.app.importer.import_pytorch.ImportPytorch.run
E   File "rknn/base/RKNNlib/converter/convert_pytorch.py", line 573, in rknn.base.RKNNlib.converter.convert_pytorch.convert_pytorch.__init__
E   File "rknn/base/RKNNlib/converter/convert_pytorch.py", line 657, in rknn.base.RKNNlib.converter.convert_pytorch.convert_pytorch.model_simplify
E   File "rknn/base/RKNNlib/converter/convert_pytorch.py", line 113, in rknn.base.RKNNlib.converter.convert_pytorch.torch_inference_engine.shape_pick
E   File "rknn/base/RKNNlib/converter/convert_pytorch.py", line 148, in rknn.base.RKNNlib.converter.convert_pytorch.torch_inference_engine.__ir_shape_inference
E KeyError: 'aten::constant_pad_nd'



torch -> onnx -> rknn 的代码和输出结果
  1. class ZeroPadModel(nn.Module):
  2.     def __init__(self):
  3.         super(ZeroPadModel, self).__init__()
  4.         self.static_padding = nn.ZeroPad2d((0,1,0,1))

  6.     def forward(self, x):
  7.         x = self.static_padding(x)
  8.         return x


  11. # === torch 模型初始化 ===
  12. # net = Conv2dStaticSamePaddingModel(image_size)
  13. net = ZeroPadModel()
  14. print("==== network ====")
  15. print(net)
  16. net.eval()

  18. # === 转化1: torch2onnx ===
  19. print("--> torch model inference result")
  20. input_tensor = torch.rand(1,3, image_size, image_size)
  21. torch_out = torch.onnx._export(net, input_tensor, ONNX_MODEL, export_params=True)

  23. # === 转化2: onnx2rknn ===
  24. from rknn.api import RKNN
  25. rknn = RKNN()

  27. print('--> Loading model')
  28. ret = rknn.load_onnx(model=ONNX_MODEL)
  29. if ret != 0:
  30.     print('Load resnet50v2 failed!')
  31.     exit(ret)
  32. print('done')

  34. # Build model
  35. print('--> Building model')
  36. ret = rknn.build(do_quantization=False, dataset='./dataset.txt')
  37. if ret != 0:
  38.     print('Build resnet50 failed!')
  39.     exit(ret)
  40. print('done')

  42. # Export rknn model
  43. print('--> Export RKNN model')
  44. ret = rknn.export_rknn(RKNN_MODEL)
  45. if ret != 0:
  46.     print('Export resnet50v2.rknn failed!')
  47.     exit(ret)
  48. print('done')

  50. # === rknn inference ===
  51. # init runtime environment
  52. print("--> Init runtime environment")
  53. ret = rknn.init_runtime()
  54. if ret != 0:
  55.     print("Init runtime environment failed")
  56.     exit(ret)
  57. print('done')

  59. # inference
  60. print("--> Running rknn model")
  61. rknn_input = input_tensor.numpy().transpose(0,2,3,1)
  62. rknn_outputs = rknn.inference(inputs=[rknn_input], data_format='nhwc')[0][0]

  64. # === torch inference ===
  65. torch_inference_result = net(input_tensor)[0].detach().cpu().numpy()

  67. # === compare & show results ===
  68. print("--> compare inference")
  69. print("input shape: ", input_tensor.shape)
  70. print("rknn input shape: ", rknn_input.shape)
  71. print("torch_inference shape: ", torch_inference_result.shape)
  72. print("rknn_outputs shape: ", rknn_outputs.shape)

  74. print("max error: ", np.max(torch_inference_result - rknn_outputs))

  76. print("~~~~~~ torch model infer output ~~~~~~")
  77. print(torch_inference_result)
  78. print("~~~~~~ rknn model infer output ~~~~~~")
  79. print(rknn_outputs)
复制代码输出：
~~~~~~ torch model infer output ~~~~~~
[[[0.05392462 0.12481469 0.        ]
  [0.44090217 0.44217068 0.        ]
  [0.         0.         0.        ]]

[[0.86402655 0.47992283 0.        ]
  [0.72332394 0.12081265 0.        ]
  [0.         0.         0.        ]]

[[0.92382944 0.56915957 0.        ]
  [0.28351116 0.7321489  0.        ]
  [0.         0.         0.        ]]]
~~~~~~ rknn model infer output ~~~~~~
[[[0.9238281  0.56884766 0.56884766]
  [0.28344727 0.7319336  0.7319336 ]
  [0.28344727 0.7319336  0.7319336 ]]

[[0.86376953 0.47973633 0.47973633]
  [0.72314453 0.12078857 0.12078857]
  [0.72314453 0.12078857 0.12078857]]

[[0.05392456 0.12475586 0.12475586]
  [0.44067383 0.44213867 0.44213867]
  [0.44067383 0.44213867 0.44213867]]]


补充：onnx model 和 torch model 输出结果一致


作者: kkkaaa    时间: 2020-4-24 15:31
本帖最后由 kkkaaa 于 2020-4-24 15:35 编辑

求助。。。>.<
希望能支持这个 op 的转化。。模型就差这一个 op 了
作者: jefferyzhang    时间: 2020-4-24 15:58
我先帮你把问题报给NPU部门。。
作者: kkkaaa    时间: 2020-4-27 15:17
jefferyzhang 发表于 2020-4-24 15:58
我先帮你把问题报给NPU部门。。

有没有可能在近期支持？？
作者: jefferyzhang    时间: 2020-4-27 16:27
这个我不知道，我只有权利给他们提问题，他们解决了发布后才会通知我。。。
作者: kkkaaa    时间: 2020-4-27 18:00
jefferyzhang 发表于 2020-4-27 16:27
这个我不知道，我只有权利给他们提问题，他们解决了发布后才会通知我。。。 ...

版主，我发现 ZeroPad2d 这个op 从 torch -> onnx -> rknn 为啥结果会不一致了

op = nn.ZeroPad2d((0,1,0,1))

输入 tensor 是
  1. tensor([[[[ 0.,  1.],
  2.           [ 2.,  3.]],

  4.          [[ 4.,  5.],
  5.           [ 6.,  7.]],

  7.          [[ 8.,  9.],
  8.           [10., 11.]]]])
复制代码

torch/onnx 的 pad 结果是
  1. [[[ 0.  1.  0.]
  2.   [ 2.  3.  0.]
  3.   [ 0.  0.  0.]]

  5. [[ 4.  5.  0.]
  6.   [ 6.  7.  0.]
  7.   [ 0.  0.  0.]]

  9. [[ 8.  9.  0.]
  10.   [10. 11.  0.]
  11.   [ 0.  0.  0.]]]
复制代码

rknn pad 结果是
  1. [[[ 0.  1.  1.]
  2.   [ 2.  3.  3.]
  3.   [ 2.  3.  3.]]

  5. [[ 4.  5.  5.]
  6.   [ 6.  7.  7.]
  7.   [ 6.  7.  7.]]

  9. [[ 8.  9.  9.]
  10.   [10. 11. 11.]
  11.   [10. 11. 11.]]]
复制代码

不知道这算不算 onnx->rknn 的 bug?? 或者是我哪里又犯错了。谢谢
作者: jefferyzhang    时间: 2020-4-27 18:23
kkkaaa 发表于 2020-4-27 18:00
版主，我发现 ZeroPad2d 这个op 从 torch -> onnx -> rknn 为啥结果会不一致了

op = nn.ZeroPad2d((0,1, ...

如果和原模型不和肯定是我们bug。。。
目前pytorch刚开始支持，问题还是会有的。。
作者: kkkaaa    时间: 2020-4-27 18:27
jefferyzhang 发表于 2020-4-27 18:23
如果和原模型不和肯定是我们bug。。。
目前pytorch刚开始支持，问题还是会有的。。 ...

那就拜托你们啦
我还发现一个 rknn_input = input_tensor.numpy().transpose(0,2,3,1）的 channel 维的问题，在另一个帖子里提到了

作者: jefferyzhang    时间: 2020-5-25 11:46
NPU Team 答复：
1.3.2已经修复，请尝试下1.3.2是否正常
250242
作者: iamher0    时间: 2020-6-10 14:10
jefferyzhang 发表于 2020-5-25 11:46
NPU Team 答复：
1.3.2已经修复，请尝试下1.3.2是否正常
250242

我在1.3.2依然遇到这个问题：
KeyError: 'aten::constant_pad_nd'
作者: jefferyzhang    时间: 2020-6-10 14:32
iamher0 发表于 2020-6-10 14:10
我在1.3.2依然遇到这个问题：
KeyError: 'aten::constant_pad_nd'

请你自己开个帖子描述问题，人家只是修复楼主提出的模型的问题



欢迎光临 Toybrick (https://t.rock-chips.com/) Powered by Discuz! X3.3