Toybrick

标题: 1.3.2 还不支持 pytorch 和 onnx 的 matmul 吗？ [打印本页]
作者: kkkaaa    时间: 2020-4-30 15:20
标题: 1.3.2 还不支持 pytorch 和 onnx 的 matmul 吗？
试了 从pytorch 直接转 rknn, 和 pytorch->onnx->rknn, matmul 这个 op 都不支持。在 rknn-toolkiet 1.3.2 下测的
作者: jefferyzhang    时间: 2020-5-1 21:17
矩阵乘一直都支持，请把不支持的log具体发出来给我们看下。
作者: kkkaaa    时间: 2020-5-6 16:46
jefferyzhang 发表于 2020-5-1 21:17
矩阵乘一直都支持，请把不支持的log具体发出来给我们看下。

报错 log 如下，从 pytorch 直接转 rknn
toymodel3_matrix_mult.pt ********************
WARNING: Token 'COMMENT' defined, but not used
WARNING: There is 1 unused token
E Catch exception when loading pytorch model: toymodel3_matrix_mult.pt!
E Traceback (most recent call last):
E   File "rknn/api/rknn_base.py", line 611, in rknn.api.rknn_base.RKNNBase.load_pytorch
E   File "rknn/base/RKNNlib/app/importer/import_pytorch.py", line 97, in rknn.base.RKNNlib.app.importer.import_pytorch.ImportPytorch.run
E   File "rknn/base/RKNNlib/converter/convert_pytorch.py", line 570, in rknn.base.RKNNlib.converter.convert_pytorch.convert_pytorch.__init__
E   File "rknn/base/RKNNlib/converter/convert_pytorch.py", line 654, in rknn.base.RKNNlib.converter.convert_pytorch.convert_pytorch.model_simplify
E   File "rknn/base/RKNNlib/converter/convert_pytorch.py", line 113, in rknn.base.RKNNlib.converter.convert_pytorch.torch_inference_engine.shape_pick
E   File "rknn/base/RKNNlib/converter/convert_pytorch.py", line 148, in rknn.base.RKNNlib.converter.convert_pytorch.torch_inference_engine.__ir_shape_inference
E KeyError: 'aten::matmul'

我的模型：
  1. class ToyModel3(nn.Module):
  2.     """
  3.     测试目的：用 one-hot vector multiplication 代替 if-else
  4.     torch -> onnx -> rknn 转化失败， matmul 不支持
  5.     torch -> rknn 失败， matmul 不支持

  7.     """
  8.     def __init__(self, num_channels):
  9.         super(ToyModel3, self).__init__()
  10.         self.num_channels = num_channels
  11.         self.conv0 = nn.Conv2d(self.num_channels, self.num_channels,
  12.                                kernel_size=3, stride=1, padding=0, bias=False)
  13.         self.conv1 = nn.Conv2d(self.num_channels, self.num_channels,
  14.                                kernel_size=3, stride=1, padding=0, bias=False)
  15.         self.conv2 = nn.Conv2d(self.num_channels, self.num_channels,
  16.                                kernel_size=3, stride=1, padding=0, bias=False)
  17.         n = self.num_channels

  19.         self.conv0.weight = torch.nn.Parameter(torch.Tensor(np.ones((n, n, 3, 3)).astype(np.float32)))
  20.         self.conv1.weight = torch.nn.Parameter(torch.Tensor(2 * np.ones((n, n, 3, 3)).astype(np.float32)))
  21.         self.conv2.weight = torch.nn.Parameter(torch.Tensor(3 * np.ones((n, n, 3, 3)).astype(np.float32)))

  23.     def forward(self, x, one_hot_vec):
  24.         """

  26.         :param x:
  27.         :param one_hot_vec: of shape [3, 1]
  28.         :return:
  29.         """
  30.         x0 = self.conv0(x)
  31.         x1 = self.conv0(x)
  32.         x2 = self.conv0(x)
  33.         y = torch.cat([x0, x1, x2], axis=0)
  34.         yt = y.permute(1, 2, 3, 0)
  35.         out = torch.matmul(yt, one_hot_vec)
  36.         return out
复制代码
作者: jefferyzhang    时间: 2020-5-8 09:29
1. pytorch版本号多少？
2. 试下转onnx再转rknn
3. 问题已经包给npu部门了，等他们支持
作者: kkkaaa    时间: 2020-5-8 09:52
jefferyzhang 发表于 2020-5-8 09:29
1. pytorch版本号多少？
2. 试下转onnx再转rknn
3. 问题已经包给npu部门了，等他们支持 ...

1. pytorch 1.2.0
2. torch->onnx->rknn：torch->onnx 可以，onnx->rknn 报错如下
--> Loading model
/data01/wens/venv/rknn1.3.3/lib/python3.6/site-packages/onnx_tf/common/__init__.py:87: UserWarning: FrontendHandler.get_outputs_names is deprecated. It will be removed in future release.. Use node.outputs instead.
  warnings.warn(message)
W Not match tensor MatMul_10ut0
E Try match MatMul_10ut0 failed, catch exception!
W ----------------Warning(1)----------------
E Catch exception when loading onnx model: toymodel3_matrix_mult.onnx!
E Traceback (most recent call last):
E   File "rknn/base/RKNNlib/converter/convert_onnx.py", line 1071, in rknn.base.RKNNlib.converter.convert_onnx.convert_onnx.match_paragraph_and_param
E   File "rknn/base/RKNNlib/converter/convert_onnx.py", line 980, in rknn.base.RKNNlib.converter.convert_onnx.convert_onnx._onnx_push_ready_tensor
E TypeError: 'NoneType' object is not iterable
E During handling of the above exception, another exception occurred:
E Traceback (most recent call last):
E   File "rknn/api/rknn_base.py", line 513, in rknn.api.rknn_base.RKNNBase.load_onnx
E   File "rknn/base/RKNNlib/converter/convert_onnx.py", line 1077, in rknn.base.RKNNlib.converter.convert_onnx.convert_onnx.match_paragraph_and_param
E   File "rknn/api/rknn_log.py", line 312, in rknn.api.rknn_log.RKNNLog.e
E ValueError: Try match MatMul_10ut0 failed, catch exception!
Load resnet50v2 failed!

3. 谢谢！
作者: jefferyzhang    时间: 2020-5-8 11:02
了解了
作者: xindongzhang    时间: 2020-8-4 18:06
jefferyzhang 发表于 2020-5-8 11:02
了解了

你好，请问matmul的问题解决了吗？谢谢
作者: jefferyzhang    时间: 2020-8-4 23:14
xindongzhang 发表于 2020-8-4 18:06
你好，请问matmul的问题解决了吗？谢谢

本周会发布1.4.0，届时可以再试下。
或者加入置顶帖的rknn官方交流群里可以直接询问rknn的工程师
作者: xindongzhang    时间: 2020-8-5 09:35
jefferyzhang 发表于 2020-8-4 23:14
本周会发布1.4.0，届时可以再试下。
或者加入置顶帖的rknn官方交流群里可以直接询问rknn的工程师 ...

非常感谢



欢迎光临 Toybrick (https://t.rock-chips.com/) Powered by Discuz! X3.3