Toybrick

楼主: wujialiang

pytorch模型转换问题

wujialiang

注册会员

积分
120
 楼主| 发表于 2020-2-17 11:06:19 | 显示全部楼层
jefferyzhang 发表于 2020-2-16 19:42
rknn-toolkit存在的目的就是倒入其他格式模型,转换成rknn。
rknn-toolkit pc版和arm版功能几乎是一样的 ...

这个目前对我来说难度比较高,我也不断在研究。
请问您们是否有 tensorflow或者pytorch框架maskRcnn的模型转换方案和demo呢?
回复

使用道具 举报

wujialiang

注册会员

积分
120
 楼主| 发表于 2020-2-17 17:01:28 | 显示全部楼层
jefferyzhang 发表于 2020-2-16 19:42
rknn-toolkit存在的目的就是倒入其他格式模型,转换成rknn。
rknn-toolkit pc版和arm版功能几乎是一样的 ...

请问可以帮我确定一下tensorflow下预训练的mask_rcnn_inception_v2_coco模型的input和output节点吗?
回复

使用道具 举报

xsky

中级会员

积分
328
发表于 2020-2-20 20:43:19 | 显示全部楼层
本帖最后由 xsky 于 2020-2-21 09:48 编辑
jefferyzhang 发表于 2020-2-14 16:00
看log这里已经报错了,研究下你的模型这里是什么意思:
Syntax error in input! LexToken(NAMED_IDENTIFIER ...

RKNN v1.3, Pytorch v1.2

只一个FC层,使用.load_pytorch载入也是出现这样的错误,该从哪分析

  1. import torch
  2. import numpy as np

  3. from rknn.api import RKNN

  4. if __name__ == '__main__':

  5.     ic = 128
  6.     oc = 128
  7.     m = torch.nn.Linear(ic, oc)
  8.     m.eval()
  9.     m.float()

  10.     x = torch.full((1, ic), fill_value=0.1, dtype=torch.float)
  11.     pt = torch.jit.trace(m, x)
  12.     pt_file = "fc{128x128}.pt"

  13.     rknn = RKNN(verbose=True)
  14.     rknn.config(batch_size=1, channel_mean_value='0 0 0 1', reorder_channel='0 1 2',
  15.                 epochs=1)  # asymmetric_quantized-u8,  quantized_dtype='dynamic_fixed_point-16'

  16.     rknn_file = pt_file + '.rknn'
  17.     pt.save(pt_file)
  18.     rknn.load_pytorch(model=pt_file, input_size_list=[[1, ic]])

  19.     onnx_file = pt_file + '.onnx'
  20.     # torch.onnx.export(m, x, onnx_file,
  21.     #                   export_params=True,  # store the trained parameter weights inside the model file
  22.     #                   # do_constant_folding=True,  # whether to execute constant folding for optimization
  23.     #                   opset_version=9,  # the ONNX version to export the model to
  24.     #                   input_names=['input'],  # the model's input names
  25.     #                   output_names=['output']  # the model's output names
  26.     #                   # dynamic_axes={'input' : {0 : 'batch_size'},    # variable lenght axes
  27.     #                   #              'output' : {0 : 'batch_size'}}
  28.     #                   )
  29.     # rknn.load_onnx(model=onnx_file)

  30.     ret = rknn.build(do_quantization=False, dataset='./dataset.txt')
  31.     rknn.export_rknn(rknn_file)

  32.     rknn.release()
复制代码

代码中,如果导出.onnx,再load_onnx是可以正常build的,load_pytorch后bulid报错和楼主应该是一样的消息
  1. fc{128x128}.pt ********************
  2. WARNING: Token 'COMMENT' defined, but not used
  3. WARNING: There is 1 unused token
  4. !!!!! Illegal character '"'
  5. Syntax error in input! LexToken(NAMED_IDENTIFIER,'fc',1,27)
  6. !!!!! Illegal character '"'
  7. D import clients finished
  8. 2020-02-20 20:40:13.391282: I tensorflow/core/platform/cpu_feature_guard.cc:142] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2
  9. I Build fc{128x128} complete.
  10. D Optimizing network with force_1d_tensor, swapper, merge_layer, auto_fill_bn, resize_nearest_transformer, auto_fill_multiply, merge_avgpool_conv1x1, auto_fill_zero_bias, proposal_opt_import
  11. D Optimizing network with conv2d_big_kernel_size_transform
  12. W Genreate input meta fail, please check model.
  13. W External input meta file "C:\Users\dm\AppData\Local\Temp\tmpyqrr_3bz\fc128x128_inputmeta.yml" is not exists.
  14. Traceback (most recent call last):
  15.   File "E:/Work/_Code/dmax/test/lstm/fc.py", line 39, in <module>
  16.     ret = rknn.build(do_quantization=False, dataset='./dataset.txt')
  17.   File "D:\Program Files\Python\Python36\lib\site-packages\rknn\api\rknn.py", line 238, in build
  18.     ret = self.rknn_base.build(do_quantization=do_quantization, dataset=dataset, pack_vdata=pre_compile, batch_size=rknn_batch_size)
  19.   File "rknn\api\rknn_base.py", line 719, in rknn.api.rknn_base.RKNNBase.build
  20.   File "rknn\api\rknn_base.py", line 2249, in rknn.api.rknn_base.RKNNBase._generate_inputmeta
  21. IndexError: list index out of range
复制代码
load_pytorch没报错,在build时报的错:
W Genreate input meta fail, please check model.
W External input meta file "C:\Users\dm\AppData\Local\Temp\tmpszyfyeur\lstm1414_inputmeta.yml" is not exists.


rknn.config 中的参数  channel_mean_value='0 0 0 1', reorder_channel='0 1 2'  是三通道的,如果像这个,输入只是一个向量的,这里该怎么设置, channel_mean_value='0 0 1', reorder_channel='0 1 ' 么?但这里即便按chw三个维度设置,fc的输入输出均是[1,x]向量,onnx格式也能正常导出rknn。

回复

使用道具 举报

jefferyzhang

超级版主

积分
7728
发表于 2020-2-21 08:42:50 | 显示全部楼层
xsky 发表于 2020-2-20 20:43
RKNN v1.3, Pytorch v1.2

只一个FC层,使用.load_pytorch载入也是出现这样的错误,该从哪分析

这个问题我报告给NPU部门了,等他们答复我会回你
回复

使用道具 举报

xsky

中级会员

积分
328
发表于 2020-2-21 09:48:58 | 显示全部楼层
jefferyzhang 发表于 2020-2-21 08:42
这个问题我报告给NPU部门了,等他们答复我会回你

好的谢谢啊
回复

使用道具 举报

jefferyzhang

超级版主

积分
7728
发表于 2020-2-22 16:19:08 | 显示全部楼层

NPU部门回复:
pytorch模型必须继承自torch.nn.Module,1个fc层的pytorch示例可以参考test.py:

  1. import torch

  2. from rknn.api import RKNN

  3. import numpy as np

  4. def export_pytorch_model():

  5.     class MyNet(torch.nn.Module):
  6.         def __init__(self):
  7.             super(MyNet, self).__init__()
  8.             self.fc = torch.nn.Linear(224*224, 10)

  9.         def forward(self, x):
  10.             x = x.view(1,-1)
  11.             return self.fc(x)

  12.     net = MyNet()
  13.     dummy_input = torch.randn([1, 1, 224, 224])

  14.     trace_model = torch.jit.trace(net, dummy_input)
  15.     pt_save_path = './test.pt'
  16.     trace_model.save(pt_save_path)

  17.     return pt_save_path


  18. if __name__ == '__main__':

  19.     pt_model = export_pytorch_model()
  20.     input_size_list = [[1, 224, 224]]

  21.     # Create RKNN object
  22.     rknn = RKNN()

  23.     # pre-process config
  24.     print('--> config model')
  25.     rknn.config(channel_mean_value='0 1', reorder_channel='0 1 2')
  26.     print('done')

  27.     # Load pytorch model
  28.     print('--> Loading model')
  29.     ret = rknn.load_pytorch(model=pt_model, input_size_list=input_size_list)
  30.     if ret != 0:
  31.         print('Load pytorch model failed!')
  32.         exit(ret)
  33.     print('done')

  34.     # Build model
  35.     print('--> Building model')
  36.     ret = rknn.build(do_quantization=False, dataset='./dataset.txt')
  37.     if ret != 0:
  38.         print('Build pytorch failed!')
  39.         exit(ret)
  40.     print('done')

  41.     # Set inputs
  42.     img = np.random.randn(224,224,1).astype(np.float32)

  43.     # init runtime environment
  44.     print('--> Init runtime environment')
  45.     ret = rknn.init_runtime()
  46.     if ret != 0:
  47.         print('Init runtime environment failed')
  48.         exit(ret)
  49.     print('done')

  50.     # Inference
  51.     print('--> Running model')
  52.     outputs = rknn.inference(inputs=[img])
  53.     print('rknn output:')
  54.     print(outputs[0])

  55.     # pytorch inference
  56.     pt_i = np.expand_dims(img, axis=0)
  57.     pt_i = np.transpose(pt_i, [0,3,1,2])
  58.     pt_i = torch.from_numpy(pt_i)
  59.     model = torch.jit.load(pt_model)
  60.     pt_o = model(pt_i).detach().numpy()
  61.     print('pytorch output:')
  62.     print(pt_o)

复制代码

回复

使用道具 举报

xsky

中级会员

积分
328
发表于 2020-2-22 22:43:13 | 显示全部楼层
jefferyzhang 发表于 2020-2-22 16:19
NPU部门回复:
pytorch模型必须继承自torch.nn.Module,1个fc层的pytorch示例可以参考test.py:

好的谢谢,我试下
回复

使用道具 举报

rlgl

注册会员

积分
101
发表于 2020-4-2 17:54:04 | 显示全部楼层
jefferyzhang 发表于 2020-2-14 16:08
NPU部门回复如下:

这个应该是pytorch版本问题。

你好,请问rknn_toolkit_v1.3.0支持pytorch中的nn.pixelshuffle()模块吗,我的pytorch模型中包括该模块,rknn.load_pytorch报"aten::pixel_shuffle"

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

jefferyzhang

超级版主

积分
7728
发表于 2020-4-2 18:02:15 | 显示全部楼层
rlgl 发表于 2020-4-2 17:54
你好,请问rknn_toolkit_v1.3.0支持pytorch中的nn.pixelshuffle()模块吗,我的pytorch模型中包括该模块,r ...

pytorch1.2
如果转换报错,那就是那个op不支持,可以把模型和转换脚本发给我们,
NPU部门是会慢慢去支持的,急的话自己可以写自定义OP来支持的。
详细参看文档
回复

使用道具 举报

rlgl

注册会员

积分
101
发表于 2020-4-3 09:15:24 | 显示全部楼层
jefferyzhang 发表于 2020-4-2 18:02
pytorch1.2
如果转换报错,那就是那个op不支持,可以把模型和转换脚本发给我们,
NPU部门是会慢慢去支持 ...

怎么发给你们呢,这个模型的构建代码比较复杂,我今天先自己重新构建下,把代码搞简单点,然后发给您看看
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表