Toybrick

标题: pytorch 模型 Syntax error in input! 是什么原因导致的？ [打印本页]
作者: xsky    时间: 2020-3-12 17:02
标题: pytorch 模型 Syntax error in input! 是什么原因导致的？
本帖最后由 xsky 于 2020-3-12 17:10 编辑


模型及代码：
链接：https://pan.baidu.com/s/1j9MPyahGshjuNfw5ijIqBQ
提取码：tbbr

pytorch 1.2 rknn v1.3

  1.     rknn = RKNN(verbose=True)
  2.     rknn.config(batch_size=1,
  3.                 epochs=1)  # asymmetric_quantized-u8,  quantized_dtype='dynamic_fixed_point-16' , channel_mean_value='0 0 0 1', reorder_channel='0 1 2',

  5.     system = platform.system()

  7.     seq_len = 64
  8.     isize = 672
  9.     # hsize = 6
  10.     # hsize1 = 4

  12.     pt_file = 'toml_fp32_acoustic.pt'
  13.     #pt_file = 'toml_fp32_feat.pt'

  15.     m = torch.jit.load(pt_file)
  16.     m.eval()

  18.     #x = torch.rand((1, seq_len, isize))
  19.     x = torch.linspace(-1, 1, steps=(isize * seq_len))
  20.     x = x.view(1, seq_len, -1)
  21.     input_size_list = [[1, seq_len, isize]]
  22.     #x1 = torch.full((1, hsize), fill_value=0.2, dtype=torch.float)
  23.     ix = x.numpy()
  24.     out = m.forward(x)
  25.     print("torch out:")
  26.     print(out)

  28.     rknn.load_pytorch(model=pt_file, input_size_list=input_size_list)

  30.     rknn_file = pt_file + '.rknn'
  31.     print('--> Building model')
  32.     ret = rknn.build(do_quantization=False, dataset='./dataset.txt')
  33.     if ret != 0:
  34.         print('Build pytorch failed!')
  35.         exit(ret)
  36.     print('build done')
  37.     rm(rknn_file)
  38.     rknn.export_rknn(rknn_file)
复制代码

.load_pytorch时错
Syntax error in input! LexToken(NAMED_IDENTIFIER,'str',15,1100)

.build时报错
--> Building model
W Genreate input meta fail, please check model.
W External input meta file "C:\Users\dm\AppData\Local\Temp\tmpm1i9kbvb\toml_fp32_acoustic_inputmeta.yml" is not exists.
Traceback (most recent call last):
  File "E:/Work/_Code/x4c/jasper/check-pt.py", line 77, in <module>
    ret = rknn.build(do_quantization=False, dataset='./dataset.txt')
  File "D:\Program Files\Python\Python36\lib\site-packages\rknn\api\rknn.py", line 238, in build
    ret = self.rknn_base.build(do_quantization=do_quantization, dataset=dataset, pack_vdata=pre_compile, batch_size=rknn_batch_size)
  File "rknn\api\rknn_base.py", line 719, in rknn.api.rknn_base.RKNNBase.build
  File "rknn\api\rknn_base.py", line 2249, in rknn.api.rknn_base.RKNNBase._generate_inputmeta
IndexError: list index out of range



这错误怎么定位啊， torch.jit.load加载.pt模型是可以正常.frward()得到结果的。



作者: jefferyzhang    时间: 2020-3-12 17:05
pytorch版本是多少？
rknn那边只能支持1.2的
作者: xsky    时间: 2020-3-12 17:11
jefferyzhang 发表于 2020-3-12 17:05
pytorch版本是多少？
rknn那边只能支持1.2的

pytorch是1.2的
rknn 1.3
作者: jefferyzhang    时间: 2020-3-12 17:19
问题已经上报给NPU部门了，等待回复
作者: xsky    时间: 2020-3-12 17:21
jefferyzhang 发表于 2020-3-12 17:19
问题已经上报给NPU部门了，等待回复

好的，谢谢啊
作者: yjcn    时间: 2020-3-16 09:51
jefferyzhang 发表于 2020-3-12 17:19
问题已经上报给NPU部门了，等待回复

您好 我也遇到了相同的问题
.load_pytorch时出错   提示Syntax error in input! LexToken(NAMED_IDENTIFIER,'str',
后边build报  IndexError: list index out of range
作者: Sean    时间: 2020-3-23 15:12
你好，torch1.2也遇到相同的错误
--> config model
done
--> Loading model
/home/user/.local/lib/python3.6/site-packages/onnx_tf/common/__init__.py:87: UserWarning: FrontendHandler.get_outputs_names is deprecated. It will be removed in future release.. Use node.outputs instead.
  warnings.warn(message)
./fire.pt ********************
WARNING: Token 'COMMENT' defined, but not used
WARNING: There is 1 unused token
Syntax error in input! LexToken(<,'<',3,101)
done
--> Building model
W Genreate input meta fail, please check model.
W External input meta file "/tmp/tmpzzzps_ss/fire_inputmeta.yml" is not exists.
Traceback (most recent call last):
  File "/home/user/wuzhe/fire/model_trans.py", line 51, in <module>
    trans_model()
  File "/home/user/wuzhe/fire/model_trans.py", line 36, in trans_model
    ret = rknn.build(do_quantization=True, dataset='./dataset.txt')
  File "/home/user/.local/lib/python3.6/site-packages/rknn/api/rknn.py", line 238, in build
    ret = self.rknn_base.build(do_quantization=do_quantization, dataset=dataset, pack_vdata=pre_compile, batch_size=rknn_batch_size)
  File "rknn/api/rknn_base.py", line 719, in rknn.api.rknn_base.RKNNBase.build
  File "rknn/api/rknn_base.py", line 2249, in rknn.api.rknn_base.RKNNBase._generate_inputmeta
IndexError: list index out of range
作者: yjcn    时间: 2020-3-27 21:52
jefferyzhang 发表于 2020-3-12 17:19
问题已经上报给NPU部门了，等待回复

您好 请问这个问题还没有得到回复吗？
作者: jefferyzhang    时间: 2020-3-27 22:51
yjcn 发表于 2020-3-27 21:52
您好 请问这个问题还没有得到回复吗？

没有，有回复我就会转过来
作者: jefferyzhang    时间: 2020-5-8 08:31
NPU Team回复：
该问题已经解决，下一个版本发布就可以用了。
作者: iamher0    时间: 2020-6-10 13:37
jefferyzhang 发表于 2020-5-8 08:31
NPU Team回复：
该问题已经解决，下一个版本发布就可以用了。

这个问题确定在rknn-toolkit 1.3.2解决了吗？

我用pytorch=1.2.0 rknn==1.3.2还是遇到了这个问题
作者: iamher0    时间: 2020-6-10 13:41
本帖最后由 iamher0 于 2020-6-10 14:00 编辑

pytorch==1.2.0
rknn-toolkit==1.3.2
存在相同的问题
这个问题自己解决了，有一个主意事项：
trace_model = torch.jit.trace(model,....)
trace_model.save(此处不要有特殊字符)

问题解决后，遇到“KeyError: 'aten::constant_pad_nd'”
作者: jefferyzhang    时间: 2020-6-10 14:31
iamher0 发表于 2020-6-10 13:41
pytorch==1.2.0
rknn-toolkit==1.3.2
存在相同的问题

下一个版本指的是1.3.2以后的版本。。。还没发布
作者: danny_h    时间: 2020-7-7 08:35
jefferyzhang 发表于 2020-6-10 14:31
下一个版本指的是1.3.2以后的版本。。。还没发布

遇到了相同的问题，请问下一个版本大概什么时候发布。
如果短期没有发布计划的话，这个问题有没有其他的解决方案？
作者: 午后阳光    时间: 2020-8-19 17:14
jefferyzhang 发表于 2020-5-8 08:31
NPU Team回复：
该问题已经解决，下一个版本发布就可以用了。

您好，我也遇到了同样的问题，至于您这边说的该问题已解决，下一个版本就可以用，这里的下一个版本指的是具体哪个版本呢
作者: jefferyzhang    时间: 2020-8-20 08:35
午后阳光 发表于 2020-8-19 17:14
您好，我也遇到了同样的问题，至于您这边说的该问题已解决，下一个版本就可以用，这里的下一个版本指的是 ...

1.3.2以后的版本。
置顶帖有1.4.0preview，你先试试
作者: 午后阳光    时间: 2020-8-20 16:10
jefferyzhang 发表于 2020-8-20 08:35
1.3.2以后的版本。
置顶帖有1.4.0preview，你先试试

/envs/toolkit140/lib/python3.6/site-packages/onnx_tf/common/__init__.py:87: UserWarning: FrontendHandler.get_outputs_names is deprecated. It will be removed in future release.. Use node.outputs instead.
  warnings.warn(message)
Alg_Proj/Recog_Proj/weights/tsm.pt ********************
WARNING: Token 'COMMENT' defined, but not used
WARNING: There is 1 unused token
Syntax error in input! LexToken(<,'<',4,141)
2020-08-20 16:53:48.857839: W tensorflow/core/common_runtime/gpu/gpu_device.cc:1663] Cannot dlopen some GPU libraries. Skipping registering GPU devices...
done
--> Building model
W Genreate input meta fail, please check model.
W External input meta file "/tmp/tmp5onizp4b/tsm_inputmeta.yml" is not exists.
Traceback (most recent call last):
  File "/root/home/gan/home/ganhaiyang/rk1808/rknn_toolkit/examples/pytorch/tsm/test.py", line 71, in <module>
    ret = rknn.build(do_quantization=True, dataset='./dataset.txt')
  File "/home/ghy/anaconda3/envs/toolkit140/lib/python3.6/site-packages/rknn/api/rknn.py", line 238, in build
    ret = self.rknn_base.build(do_quantization=do_quantization, dataset=dataset, pack_vdata=pre_compile, batch_size=rknn_batch_size)
  File "rknn/api/rknn_base.py", line 719, in rknn.api.rknn_base.RKNNBase.build
  File "rknn/api/rknn_base.py", line 2249, in rknn.api.rknn_base.RKNNBase._generate_inputmeta
IndexError: list index out of range
还是这个问题啊，我用的是/toolkit140，torch 1.2.0，请问这个什么原因呢
作者: jefferyzhang    时间: 2020-8-20 16:26
午后阳光 发表于 2020-8-20 16:10
/envs/toolkit140/lib/python3.6/site-packages/onnx_tf/common/__init__.py:87: UserWarning: FrontendHa ...

进rknn群里问
作者: yang_allen    时间: 2020-8-20 16:57
jefferyzhang 发表于 2020-5-8 08:31
NPU Team回复：
该问题已经解决，下一个版本发布就可以用了。

大概什么时候发布下一个版本哟，更新rknn的版本吗
作者: jefferyzhang    时间: 2020-8-20 17:00
yang_allen 发表于 2020-8-20 16:57
大概什么时候发布下一个版本哟，更新rknn的版本吗

已经发布了，看置顶帖
作者: xinzhiling111    时间: 2020-11-9 17:55

IndexError: list index out of range

E Catch exception when building RKNN model!
E Traceback (most recent call last):
E   File "/home/zl/.local/lib/python3.5/site-packages/tensorflow/python/client/session.py", line 1334, in _do_call
E     return fn(*args)
E   File "/home/zl/.local/lib/python3.5/site-packages/tensorflow/python/client/session.py", line 1319, in _run_fn
E     options, feed_dict, fetch_list, target_list, run_metadata)
E   File "/home/zl/.local/lib/python3.5/site-packages/tensorflow/python/client/session.py", line 1407, in _call_tf_sessionrun
E     run_metadata)
E tensorflow.python.framework.errors_impl.OutOfRangeError: FIFOQueue '_0_fifo_queue' is closed and has insufficient elements (requested 1, current size 0)
E          [[{{node fifo_queue_Dequeue}} = QueueDequeueV2[component_types=[DT_FLOAT], timeout_ms=-1, _device="/job:localhost/replica:0/task:0/device:CPU:0"](fifo_queue)]]
E During handling of the above exception, another exception occurred:
E Traceback (most recent call last):
Ubuntu16.04 pc上rknn-toolkit 1.4.0转换模型时，rknn.build的时候提示还是提示这个错误。
作者: 510    时间: 2022-3-21 21:32
本帖最后由 510 于 2022-3-21 22:50 编辑
jefferyzhang 发表于 2020-5-8 08:31
NPU Team回复：
该问题已经解决，下一个版本发布就可以用了。

你好，请问rknn1.4解决这个问题了吗



欢迎光临 Toybrick (https://t.rock-chips.com/) Powered by Discuz! X3.3