Toybrick

标题: rknn 1808 tflite轉rknn 檔警告訊息 [打印本页]

作者: wenching33 时间: 2020-5-14 11:59
标题: rknn 1808 tflite轉rknn 檔警告訊息
您好  我買了支Toybrick
在網路上下載了tookkit 1.3.2
想轉.tflite為.rknn時我參考了examples/tflite/mobilenet_v1/的例子
但載入我自己的.tflite時,

# Load tensorflow model
print('--> Loading model')
ret = rknn.load_tflite(model='./palm_detection_without_custom_op.tflite')
if ret != 0:
      print('Load mobilenet_v1 failed!')
      exit(ret)
print('done')

# Build model
print('--> Building model')
ret = rknn.build(do_quantization=True, dataset='./dataset.txt', pre_compile=False)

在如上code的rknn.build()那行執行時系統報Warning:
W Tensor b'lambda/Pad' has no buffer, init to zeros.
W Tensor b'lambda_1/Pad' has no buffer, init to zeros.
W Tensor b'lambda_2/Pad' has no buffer, init to zeros.

請問這是啥意思呢？
在不quantize之下可以順利轉出.rknn的model, 但model中pad op不見了（使用visualization工具看的）
原先.tflite 中有pad這個op,  輸出的.rknn沒有了

是轉換不支持pad這個op嗎？
那.tflite模型可以customized op嗎？我看Mannul說只支持tensorflow, 那不知道包含.tflite model嗎?

謝謝～

作者: jefferyzhang 时间: 2020-5-14 12:11
运算结果正确么？
这里看pad可能是编译时候被优化掉了。

作者: wenching33 时间: 2020-5-14 13:18
感謝您的回覆
沒quantize下可以成功export .rknn model
但這個rknn在拿來應用時雖可load model, 但到init runtime就會出錯

Loading RKNN model
done
--> init runtime
E RKNNAPI: rknn_init, msg_load_ack fail, ack = 1(ACK_FAIL), expect 0(ACK_SUCC)!
E RKNNAPI: ==============================================
E RKNNAPI: RKNN VERSION:
E RKNNAPI: API: 1.3.2 (9eebd73 build: 2020-04-02 15:30:51)
E RKNNAPI: DRV: 1.3.0 (c4f8c23 build: 2019-11-25 10:39:29)
E RKNNAPI: ==============================================
E Catch exception when init runtime!
E Traceback (most recent call last):
E File "rknn/api/rknn_base.py", line 1067, in rknn.api.rknn_base.RKNNBase.init_runtime
E File "rknn/api/rknn_runtime.py", line 326, in rknn.api.rknn_runtime.RKNNRuntime.build_graph
E Exception: RKNN init failed. error code: RKNN_ERR_MODEL_INVALID
E Current device id is: TS018082190800304
E Devices connected:
E ['TS018082190800304']
init runtime failed.

請問我可以給你們我的這個含有pad op的.tflite model, 方便你們修掉這個bug嗎？
還是我該怎麼解決這個問題呢（改用custom op的方式？）

作者: wenching33 时间: 2020-5-14 13:30
本帖最后由 wenching33 于 2020-5-14 13:32 编辑

補上用netron看原來.tflite與用visualization tool看轉出來.rknn不同處

作者: kkkaaa 时间: 2020-5-14 13:44

wenching33 发表于 2020-5-14 13:30
補上用netron看原來.tflite與用visualization tool看轉出來.rknn不同處

你好，请问你是用什么 visualization tool 查看 rknn 模型的？谢谢

作者: wenching33 时间: 2020-5-14 13:51

kkkaaa 发表于 2020-5-14 13:44
你好，请问你是用什么 visualization tool 查看 rknn 模型的？谢谢

下載rknn的toolkit後照User Guide安裝完
可以用python -m rknn.bin.visualization來開啟有GUI的model converter
轉完之後可以預覽將export的 rknn model

作者: kkkaaa 时间: 2020-5-14 14:05

wenching33 发表于 2020-5-14 13:51
下載rknn的toolkit後照User Guide安裝完
可以用python -m rknn.bin.visualization來開啟有GUI的model co ...

非常感谢 : )

作者: jefferyzhang 时间: 2020-5-14 14:31
我已经将问题提交给NPU Team了，需要等他们回复。
方便的话可以提供下原始模型和转换脚本么？

作者: wenching33 时间: 2020-5-14 14:54

jefferyzhang 发表于 2020-5-14 14:31
我已经将问题提交给NPU Team了，需要等他们回复。
方便的话可以提供下原始模型和转换脚本么？
...

您好
可以提供, 要怎麼給你呢？

作者: jefferyzhang 时间: 2020-5-14 14:59

wenching33 发表于 2020-5-14 14:54
您好
可以提供, 要怎麼給你呢？

随便发个网盘，然后给下载地址就好了

作者: wenching33 时间: 2020-5-14 15:12

jefferyzhang 发表于 2020-5-14 14:59
随便发个网盘，然后给下载地址就好了

链接: https://pan.baidu.com/s/1FmOArvTij3uCfF97Xuqt5Q 提取码: jpja

作者: wenching33 时间: 2020-5-14 15:17

jefferyzhang 发表于 2020-5-14 14:59
随便发个网盘，然后给下载地址就好了

链接: https://pan.baidu.com/s/1FmOArvTij3uCfF97Xuqt5Q 提取码: jpja

作者: wenching33 时间: 2020-5-14 15:17
链接: https://pan.baidu.com/s/1FmOArvTij3uCfF97Xuqt5Q 提取码: jpja

作者: wenching33 时间: 2020-5-14 15:25
https://1drv.ms/u/s!Ats9SX7BKzUjvEi3w06vcQWuAhtn?e=Ej0pOE
若百度網盤無法讀取試試看這個 oneDrive的

作者: jefferyzhang 时间: 2020-5-14 15:29

wenching33 发表于 2020-5-14 15:25
https://1drv.ms/u/s!Ats9SX7BKzUjvEi3w06vcQWuAhtn?e=Ej0pOE
若百度網盤無法讀取試試看這個 oneDrive的 ...

好的，我会提交给NPU Team验证

作者: kkkaaa 时间: 2020-5-14 16:25

wenching33 发表于 2020-5-14 13:51
下載rknn的toolkit後照User Guide安裝完
可以用python -m rknn.bin.visualization來開啟有GUI的model co ...

你好，不好意思再麻烦一下，我输入 python -m rknn.bin.visualization 之后 server 好像起不起来，log 如下

127.0.0.1:7000 is unused
server_flag_file doesn't exist, run server first time
*********************** open window ***********************
chmod: cannot access '../visualization/front_end_linux/RKNN': No such file or directory
sh: 1: ../visualization/front_end_linux/RKNN: not found
* Serving Flask app "rknn.visualization.server.flask_rknn_tookit" (lazy loading)
* Environment: production
WARNING: Do not use the development server in a production environment.
Use a production WSGI server instead.
* Debug mode: off
server is ready

***********************close server***********************
close server

不知道你有没有遇到类似的 No such file or directory 的问题

作者: wenching33 时间: 2020-5-14 17:00

kkkaaa 发表于 2020-5-14 16:25
你好，不好意思再麻烦一下，我输入 python -m rknn.bin.visualization 之后 server 好像起不起来，log 如 ...

hi 我沒有遇到這個問題耶～
你另開個帖問rknn人員吧？

作者: wenching33 时间: 2020-5-14 17:02

kkkaaa 发表于 2020-5-14 16:25
你好，不好意思再麻烦一下，我输入 python -m rknn.bin.visualization 之后 server 好像起不起来，log 如 ...

給你參考一下我執行出現的log：

/rknn-toolkit/examples$ python -m rknn.bin.visualization
127.0.0.1:7000 is unused
*********************** open window ***********************
server_flag_file doesn't exist, run server first time
* Serving Flask app "rknn.visualization.server.flask_rknn_tookit" (lazy loading)
* Environment: production
WARNING: Do not use the development server in a production environment.
Use a production WSGI server instead.
* Debug mode: off
server is ready
init window 0
***********************close window 0***********************

關掉後：
***********************close server***********************

作者: kkkaaa 时间: 2020-5-14 17:20

wenching33 发表于 2020-5-14 17:02
給你參考一下我執行出現的log：

/rknn-toolkit/examples$ python -m rknn.bin.visualization

嗯嗯非常感谢～～

作者: wenching33 时间: 2020-5-20 09:53

jefferyzhang 发表于 2020-5-14 15:29
好的，我会提交给NPU Team验证

請問這個問題有後續嗎？

作者: jefferyzhang 时间: 2020-5-20 10:06

wenching33 发表于 2020-5-20 09:53
請問這個問題有後續嗎？

Bug系统上还没有回复，有的话我会回你的。他们一般都会在新版本发布时候统一回复BugList

作者: wenching33 时间: 2020-5-20 10:30

jefferyzhang 发表于 2020-5-20 10:06
Bug系统上还没有回复，有的话我会回你的。他们一般都会在新版本发布时候统一回复BugList ...

好的謝謝你

作者: undefined 时间: 2020-5-20 11:58

wenching33 发表于 2020-5-14 17:02
給你參考一下我執行出現的log：

/rknn-toolkit/examples$ python -m rknn.bin.visualization

这个应该是当前终端的DISPLAY不对，用export DISPLAY改一下

作者: jefferyzhang 时间: 2020-5-25 10:26
NPU Team答复：
pad会被自动合并到最近的卷积。customized op只支持tf,不支持tflite
252528

欢迎光临 Toybrick (https://t.rock-chips.com/)