Toybrick

标题: [Latest Version] rknn-toolkit-1.2.1 & rknn-api-1.2.0 [打印本页]

作者: jefferyzhang    时间: 2019-10-25 22:34
标题: [Latest Version] rknn-toolkit-1.2.1 & rknn-api-1.2.0
本帖最后由 jefferyzhang 于 2019-11-18 19:57 编辑

rknn-toolkit-1.2.1

1. Baidu Clound: https://eyun.baidu.com/s/3nwnPxsX
2. OneDrive: https://rockchips-my.sharepoint. ... 51uOSMgTgw?e=3WU7Tk
3. pip3 install (<- suggestion)

Create a new config file:   /etc/pip.conf
  1. [global]
  2. extra-index-url = http://repo.rock-chips.com/pypi/simple
  3. trusted-host = repo.rock-chips.com
复制代码


Depandency install (e.g. debian10):
  1. sudo apt install cmake python3-scipy python3-h5py libprotobuf-dev protobuf-compiler zlib1g-dev libjpeg-dev python3-dev python3-opencv
复制代码


Install tensorflow 1.14.0 for debian aarch64 or 1.10.0 for fedora aarch64:
  1. pip3 install --user -U tensorflow==1.14.0
复制代码


Install rknn toolkit:

RK3399Pro OR X86-PC OR Mac:
  1. pip3 install --user -U rknn
复制代码

RK1808 (Computer Strick):
  1. pip3 install --user -U rknn1808
复制代码



rknn-api-1.2.0

1. Baidu Cloud: https://eyun.baidu.com/s/3pMD3FCZ
2. One Drive: https://rockchips-my.sharepoint. ... QvqhFT5GfQ?e=qFcYok
3. dnf/apt install (<- suggestion)

rk3399pro:
  1. sudo apt install rknn-rk3399pro
  2. (or)
  3. sudo dnf install rknn-rk3399pro
复制代码

rk1808 computer stric:
  1. sudo apt install rknn-rk1808
  2. (or)
  3. sudo dnf install rknn-rk1808
复制代码

OR:
  1. sudo dnf clean all
  2. sudo dnf update -y
复制代码


Change Logs:

1. fix python logging problem in jupyter.
2. fix segmentation error when getting output data in multi-threads mode
3. fix quantation process hang if having wrong file path in dataset.txt
4. change default parameter value in config function
5. new feature: load_rknn support loading from NPU.


Version Check:

Check correct version before  running rknn:
RKNNAPI:   API: 1.2.1 (1190a71 build: 2019-09-25 12:39:26)
RKNNAPI:   DRV: 0.9.9 (8509ec7 build: 2019-08-05 10:54:34)  OR  1.2.0


Other Versions:

http://t.rock-chips.com/forum.php?mod=viewthread&tid=114&extra=page%3D1





作者: jefferyzhang    时间: 2019-10-25 23:08
本帖最后由 jefferyzhang 于 2019-10-28 08:37 编辑

主要说明:

1. 建议添加RK官方pip源安装,较为方便,开发版、PC、MAC均可使用该源下载rknn-toolkit。(新版固件会自带该源)
2. Tensorflow for aarch64已纳入该官方pip源,可直接安装。
3. Tensorflow 2.0 由于一些第三方库还未支持,目前rknn暂不支持tf2.0,请勿升级使用。
4. 附带的文档需要从百度网盘下载:https://eyun.baidu.com/s/3nwnPxsX
5. rknntoolkit和rknnapi需要版本匹配,模型如果早于rknntoolkit 1.1以前生成的需要重新生成,否则运行可能会出问题。
      API: 1.2.1
      DRV: 0.9.9/1.2.0  


作者: brunolin    时间: 2019-10-30 09:51
Please give download link on OneDrive.
Thanks
作者: jefferyzhang    时间: 2019-10-30 12:13
brunolin 发表于 2019-10-30 09:51
Please give download link on OneDrive.
Thanks

Added
作者: 米小二    时间: 2019-10-30 14:45
你好 官方下载最新的fedora的纯linux镜像。rknn1.2.0
按照上面提示方法,pip升级1.2.1,折腾几遍了都是失败,能帮忙看看什么原因吗?
安装完系统,没有做其他配置的情况下。

[toybrick@toybrick work]$ pip3 install --user -U tensorflow==1.14.0
Collecting tensorflow==1.14.0
  Could not find a version that satisfies the requirement tensorflow==1.14.0 (from versions: 1.10.1)
No matching distribution found for tensorflow==1.14.0
[toybrick@toybrick work]$ ls /etc/pip.conf
/etc/pip.conf
[toybrick@toybrick work]$ cat /etc/pip.conf
[global]
extra-index-url = http://repo.rock-chips.com/pypi/simple
trusted-host = repo.rock-chips.com
[toybrick@toybrick work]$
[toybrick@toybrick work]$
[toybrick@toybrick work]$ cat /proc/version
Linux version 4.4.167 (kfx@inno) (gcc version 6.3.1 20170404 (Linaro GCC 6.3-2017.05) ) #78 SMP Wed Aug 21 09:15:51 CST 2019
[toybrick@toybrick work]$
作者: jefferyzhang    时间: 2019-10-30 14:55
本帖最后由 jefferyzhang 于 2019-10-30 14:58 编辑
米小二 发表于 2019-10-30 14:45
你好 官方下载最新的fedora的纯linux镜像。rknn1.2.0
按照上面提示方法,pip升级1.2.1,折腾几遍了都是失败 ...

fedora只能: pip3 install --user -U tensorflow==1.10.0

我上头有写,看你那样子应该已经装了 (from versions: 1.10.1),就可以pass这部了
作者: 米小二    时间: 2019-10-30 15:19
直接跳过上面的一步:pip3 install --user -U tensorflow==1.14.0

执行:pip3 install --user -U rknn,会中断,不知是否能给出一些建议。

会出现以下错误情况:
  ----------------------------------------
  Failed building wheel for h5py
  Running setup.py clean for h5py
  Running setup.py bdist_wheel for Pillow ... error


  ----------------------------------------
  Failed building wheel for Pillow
  Running setup.py clean for Pillow
  Running setup.py bdist_wheel for numpy ... done


    ----------------------------------------
Command "/usr/bin/python3 -u -c "import setuptools, tokenize;__file__='/tmp/pip-build-hppw_6k2/h5py/setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record /tmp/pip-eh73ou6d-record/install-record.txt --single-version-externally-managed --compile --user --prefix=" failed with error code 1 in /tmp/pip-build-hppw_6k2/h5py/
[toybrick@toybrick work]$
[toybrick@toybrick work]$


[toybrick@toybrick work]$ pip3 list |grep tensor
DEPRECATION: The default format will switch to columns in the future. You can use --format=(legacy|columns) (or define a format=(legacy|columns) in your pip.conf under the [list] section) to disable this warning.
tensorboard (1.10.0)
tensorflow (1.10.1)
作者: jefferyzhang    时间: 2019-10-30 15:39
米小二 发表于 2019-10-30 15:19
直接跳过上面的一步:pip3 install --user -U tensorflow==1.14.0

执行:pip3 install --user -U rknn,会 ...

Fedora的先参看 wiki安装:http://t.rock-chips.com/wiki.php?mod=view&id=36

基本思想就是能dnf install的就不pip install
作者: 米小二    时间: 2019-10-30 15:45
jefferyzhang 发表于 2019-10-30 15:39
Fedora的先参看 wiki安装:http://t.rock-chips.com/wiki.php?mod=view&id=36

基本思想就是能dnf instal ...

好的 谢谢及时的回复。

rk3399pro的fedora版本还只支持到tf 1.10,无法跟随rk1.2.1升级到rf 1.14?


作者: 米小二    时间: 2019-10-30 15:46
米小二 发表于 2019-10-30 15:45
好的 谢谢及时的回复。

rk3399pro的fedora版本还只支持到tf 1.10,无法跟随rk1.2.1升级到rf 1.14?

好的 谢谢 看到了
作者: jefferyzhang    时间: 2019-10-30 15:49
米小二 发表于 2019-10-30 15:45
好的 谢谢及时的回复。

rk3399pro的fedora版本还只支持到tf 1.10,无法跟随rk1.2.1升级到rf 1.14?

嗯,因为有个第三方组织在编译aarch64的tensorflow,然后他就只有py3.5和py3.7的。
很不幸的是feodra用的是py3.6,所以没有办法升级上去。
后续我们会把重心转移到 debian10上(py3.7)上
作者: 几头米    时间: 2019-10-30 17:17
你好,在输入batch的时候提示:
rknn_input_set, n_inputs = 20, expect 1 !
错误码 -5
请问这可能是什么原因导致的?以及是否有batch输入的c++示例。
API:1.2.0
DRV:0.9.9
输入实现方式与该帖类似:
http://t.rock-chips.com/forum.ph ... &extra=page%3D3
感谢
作者: 米小二    时间: 2019-10-30 21:46
HI jeffery.

按照安装说明,我在rk3399上已经升级到了debian,把tensorflow升级到了1.14.但是执行
升级rknn 1.2.1的时候,发现升级失败,是不是你们配置的服务器缺少rknn 1.2.1呢?
Thanks。

---------------------------
toybrick@debian10:~/work/rknn-toolkit-V1.2.1/example/caffe_upsample$ pip3 install --user -U rknn
Looking in indexes: https://pypi.org/simple, http://repo.rock-chips.com/pypi/simple
Collecting rknn
Could not install packages due to an EnvironmentError: 404 Client Error: Not Found for url: https://pypi.org/simple/rknn/


toybrick@debian10:~/work/rknn-toolkit-V1.2.1/example/caffe_upsample$ cat /etc/pip.conf
[global]
extra-index-url = http://repo.rock-chips.com/pypi/simple
trusted-host = repo.rock-chips.com

toybrick@debian10:~/work/rknn-toolkit-V1.2.1/example/caffe_upsample$ pip3 list |grep rknn
rknn-toolkit         1.2.0
作者: jefferyzhang    时间: 2019-10-30 21:59
米小二 发表于 2019-10-30 21:46
HI jeffery.

按照安装说明,我在rk3399上已经升级到了debian,把tensorflow升级到了1.14.但是执行

你用的是beta版的debian吧?我们正式版还在测试中,还没正式发布。
你现在遇到的问题升级pip后就可以解决,是pip的bug
作者: ngawain.j.echo    时间: 2019-11-1 10:35
debian 的 apt 源 地址 是什么?  
作者: jefferyzhang    时间: 2019-11-1 11:48
ngawain.j.echo 发表于 2019-11-1 10:35
debian 的 apt 源 地址 是什么?

尽量用debian官方源。我们自己试过ali和清华源很多aarch64的资源并没有涵盖。
RK的源在出版固件里都会自带。
作者: jiajia1990    时间: 2019-11-3 21:06
为什么这样子的?
toybrick@debian10:~/Documents$ sudo apt install rknn-rk3399pro
Reading package lists... Done
Building dependency tree      
Reading state information... Done
E: Unable to locate package rknn-rk3399pro
作者: jefferyzhang    时间: 2019-11-4 10:01
jiajia1990 发表于 2019-11-3 21:06
为什么这样子的?
toybrick@debian10:~/Documents$ sudo apt install rknn-rk3399pro
Reading package list ...

请等我们debian10正式固件出来,本周内应该就会发布。
在此之前,可以使用本地安装方式执行,请参看wiki。
作者: 求大佬指教    时间: 2019-11-4 13:41
jefferyzhang 发表于 2019-10-30 14:55
fedora只能: pip3 install --user -U tensorflow==1.10.0

我上头有写,看你那样子应该已经装了  ...

3399Pro板子上Fedora28只能安装TensorFlow1.10.0吗,不支持最新的1.14吗?
作者: jefferyzhang    时间: 2019-11-4 14:17
求大佬指教 发表于 2019-11-4 13:41
3399Pro板子上Fedora28只能安装TensorFlow1.10.0吗,不支持最新的1.14吗?

是的,因为我们没找到py3.6版本的 tensorflow-1.14.0 for aarch64
作者: 米小二    时间: 2019-11-4 14:46
jefferyzhang 发表于 2019-11-4 14:17
是的,因为我们没找到py3.6版本的 tensorflow-1.14.0 for aarch64

咨询下rk3399 pro带的npu是来自芯原verisilicon吗?
另外你们有没有试过fp16模型直接在npu上计算呢?
因为我们考虑用来做产品,评估下精度损失的影响。

ps:多谢支持噢。
作者: jefferyzhang    时间: 2019-11-4 19:07
米小二 发表于 2019-11-4 14:46
咨询下rk3399 pro带的npu是来自芯原verisilicon吗?
另外你们有没有试过fp16模型直接在npu上计算呢?
因 ...

1. 来自哪里我不太懂额,我不是IC部门的。
2. fp16直接计算NPU也是支持的(不量化就行了),只是算力很低。仅支持fp16是不可能的,目前市面上除了nvidia的tx2外,没有任何一款NPU用浮点跑的,原因很简单,功耗大、效率低,不适合做嵌入式。从tx2你也可以知道他算力有多低(大概只有0.5T)。
3. 量化是很大的学问,TF一直都在致力于做训练量化,你可以研究下这款。训练中量化就已经把训练结果的精度和量化挂钩了。
作者: 米小二    时间: 2019-11-4 22:18
jefferyzhang 发表于 2019-11-4 19:07
1. 来自哪里我不太懂额,我不是IC部门的。
2. fp16直接计算NPU也是支持的(不量化就行了),只是算力很低 ...

好的 感谢专业解答
作者: 求大佬指教    时间: 2019-11-5 00:19
标题: debian10安装rknn过程中,tensorflow1.14安装失败
在新烧写的debian10上面,按照这个步骤来
[attach]703[/attach]
出现下面问题
[attach]704[/attach]


作者: jefferyzhang    时间: 2019-11-5 08:22
求大佬指教 发表于 2019-11-5 00:19
在新烧写的debian10上面,按照这个步骤来

出现下面问题

你肯定没按我步骤来,trusted-host肯定没写对。

还有beta版debian10不太建议用,请等几天我们正式版debian10即将发布
作者: 求大佬指教    时间: 2019-11-5 08:30
本帖最后由 求大佬指教 于 2019-11-5 08:56 编辑
jefferyzhang 发表于 2019-11-5 08:22
你肯定没按我步骤来,trusted-host肯定没写对。

还有beta版debian10不太建议用,请等几天我们正式版debi ...

请问debian9.8固件有吗,我只找到了debian10?
已经解决了TensorFlow1.14安装不成功的问题,感谢
好像确实是host问题,但是我反复对比了好多遍都没找到错误,建议后来者,尽量不要vim去编译修改,最好是在桌面创建文件然后复制粘贴代码内容,然后cp -r到对应目录,再安装1.14就不会出错了


作者: iamher0    时间: 2019-11-5 10:25
对pytorch直接支持,有版本计划吗?
作者: jefferyzhang    时间: 2019-11-5 10:39
iamher0 发表于 2019-11-5 10:25
对pytorch直接支持,有版本计划吗?

pytorch、keras、tf2.0 都已经在roadmap中,正在开发了
作者: jefferyzhang    时间: 2019-11-5 10:40
求大佬指教 发表于 2019-11-5 08:30
请问debian9.8固件有吗,我只找到了debian10?
已经解决了TensorFlow1.14安装不成功的问题,感谢
好像确实 ...

没有9.8,以我们论坛发布为准
作者: iamher0    时间: 2019-11-5 11:01
jefferyzhang 发表于 2019-11-5 10:39
pytorch、keras、tf2.0 都已经在roadmap中,正在开发了

冒昧问一下,大概什么时间能发布?
作者: jefferyzhang    时间: 2019-11-5 11:07
iamher0 发表于 2019-11-5 11:01
冒昧问一下,大概什么时间能发布?

我也不知道,我不在这个开发团队里。
作者: 求大佬指教    时间: 2019-11-5 11:41
米小二 发表于 2019-10-30 21:46
HI jeffery.

按照安装说明,我在rk3399上已经升级到了debian,把tensorflow升级到了1.14.但是执行

可以如下解决:
  1. pip3 install -U pip
复制代码
然后会报错
Installing collected packages: pip
  Found existing installation: pip 18.1
    Not uninstalling pip at /usr/lib/python3/dist-packages, outside environment /usr
    Can't uninstall 'pip'. No files were found to uninstall.
修改pip3
  1. vim /usr/bin/pip3
复制代码
sys.exit(main())修改为sys.exit(main.main())
之后再pip3 install  --user -U tensorflow==1.14.0


作者: xdl932365660    时间: 2019-11-5 18:43
能用rk3288配合rk1808一起用吗
作者: jefferyzhang    时间: 2019-11-5 19:41
xdl932365660 发表于 2019-11-5 18:43
能用rk3288配合rk1808一起用吗

可以使用计算棒主动模式连接任何设备,
被动模式需要64bit的aarch64或者x86或者mac
作者: jiajia1990    时间: 7 天前
jefferyzhang 发表于 2019-11-4 10:01
请等我们debian10正式固件出来,本周内应该就会发布。
在此之前,可以使用本地安装方式执行,请参看wiki ...

你好,正式固件发布出来了吗?没有找到
作者: jefferyzhang    时间: 7 天前
jiajia1990 发表于 2019-11-12 15:17
你好,正式固件发布出来了吗?没有找到

还没有哦,还在烤机测试和debug阶段,我们不会发布有问题的固件,一定会测试稳定了才发布的。
作者: huangzk    时间: 5 小时前
rknn-toolkit-1.2.1-docker.tar.gz  这个 docker 文件好像没有
作者: jefferyzhang    时间: 4 小时前
huangzk 发表于 2019-11-19 14:35
rknn-toolkit-1.2.1-docker.tar.gz  这个 docker 文件好像没有

这个我不清楚,我们只是转发版本而已。不过1.2.1只是1.2.0的bug修复版,版本升级很小,所以估计他们没提供docker吧。。
用1.2.0的docker自己更新下就可以了。




欢迎光临 Toybrick (http://t.rock-chips.com/) Powered by Discuz! X3.3