[Old Version] rknn-toolkit-1.2.0&rknn-api-0.9.9 Release

New Version: rknn-toolkit-V1.2.1 & rknn-api-1.2.0
http://t.rock-chips.com/forum.php?mod=viewthread&tid=964&extra=page%3D1


rknn-toolkit-V1.2.0
Baidu Cloud：https://eyun.baidu.com/s/3qZUVUEg
OneDrive：rknn-onedrive

2019-08-23
1.  Add support for model with multiple inputs.
2.  New feature: batch inference.
3.  New feature: model segmentation.
4.  New feature: custom op.

rknn-api-V0.9.9
Baidu Cloud：https://eyun.baidu.com/s/3dzAtcy
OneDrive：rknn-onedrive

Changelog：
1. add support of multi-input.
2. fix inference error when input channel > 3.
3. modify the name of documents.

Note
1.Maintain the version of rknn-toolkit/rknn-api/npuservice correspondence.

2.For ARM platform, the rknn-toolkit and rknn-api released here are for RK3399Pro, NOT for RK1808!


Update Method

1.Update all firmware

Download and flash the V1.5 firmware：http://t.rock-chips.com/portal.php?mod=list&catid=11&product_id=4

2.Update NPU related component only

1) Linux

Update rknn-api and npuservice：

1. sudo dnf clean all
   
2. sudo dnf update -y

复制代码
Update rknn-toolkit：

1. pip3 install --user rknn_toolkit-1.2.0-cp36-cp36m-linux_aarch64.whl

复制代码
Confirm version：

1. [toybrick@toybrick work]$ rpm -qa rknn-api npuservice
   
2. rknn-api-0.9.9-1.rockchip.fc28.aarch64
   
3. npuservice-1.0.5-1.rockchip.fc28.aarch64

复制代码

1. 
   
2. [toybrick@toybrick packages]$ pip3 show rknn-toolkit
   
3. Name: rknn-toolkit
   
4. Version: 1.2.0
   
5. Summary: Rockchip Neural Network Toolkit
   
6. Home-page: UNKNOWN
   
7. Author: Rockchip
   
8. Author-email: None
   
9. License: UNKNOWN
   
10. Location: /home/toybrick/.local/lib/python3.6/site-packages
    
11. Requires: Pillow, scipy, numpy, flask, onnx, ruamel.yaml, protobuf, lmdb, onnx-tf, h5py, dill, networkx, psutil, flatbuffers

复制代码
The log info when running rknn-api：

D RKNNAPI: ==============================================
D RKNNAPI: RKNN VERSION:
D RKNNAPI:   API: 0.9.9 (80bad59 build: 2019-07-16 09:39:49)
D RKNNAPI:   DRV: 0.9.9 (8509ec7 build: 2019-08-05 10:54:34)
D RKNNAPI: ==============================================

Attention: reboot the board after update!


2.Android(Update V1.5 firmware)

Download and flash the V1.5 firmware：http://t.rock-chips.com/portal.php?mod=list&catid=11&product_id=4


=========================================== 华丽的分割线 ===========================================================

rknn-toolkit-V1.1.0
官方已发布rknn-toolkit-1.1.0版本。百度网盘下载地址：https://eyun.baidu.com/s/3qZUVUEg
海外OneDrive下载地址：rknn-onedrive
2019-08-07
版本：v1.1.0
1. 新增对TB-RK1808 AI计算棒的支持。
2. 新增接口list_devices，用来查询已连接设备信息。
3. 支持使用Python 3.5的ARM64 Linux平台。
4. 支持Windows / Mac OS X操作系统。

rknn-api-V0.9.8
百度网盘下载地址：https://eyun.baidu.com/s/3dzAtcy
海外OneDrive下载地址：rknn-onedrive
changelog：
1.add rknn_init2 function for multi-device support
2.support precompile function for rknn-toolkit
3.add x86 linux support
4.add support of rknn_batch_size.
5.add devices query function.


Note：
1.rknn-toolkit、rknn-api、npuservice三个组件最好保持更新的版本一致，即.rknn模型用新版本的rknn-toolkit重新转换生成。

更新方法：
1.Linux更新：
  sudo dnf clean all
  sudo dnf update -y
  更新完成后需要重启开发板。
  版本确认：
[toybrick@localhost build]$ rpm -qa rknn-api npuservice
rknn-api-0.9.8-1.rockchip.fc28.aarch64
npuservice-1.0.4-1.rockchip.fc28.aarch64
运行时版本打印如下：
D RKNNAPI: ==============================================
D RKNNAPI: RKNN VERSION:
D RKNNAPI:   API: 0.9.8 (e0c7840 build: 2019-06-28 10:49:53)
D RKNNAPI:   DRV: 0.9.8 (943f8e8 build: 2019-07-03 17:51:17)
D RKNNAPI: ==============================================


2.Android更新（V1.4版本固件中更新）：
下载官方更新的固件：http://t.rock-chips.com/wiki.php?mod=view&id=11

=========================================== 华丽的分割线 ===========================================================

rknn-toolkit-V1.0.0
官方已发布rknn-toolkit-1.0.0版本。百度网盘下载地址：https://eyun.baidu.com/s/3qZUVUEg
海外OneDrive下载地址：rknn-onedrive
2019-05-08
版本：v1.0.0
1. inference接口支持输入透传模式。
2. 初始化运行环境时支持异步模型。
3. 新功能：混合量化。
4. 优化pre-compile模型的加载时间。新版本工具生成的预编译模型无法在NPU驱动版本号小于0.9.6的设备上运行；旧版本生成的预编译模型也无法在新版本驱动上运行。
5. 调整模型推理结果的排列顺序：在1.0.0以前，如果原始模型输出的结果是按"NHWC"排列（例如TensorFlow模型），则工具会把结果转成"NCHW"；从1.0.0版本开始，将不做这个转换，而是保持跟原始模型的排列一致。

rknn-api-V0.9.5
百度网盘下载地址：https://eyun.baidu.com/s/3dzAtcy
海外OneDrive下载地址：rknn-onedrive
changelog：
update reorder support;
optimize preprocess for input data;

Note：
1.本次更新api接口没有变化
2.更新到V1.0.0后，如果需要预编译功能，需要重新用V1.0.0 rknn-toolkit生成rknn模型，rknn-toolkit V1.0.0之前版本生成的rknn预编译模型运行在V1.0.0环境中会有兼容性问题。
3.此次更新可以大幅减少预编译模型的加载时间，模型转换时需要开启pre_compile

更新方法：
1.Linux更新：
  sudo dnf clean all
  sudo dnf update -y
  更新完成后需要重启开发板。
  版本确认：
[toybrick@localhost ~]$ rpm -aq rknn-api npuservice
npuservice-1.0.3-1.rockchip.fc28.aarch64
rknn-api-0.9.5-2.rockchip.fc28.aarch64
运行时版本打印如下：
D RKNNAPI: ==============================================
D RKNNAPI: RKNN VERSION:
D RKNNAPI:   API: 0.9.5 (a949908 build: 2019-05-07 22:20:43)
D RKNNAPI:   DRV: 0.9.6 (c12de8a build: 2019-05-06 20:10:17)
D RKNNAPI: ==============================================


2.Android更新（5月14日起才可以更新）：
下载官方更新的固件：http://t.rock-chips.com/wiki.php?mod=view&pid=4

=========================================== 华丽的分割线 ===========================================================

rknn-toolkit-V0.9.9
官方已发布rknn-toolkit-0.9.9版本，网盘下载地址：https://eyun.baidu.com/s/3qZUVUEg
changelog：
2019-03-06
版本：v0.9.9
1. 新增eval_memory接口，用来获取模型运行时的内存使用情况。
2. inference接口优化；错误信息优化。
3. init_runtime接口优化。

另外，建议更新scipy与onnx版本（网盘上已更新至scipy-1.2.0与onnx-1.4.1）：
pip3 install scipy-1.2.0-cp36-cp36m-linux_aarch64.whl
pip3 install onnx-1.4.1-cp36-cp36m-linux_aarch64.whl


rknn-api-V0.9.4
网盘下载地址：https://eyun.baidu.com/s/3dzAtcy
changelog：
修复 channel_mean 没有生效的问题

1.Linux更新：
  sudo dnf clean all
  sudo dnf update
2.Android更新：
repo sync更新Android工程，编译新固件

=========================================== 华丽的分割线 ===========================================================
  
V0.9.8.1
临时版本rknn-toolkit-0.9.8.1已发布到官方网盘，下载地址：rknn-toolkit-0.9.8.1

该版本为临时版本，主要修复了inference接口耗时过久的bug，实测可以提升20倍速度。

考虑到很多童鞋反馈这个问题，因此先发布了修复这个bug的临时版本。

赶紧更新安装测试看看吧！

=========================================== 华丽的分割线 ===========================================================
  
V0.9.8
官方已发布rknn-toolkit-0.9.8版本，下载地址：rknn-toolkit-0.9.8
该版本新增调试模式功能：通过在初始化RKNN对象时设置verbose和verbose_file参数，用户可以看到模型加载、构建等阶段的详细日志信息，并写到指定的文件中。
举例如下：

1. #  将详细的日志信息输出到屏幕，并写到 mobilenet_build.log 文件中
   
2. rknn = RKNN(verbose=True, verbose_file='./mobilenet_build.log')
   
3. #  只在屏幕打印详细的日志信息
   
4. rknn = RKNN(verbose=True)
   
5. …
   
6. rknn.release()

复制代码

有兴趣的童鞋可以更新安装使用了。

karbon 发表于 2019-2-23 10:23
用python的API做目标检测 一秒多才能有一帧

这个是rknn Python包inference接口耗时有bug，下个版本会解决

Lee 发表于 2019-2-27 12:11
哦，顺便咨询下，那开发板连到pc板上跑，和直接在板子上跑 ，差异大吗？pc连开发板，是不是实际也跑的arm ...

如果是PC上面的rknn-toolkit运行调到连接的开发板，则会多一个通信的开销。

MraxZhao 发表于 2019-2-28 21:15
重新安装使用0.9.8.1版本后确实相较于之前好些了，想知道到底是更改优化了什么？
还有，似乎自己打印的时间 ...

性能评估接口的时间是NPU运算时间，inference接口的时间还包括了层层代码调用时间以及通信时间等。

rknn-toolkit-1.0.0&rknn-api-0.9.5版本发布

vamrs 发表于 2019-5-13 16:58
rknn_toolkit-1.0.0-cp36-cp36m-linux_aarch64.whl

可以发布 aarch64 的cp37 或者 cp35 的版本吗？Debi ...

哪里有说debian不支持python3.6了？python3.6还是可以安装的吧

kaishi 发表于 2019-5-18 00:05
Can you also upload rknn-toolkit-1.0.0&rknn-api-0.9.5 to github which can be accessed outside China? ...

OneDrive can be accessed outside China. You can register an account of Onedrive.

kaishi 发表于 2019-5-20 11:53
Onedrive does not work either.
The best is to update your github repository. Is there a problem of d ...

The link can be accessed now. Something is wrong wtih the link and we fixed it.

kaishi 发表于 2019-5-21 23:47
Still doesn't work. Same error as before.
------Error------

Try this link：

https://rockchips-my.sharepoint. ... nts%2fTB-RK3399ProD

kaishi 发表于 2019-5-22 12:22
Not working either. Same error

We tested several times. This link does not need account now. Anyone click the link can access the resource directly. So I am not sure what is wrong on your website. It seems that the error log is still related to account issues.
Now Baidu netdisk is offered for China users and OneDrive is for oversea users. For now, we don't have plan to add an github repository as it brings additional maintain work.