Toybrick

标题: RK3399Pro入门教程(11)RKNN组件介绍 [打印本页]

作者: jefferyzhang    时间: 2020-2-11 18:22
标题: RK3399Pro入门教程(11)RKNN组件介绍
本帖最后由 jefferyzhang 于 2020-9-17 16:21 编辑

RKNN包含了3个基本组件:

1. rknn-toolkit   :python程序,可用于转换模型、量化模型和推理
2. rknn-api        :c库(.h/.so),用于c/c++程序调用推理引擎
3. npu-drv        :npu驱动


简介:

1. rknn-toolkit (python)   

    该组件用于将各类模型转换为rknn格式模型,并包含推理、评估、调试等功能。   
    组件分为两部分: 转换引擎和推理引擎
    支持的平台系统:(PC)windows、(PC)linux_x86_64、(开发版)linux_3399pro、(计算棒)linux_1808
    其中:
       a. PC - Windows/Linux_x86_64
           转换引擎: 全功能
           推理引擎: 仿真

       b. 开发版 - linux_3399pro
           转换引擎: 基本功能(无法执行量化等操作)
           推理引擎: 全功能 (基于 rknn-api)

       c. 计算棒 - linux_1808
           不支持全功能rknn-toolkit,尽支持rknn-toolkit-lite


*. rknn-toolkit-lite (python)  (1.4.0 新增该组建)

    该组建尽包含推理引擎,所以依赖较少,方便直接在3399pro和1808上进行推理操作


2. rknn-api (c)

     该组件用于c/c++开发推理程序使用,包含.h头文件和.so库文件。
     仅包含推理引擎。
     支持的平台系统:(开发版)linux_3399pro、(开发版)android_3399pro、(计算棒)linux_1808


3. npu-drv

     该组件为NPU的驱动程序,由开发版和产品提供的固件内提供,无需用户操作。


重要说明:

1. 升级后必须确认这三个组件版本一致,否则可能会出现不可预期的错误。(从1.3开始这三个组件版本号已经统一,用户需要保证大版本号和主版本号一致,例如都是1.3.x)
2. 板载的rknn-api/npu-drv均可通过系统的在线升级(apt/dnf等)来升级。
3. 板载的rknn-toolkit均可通过python的pip3管理程序升级
4. PC的toolkit和api需要自行下载更新。



所有版本下载地址:

1. rknn-toolkit: https://eyun.baidu.com/s/3eTG3VsY   (pwd:rknn)
2. rknn-api:  待更新
3. npu-drv:  无(集成在系统固件里)



更新和发布贴:

http://t.rock-chips.com/forum.php?mod=viewthread&tid=964











作者: sunterry    时间: 2020-11-20 11:14
文档都是说要tensorflow=1.11.0,是不是应该至少更新为1.14呀

作者: jefferyzhang    时间: 2020-11-20 11:36
sunterry 发表于 2020-11-20 11:14
文档都是说要tensorflow=1.11.0,是不是应该至少更新为1.14呀

以rknntoolkit文档为准,每个版本不一定一样。
版本高了低了都可能遇到奇怪问题,当然也可能运气好能顺利转换
作者: xinzhiling111    时间: 2020-11-30 17:38
jefferyzhang 发表于 2020-11-20 11:36
以rknntoolkit文档为准,每个版本不一定一样。
版本高了低了都可能遇到奇怪问题,当然也可能运气好能顺利 ...

版主好,请问rk3399pro buildroot根文件系统的话,能用rknn-toolkit吗?还是只能用rknn-api?如果只能用rknn-api的话,那是不是就只能用c或者c++而不能用python去加载模型进行推理了?
作者: bai    时间: 2022-4-13 15:15
本帖最后由 bai 于 2022-4-13 15:25 编辑

npu_dev该怎样升级呢




欢迎光临 Toybrick (https://t.rock-chips.com/) Powered by Discuz! X3.3