Toybrick

RK3399Pro入门教程(11)RKNN组件介绍

jefferyzhang

论坛元老

积分
8614
发表于 2020-2-11 18:22:54    查看: 4268|回复: 2 | [复制链接]    打印 | 显示全部楼层
本帖最后由 jefferyzhang 于 2020-9-17 16:21 编辑

RKNN包含了3个基本组件:

1. rknn-toolkit   :python程序,可用于转换模型、量化模型和推理
2. rknn-api        :c库(.h/.so),用于c/c++程序调用推理引擎
3. npu-drv        :npu驱动


简介:

1. rknn-toolkit (python)   

    该组件用于将各类模型转换为rknn格式模型,并包含推理、评估、调试等功能。   
    组件分为两部分: 转换引擎和推理引擎
    支持的平台系统:(PC)windows、(PC)linux_x86_64、(开发版)linux_3399pro、(计算棒)linux_1808
    其中:
       a. PC - Windows/Linux_x86_64
           转换引擎: 全功能
           推理引擎: 仿真

       b. 开发版 - linux_3399pro
           转换引擎: 基本功能(无法执行量化等操作)
           推理引擎: 全功能 (基于 rknn-api)

       c. 计算棒 - linux_1808
           不支持全功能rknn-toolkit,尽支持rknn-toolkit-lite


*. rknn-toolkit-lite (python)  (1.4.0 新增该组建)

    该组建尽包含推理引擎,所以依赖较少,方便直接在3399pro和1808上进行推理操作


2. rknn-api (c)

     该组件用于c/c++开发推理程序使用,包含.h头文件和.so库文件。
     仅包含推理引擎。
     支持的平台系统:(开发版)linux_3399pro、(开发版)android_3399pro、(计算棒)linux_1808


3. npu-drv

     该组件为NPU的驱动程序,由开发版和产品提供的固件内提供,无需用户操作。


重要说明:

1. 升级后必须确认这三个组件版本一致,否则可能会出现不可预期的错误。(从1.3开始这三个组件版本号已经统一,用户需要保证大版本号和主版本号一致,例如都是1.3.x)
2. 板载的rknn-api/npu-drv均可通过系统的在线升级(apt/dnf等)来升级。
3. 板载的rknn-toolkit均可通过python的pip3管理程序升级
4. PC的toolkit和api需要自行下载更新。



所有版本下载地址:

1. rknn-toolkit: https://eyun.baidu.com/s/3eTG3VsY   (pwd:rknn)
2. rknn-api:  待更新
3. npu-drv:  无(集成在系统固件里)



更新和发布贴:

http://t.rock-chips.com/forum.php?mod=viewthread&tid=964










回复

使用道具 举报

sunterry

新手上路

积分
14
发表于 2020-11-20 11:14:02 | 显示全部楼层
文档都是说要tensorflow=1.11.0,是不是应该至少更新为1.14呀
回复

使用道具 举报

jefferyzhang

论坛元老

积分
8614
 楼主| 发表于 2020-11-20 11:36:04 | 显示全部楼层
sunterry 发表于 2020-11-20 11:14
文档都是说要tensorflow=1.11.0,是不是应该至少更新为1.14呀

以rknntoolkit文档为准,每个版本不一定一样。
版本高了低了都可能遇到奇怪问题,当然也可能运气好能顺利转换
回复

使用道具 举报

xinzhiling111

中级会员

积分
319
发表于 2020-11-30 17:38:12 | 显示全部楼层
jefferyzhang 发表于 2020-11-20 11:36
以rknntoolkit文档为准,每个版本不一定一样。
版本高了低了都可能遇到奇怪问题,当然也可能运气好能顺利 ...

版主好,请问rk3399pro buildroot根文件系统的话,能用rknn-toolkit吗?还是只能用rknn-api?如果只能用rknn-api的话,那是不是就只能用c或者c++而不能用python去加载模型进行推理了?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表