RK3399Pro入门教程（11）RKNN组件介绍

[复制链接] · 发表于 2020-2-11 18:22:54

本帖最后由 jefferyzhang 于 2020-9-17 16:21 编辑

RKNN包含了3个基本组件：

1. rknn-toolkit ：python程序，可用于转换模型、量化模型和推理
2. rknn-api       ：c库(.h/.so)，用于c/c++程序调用推理引擎
3. npu-drv       ：npu驱动

简介：

1. rknn-toolkit (python)

该组件用于将各类模型转换为rknn格式模型，并包含推理、评估、调试等功能。
组件分为两部分：转换引擎和推理引擎
支持的平台系统：(PC)windows、(PC)linux_x86_64、(开发版)linux_3399pro、(计算棒)linux_1808
其中:
   a. PC - Windows/Linux_x86_64
         转换引擎：全功能
         推理引擎：仿真

   b. 开发版 - linux_3399pro
         转换引擎：基本功能（无法执行量化等操作）
         推理引擎：全功能（基于 rknn-api）

   c. 计算棒 - linux_1808
         不支持全功能rknn-toolkit，尽支持rknn-toolkit-lite

*. rknn-toolkit-lite (python)  （1.4.0 新增该组建）

该组建尽包含推理引擎，所以依赖较少，方便直接在3399pro和1808上进行推理操作

2. rknn-api (c)

   该组件用于c/c++开发推理程序使用，包含.h头文件和.so库文件。
   仅包含推理引擎。
   支持的平台系统：(开发版)linux_3399pro、(开发版)android_3399pro、(计算棒)linux_1808

3. npu-drv

   该组件为NPU的驱动程序，由开发版和产品提供的固件内提供，无需用户操作。

重要说明：

1. 升级后必须确认这三个组件版本一致，否则可能会出现不可预期的错误。（从1.3开始这三个组件版本号已经统一，用户需要保证大版本号和主版本号一致，例如都是1.3.x）
2. 板载的rknn-api/npu-drv均可通过系统的在线升级（apt/dnf等）来升级。
3. 板载的rknn-toolkit均可通过python的pip3管理程序升级
4. PC的toolkit和api需要自行下载更新。

所有版本下载地址：

1. rknn-toolkit： https://eyun.baidu.com/s/3eTG3VsY (pwd：rknn)
2. rknn-api:  待更新
3. npu-drv:  无（集成在系统固件里）

更新和发布贴：

http://t.rock-chips.com/forum.php?mod=viewthread&tid=964

只看该作者 · 发表于 2020-11-20 11:14:02

文档都是说要tensorflow=1.11.0，是不是应该至少更新为1.14呀

只看该作者 · 发表于 2020-11-20 11:36:04

sunterry 发表于 2020-11-20 11:14
文档都是说要tensorflow=1.11.0，是不是应该至少更新为1.14呀

以rknntoolkit文档为准，每个版本不一定一样。
版本高了低了都可能遇到奇怪问题，当然也可能运气好能顺利转换

只看该作者 · 发表于 2020-11-30 17:38:12

jefferyzhang 发表于 2020-11-20 11:36
以rknntoolkit文档为准，每个版本不一定一样。
版本高了低了都可能遇到奇怪问题，当然也可能运气好能顺利 ...

版主好，请问rk3399pro buildroot根文件系统的话，能用rknn-toolkit吗？还是只能用rknn-api？如果只能用rknn-api的话，那是不是就只能用c或者c++而不能用python去加载模型进行推理了？

只看该作者 · 发表于 2022-4-13 15:15:34

本帖最后由 bai 于 2022-4-13 15:25 编辑

npu_dev该怎样升级呢