RK3588 PythonSDK + rknntoolkit-lite 推理的 SampleCode

[复制链接] · 发表于 2023-2-8 15:30:52

本帖最后由 jefferyzhang 于 2023-2-9 09:03 编辑

Note:

1. 因为3588 PythonSDK是按最高性能设计，其中很多操作是0拷贝的实现，不像其他Python库返回都是多次拷贝，所以会产生很多逻辑陷阱。
2. 本示例从HDMI-IN获取数据，缩放后送入RKNNLite推理，并显示
3. 主要展示容易出问题的asarray()的用法，因为是0拷贝的实现，必须要保证源变量没有被析构，否则他所指向的内存就已经被释放了
4. 送入rknn前先缩放成模型输入尺寸避免性能消耗，这里由于rknnlite参数是numpy array类型，在rknn内部会有一次memcpy无法避免。

from rknnlite.api import RKNNLite

import toybrick as toy

import numpy as np



def init_rknn(model):

    rknn_lite = RKNNLite()

    ret = rknn_lite.load_rknn(model)

    if ret != 0:

        print('Load RKNN model failed')

    exit(ret)



    print('--> Init runtime environment')

    ret = rknn_lite.init_runtime(core_mask=RKNNLite.NPU_CORE_0_1_2)

    if ret != 0:

        print('Init runtime environment failed')

        exit(ret)

    print('done')



    return rknn_lite



if __name__ == '__main__':

    rknn = init_rknn('./model.rknn')



    hdmi = toy.HdmiCapture()

    disp = toy.Display('', 1920, 1080, False)

    print("Connect display width = " + str(disp.width) + " ; height = " + str(disp.height))



    while True:

        ret, frame = hdmi.read(1920, 1080, toy.FMT_RGB888)

        if frame is not None:

            img = frame.resize(320, 320)  # 这里的img是一个dma buffer

            npimg = img.asarray()  # 必须要单独再用一个变量，保证img变量引用计数不会为0，因为这里的asarray是0拷贝构造，如果img被析构，npimg指向的内存空间就是错的了

            outputs = rknn.inference(inputs=[npimg])

            print(outputs)
复制代码

只看该作者 · 发表于 2023-3-21 08:44:22

为什么toybrick 不搞个面向通用的一个包呢？只能在toybrick的板上用

只看该作者 · 发表于 2023-3-21 08:47:27

mike841211 发表于 2023-3-21 08:44
为什么toybrick 不搞个面向通用的一个包呢？只能在toybrick的板上用

对外发布的EdgeSDK里都包含该包，但我们是toybrick论坛，我们当然只维护toybrick板子，其他板子请联系板商支持。

只看该作者 · 发表于 2023-8-4 17:29:28

环境：
rknn_toolkit2 1.4.0
rknn_toolkit_lite2-1.4.0-cp39
rknn driver 0.8.2
根据官方链接：https://gitee.com/yanyitech/rknn ... xamples/onnx/yolov5，在PC上模型测试时转换、推理都正常。将转换出的未做量化的yolov5s.rknn上传到板子上，与pc端推理结果相比，利用rknn_toolkit_lite2推理的结果置信度普遍变高了，原本0.5、0.6、0.7的置信度变成了0.9以上，这种情况不正常吧? 可能是什么情况导致的？500张图片量化后的模型也有这个问题，麻烦帮忙解答一下。

只看该作者 · 发表于 2023-8-28 14:20:13

jefferyzhang 发表于 2023-3-21 08:47
对外发布的EdgeSDK里都包含该包，但我们是toybrick论坛，我们当然只维护toybrick板子，其他板子请联系板 ...

请问PythonSDK必须是板商在固件上支持吗？可以在刷好系统的板子自己安装PythonSDK吗？

只看该作者 · 发表于 2023-8-28 15:35:32

hiCrystal 发表于 2023-8-28 14:20
请问PythonSDK必须是板商在固件上支持吗？可以在刷好系统的板子自己安装PythonSDK吗？ ...

PythonSDK是开放免费用的，
但我们只对toybrick板子和edge sdk编写和测试，其他板子我们没办法顾及，
如果你移过去能用那就可以，但环境不一致以及硬件不同等各种问题造成不能正常使用的话我们也没办法。

只看该作者 · 发表于 2023-8-29 11:19:50

jefferyzhang 发表于 2023-8-28 15:35
PythonSDK是开放免费用的，
但我们只对toybrick板子和edge sdk编写和测试，其他板子我们没办法顾及，
如 ...

请问PythonSDK的源代码开放吗？如果其他板子想要支持PythonSDK是不是只能在编译固件时就要操作？

只看该作者 · 发表于 2023-8-29 11:26:52

hiCrystal 发表于 2023-8-29 11:19
请问PythonSDK的源代码开放吗？如果其他板子想要支持PythonSDK是不是只能在编译固件时就要操作？ ...

不开放

只看该作者 · 发表于 2023-8-30 09:50:15

jefferyzhang 发表于 2023-8-29 11:26
不开放

目前的系统不支持PythonSDK，如果要使用必须要重新编译系统吗？