RK的NPU会继续支持onnxruntime吗？

在onnxruntime官网上看到RK的NPU支持onnxruntime，但目前好像只支持RV1808，请问RK会继续支持onnxruntime吗？会的话大概什么时候会更新onnxruntime的支持？

请问您有什么模型非要用onnx么

jefferyzhang 发表于 2023-2-25 12:46
请问您有什么模型非要用onnx么

不是模型，是流程会更简便。如果咱们RK的NPU芯片都支持onnxruntime，那我们用量化感知训练后的模型转成onnx模型后直接就可以用RK芯片进行推理了。理论上是不是可以不用rknn-toolkit了？
因为我们的软件是要用户自己微调模型的，而且目前to C的软件很多都是Windows系统。如果可以不用rknn-toolkit，那用户就不用另外准备Ubuntu系统和配置相关的环境来转换模型，可以大大简化我们软件的使用难度，便于我们软件的推广和提高用户的效率。
不过如果没那么快支持onnxruntime，希望能提供onnx转rknn模型的windows下C++接口简化版的toolkit或动态库，可以不用量化和仿真功能，这样也会对简化我们的使用流程帮助很大，这样我们整个流程就可以用C++来实现了（我们模型训练也是用C++的），特别是很多产品化的项目肯定会很喜欢。毕竟很多商业应用都是用C++开发的。

hjh2008 发表于 2023-2-27 11:45
不是模型，是流程会更简便。如果咱们RK的NPU芯片都支持onnxruntime，那我们用量化感知训练后的模型转成onn ...

异构计算不可能频繁与CPU交互

jefferyzhang 发表于 2023-2-27 12:03
异构计算不可能频繁与CPU交互

上面说的应该不涉及到异构计算，推理还是在RK芯片上。现在onnx转rknn模型要用到rknn-toolkit，由于rknn-toolkit需要ubuntu，python和大量的库。我们希望有一种简化版的onnx转rknn模型并编译的工具（windows、C++接口），不需要类似rknn-toolkit量化和仿真的功能。量化我们可以用其它方法，仿真我们可以直接在板子运行。这是我们目前的需求。
目前我们了解到的可以不使用rknn-toolkit的方法有两种，一种是paddle的fastdeploy，但它也是python的；还有另外一种就是onnxruntime，但目前只支持RV1808，还不支持其它型号芯片。