rk3568板子+2个rk1808 NPU

目前板子是3568，然后集成了2个1808的NPU，也就是说一个板子有3个NPU （3568NPU + 2 1808NPU），接口使用的是rknpu2，那么我在推理的时候怎么能同时使用这3个NPU 还是默认推理3个都会使用？

三个是独立的，需要写代码自己分配用哪个

jefferyzhang 发表于 2024-6-11 15:14
三个是独立的，需要写代码自己分配用哪个

可是rk3568不是不支持分配rknpu核心吗？rknn api接口中也没有在初始化或者推理时指定哪个npu模块，如果有的话麻烦您提供一个示例，还有1808的npu是不是需要rknpu1 的sdk才能运行。
还有一个问题，rknn模型推理时不是串行的吗？分配给两个NPU模块是不是两个同时推理就是并行的了。
最后非常感谢您的回答。

gmi 发表于 2024-6-11 17:19
可是rk3568不是不支持分配rknpu核心吗？rknn api接口中也没有在初始化或者推理时指定哪个npu模块，如果有 ...

不支持分配，需要自己调度。rknn不能自动多个npu串行，这个也是没有意义的，传输的时间远超过推理时间。

正确的多NPU设备玩法就是：

1. 三个NPU同时加载同一个模型，然后用负载均衡的方式轮流分配帧给不同的NPU设备推理。这样如果你的视频输入是60fps，但是一个npu推理该模型只能做到20fps，那么三个npu就可以实现60fps

2. 自行把模型拆成三个模型，例如像一些模型有多组backbone结构或者不同尺寸的backbone输入，就可以拆成多个后做成流水线推理

jefferyzhang 发表于 2024-6-11 17:56
不支持分配，需要自己调度。rknn不能自动多个npu串行，这个也是没有意义的，传输的时间远超过推理时间。

...

您可能理解错了，就是一个板子集成了2个1808的NPU，不是通过pcie接了两个1808终端设备

没有区别啊，随便你接多少个，怎么接，都是这样的。
就好比你接了2个CPU或者GPU，你代码逻辑上没写他是不会自动加入运算的

jefferyzhang 发表于 2024-6-12 08:45
没有区别啊，随便你接多少个，怎么接，都是这样的。
就好比你接了2个CPU或者GPU，你代码逻辑上没写他是不会 ...

哦哦哦，我明白了，那怎么样才能将模型加载到指定的NPU设备吗？当初我也是这样想的，但是在rknn c api文档中没有找到相关的信息。所以我以为默认都会使用的。rknn_set_core_mask这个接口也不支持3568的设置，然后我就在这卡住了。所以您能给个示例吗？非常感谢。

gmi 发表于 2024-6-12 09:45
哦哦哦，我明白了，那怎么样才能将模型加载到指定的NPU设备吗？当初我也是这样想的，但是在rknn c api文档 ...

rknn_set_core_mask是设置npu的核数，3568就一个核，没什么好设置的。
你正常写代码就不可能设置错，init_runtime时候都有指定NPU设备，每个session都是一个独立的npu设备

jefferyzhang 发表于 2024-6-12 09:51
rknn_set_core_mask是设置npu的核数，3568就一个核，没什么好设置的。
你正常写代码就不可能设置错，init ...

def init_runtime(self, target=None, target_sub_class=None, device_id=None, perf_debug=False, eval_mem=False,  async_mode=False, core_mask=NPU_CORE_AUTO, fallback_prior_device="cpu", update_npu_libs=False)
您说的是python的这个接口吗？这里应该是使用device_id指定终端设备的，就是您说的session，在rknn c api 中rknn_init 应该是对应的init_runtime这个接口吧并没有提供这块的参数

都有的，文档先走读一下