rk3588 多线程推理延时问题？

[复制链接] · 发表于 4 天前

看到版主说到瑞芯微的NPU采用多线程推理可以提高推理速度，但本质NPU是分时复用系统，谁抢到时间片就先跑谁，我有个疑问想请版主解释一下，既然是分时复用，那么如果输入都采用零内存拷贝技术，那么使用一个线程对视频推理，和采用多个线程处理视频推理，节省的是什么时间？按理说应该用时是相同的，不甚理解，请版主解惑。
另外，多线程推理技术，会不会对系统造成一个固定的整体延时？也就是说，假设多线程推理模型的时间是20ms（50帧/s），0时刻开始，按照顺序输入视频帧，帧率是30帧/s（推理速度大于帧率），输出端是可以达到实时处理，但是是否有一个整体延时，也就是说必须在100ms（假设）后才能够拿到第一帧的推理结果，之后才能每20ms拿到推理结果？请版主答疑解惑，多谢多谢！！！！

只看该作者 · 发表于 4 天前

你理解的没错，如果能多线程，0拷贝意义是不大的，特别是输入尺寸比较小的模型。
其实绝大多数产品是无法满足0拷贝需求的，因为需要自行对输入进行前处理，效率也不一定会有rknn写的高。
这个适合那种成本控制的非常严格的小芯片用的比较多，例如1106，1103这种，本身性能就做不到多线程推理，再不做0拷贝那效率就会低很多很多。

只看该作者 · 发表于 4 天前

jefferyzhang 发表于 2024-11-18 14:39
你理解的没错，如果能多线程，0拷贝意义是不大的，特别是输入尺寸比较小的模型。
其实绝大多数产品是无法满 ...

多谢版主回复，那么多线程推理技术，会不会对系统造成一个固定的整体延时，这个延时是否和线程的多少有关呢？

只看该作者 · 发表于 3 天前

baozhiqiang 发表于 2024-11-18 14:47
多谢版主回复，那么多线程推理技术，会不会对系统造成一个固定的整体延时，这个延时是否和线程的多少有关 ...

这个取决于线程抢占时间，非实时系统线程调度时间看kernel的调度策略。但这个时间对你程序来说可以忽略不计。

只看该作者 · 发表于 3 天前

jefferyzhang 发表于 2024-11-19 08:37
这个取决于线程抢占时间，非实时系统线程调度时间看kernel的调度策略。但这个时间对你程序来说可以忽略不 ...

收到，多谢多谢！！