Toybrick

标题: rk3588 多线程推理延时问题？ [打印本页]

作者: baozhiqiang 时间: 3 天前
标题: rk3588 多线程推理延时问题？
看到版主说到瑞芯微的NPU采用多线程推理可以提高推理速度，但本质NPU是分时复用系统，谁抢到时间片就先跑谁，我有个疑问想请版主解释一下，既然是分时复用，那么如果输入都采用零内存拷贝技术，那么使用一个线程对视频推理，和采用多个线程处理视频推理，节省的是什么时间？按理说应该用时是相同的，不甚理解，请版主解惑。
另外，多线程推理技术，会不会对系统造成一个固定的整体延时？也就是说，假设多线程推理模型的时间是20ms（50帧/s），0时刻开始，按照顺序输入视频帧，帧率是30帧/s（推理速度大于帧率），输出端是可以达到实时处理，但是是否有一个整体延时，也就是说必须在100ms（假设）后才能够拿到第一帧的推理结果，之后才能每20ms拿到推理结果？请版主答疑解惑，多谢多谢！！！！

作者: jefferyzhang 时间: 3 天前
你理解的没错，如果能多线程，0拷贝意义是不大的，特别是输入尺寸比较小的模型。
其实绝大多数产品是无法满足0拷贝需求的，因为需要自行对输入进行前处理，效率也不一定会有rknn写的高。
这个适合那种成本控制的非常严格的小芯片用的比较多，例如1106，1103这种，本身性能就做不到多线程推理，再不做0拷贝那效率就会低很多很多。

作者: baozhiqiang 时间: 3 天前

jefferyzhang 发表于 2024-11-18 14:39
你理解的没错，如果能多线程，0拷贝意义是不大的，特别是输入尺寸比较小的模型。
其实绝大多数产品是无法满 ...

多谢版主回复，那么多线程推理技术，会不会对系统造成一个固定的整体延时，这个延时是否和线程的多少有关呢？

作者: jefferyzhang 时间: 前天 08:37

baozhiqiang 发表于 2024-11-18 14:47
多谢版主回复，那么多线程推理技术，会不会对系统造成一个固定的整体延时，这个延时是否和线程的多少有关 ...

这个取决于线程抢占时间，非实时系统线程调度时间看kernel的调度策略。但这个时间对你程序来说可以忽略不计。

作者: baozhiqiang 时间: 前天 12:57

jefferyzhang 发表于 2024-11-19 08:37
这个取决于线程抢占时间，非实时系统线程调度时间看kernel的调度策略。但这个时间对你程序来说可以忽略不 ...

收到，多谢多谢！！

欢迎光临 Toybrick (https://t.rock-chips.com/)