RK1808视频编解码咨询

1. 编解码走mpp，所有rk平台通用，可以看下mpp库的sample
2. TB-16AI是我们合作伙伴设计的方案，原因主要有这几个：
      1.海思能编265。
      2.上位机需要有一个运算平台，1808更专注于做AI，其他例如IPC安防的后台服务系统运算需要一个主控来运行，否则会抢占1808运算资源。
      3.合作方锐捷安防以前方案都是用这颗海思芯片做的产品，这次只是加了1808板子做AI运算而已。两个方案对他们以及大部分IPC厂家来说都是最熟悉以及成熟可靠的。
      4.这两颗芯片配合在稳定性和成本上都是做AI-IPC客户认为的最优方案。

cqqjliyuan 发表于 2020-10-26 17:16
谢谢您的回复。对于RK1808这样的异构SOC来说集成了CPU\NPU\VPU，其中NPU负责AI相关的运算，VPU负责图像视 ...

1. mipi不能接入264
2. vpu编解码对cpu占用没影响，但是你不可能解码完就能推理，这里还有模型的前处理的事，比如格式转换、ROI、AnchorBox计算等等；还有后处理bbox计算、classfication计算等等。如果你的理解只到解码给264，模型给个结果的程度，那你目前的评估还处于很低级的阶段。
3. 1808的CPU还需要用来计算模型的通用的运算，不是全NPU运行能解决的，例如一些激活函数、四则运算，自定义OP也是可以选择CPU/NPU来做的。
4. IPC还需要编码264/265，还有后台服务需要运行，这么多运算不是1808双核cpu能解决的。