RK1808视频编解码咨询

RK1808的编解码能力如下：
vpu：
1080p@60fps H.264解码
1080p@30fps H.264编码

问题：
1、RK1808平台有无测试视频编解码的demo？
2、既然RK1808可以对视频进行编解码，在 TB-16A-AI开发板为什么要使用海思的SOC进行视频编解码？

1. 编解码走mpp，所有rk平台通用，可以看下mpp库的sample
2. TB-16AI是我们合作伙伴设计的方案，原因主要有这几个：
      1.海思能编265。
      2.上位机需要有一个运算平台，1808更专注于做AI，其他例如IPC安防的后台服务系统运算需要一个主控来运行，否则会抢占1808运算资源。
      3.合作方锐捷安防以前方案都是用这颗海思芯片做的产品，这次只是加了1808板子做AI运算而已。两个方案对他们以及大部分IPC厂家来说都是最熟悉以及成熟可靠的。
      4.这两颗芯片配合在稳定性和成本上都是做AI-IPC客户认为的最优方案。

jefferyzhang 发表于 2020-10-26 14:48
1. 编解码走mpp，所有rk平台通用，可以看下mpp库的sample
2. TB-16AI是我们合作伙伴设计的方案，原因主要有 ...

谢谢您的回复。对于RK1808这样的异构SOC来说集成了CPU\NPU\VPU，其中NPU负责AI相关的运算，VPU负责图像视频的编解码，CPU负责整体的程序的调度。
我的理解是使用该款SOC，通过mipi接口接入H264,使用VPU进行解码，对NPU进行AI运算影响应该不大，要说有影响，应该是CPU调度压力会增加。不晓得能不能这里理解？

实际的工程应用是很扣成本的，能省则省

1808资源如下：

CPU :双核Cortex-A35处理器，最高主频1.6GHz;

NPU:
• 3TOPs for INT8/300 GOPs for INT16/100GFLOPs for FP16
• 支持IN8/INT16/FP16
• 支持TensorFlow、Caffe、ONNX和Darknet模型

VPU:
• 1080p@60fps H.264解码
• 1080p@30fps H.264编码

cqqjliyuan 发表于 2020-10-26 17:16
谢谢您的回复。对于RK1808这样的异构SOC来说集成了CPU\NPU\VPU，其中NPU负责AI相关的运算，VPU负责图像视 ...

1. mipi不能接入264
2. vpu编解码对cpu占用没影响，但是你不可能解码完就能推理，这里还有模型的前处理的事，比如格式转换、ROI、AnchorBox计算等等；还有后处理bbox计算、classfication计算等等。如果你的理解只到解码给264，模型给个结果的程度，那你目前的评估还处于很低级的阶段。
3. 1808的CPU还需要用来计算模型的通用的运算，不是全NPU运行能解决的，例如一些激活函数、四则运算，自定义OP也是可以选择CPU/NPU来做的。
4. IPC还需要编码264/265，还有后台服务需要运行，这么多运算不是1808双核cpu能解决的。

请教一下，1808的VPU可以进行1080P@60FPS H.264解码，那么可以进行两路25FPS的1080P H264解码吗？
是否支持H265呢？

xuncq 发表于 2020-10-27 09:48
请教一下，1808的VPU可以进行1080P@60FPS H.264解码，那么可以进行两路25FPS的1080P H264解码吗？
是否支持 ...

1808应该是不支持H265的

我在windwos10下测，TB-RK1808M0计算版卡硬解码实现不了，报错-8，运行硬解程序后，重新插拔USB3.0接口后，PC上计算机管理--设备管理器-网络适配器就有感叹号符号了：
网络适配器报错如下：
该设备无法启动。 (代码 10)

{操作失败}
请求的操作不成功。

但，可以用opencv实现软解。还在探索1vpu的1080p@60fps H.264解码这个参数是不是可以实现。