请问开发板对主流CNN的加速性能

[复制链接] · 发表于 2019-1-26 11:24:02

版主您好：

目前在嵌入式端做图像目标检测常用的都是些轻量级的卷积神经网络，比如YOLOv3、MobileNet-SSD、ShuffleNet-SSD等，关于这些网络在开发板上移植，我有2个问题：

1. 虽然开发板支持Caffe、TensorFlow等深度学习框架，但新的网络通常会引入新的层，这些层未必在框架中支持，尤其是在嵌入式端的硬件加速未必支持，请问现在RK3399Pro开发板是否已经能够完整支持YOLOv3、MobileNet-SSD、ShuffleNet-SSD这些神经网络呢？

2. 如果开发板能够支持，请问加速性能如何？具体的说，在某一个特定的网络上，在给定的输入图像分辨率下，开发板上的平均检测帧率大概是多少？

谢谢！

只看该作者 · 发表于 2019-1-29 09:40:58

我也很想知道

哪位大神有数据，公布一下

只看该作者 · 发表于 2019-2-22 18:08:52

nila 发表于 2019-1-29 09:40
我也很想知道
哪位大神有数据，公布一下

据我们不完全测试：
yolov3 能到 30 fps，
mobile-ssd_v1 能到 64.51fps
alexnet 能到 124.73fps

其他的大家可以自己移植测试一番

只看该作者 · 发表于 2019-2-25 14:29:31

jefferyzhang 发表于 2019-2-22 18:08
据我们不完全测试：
yolov3 能到 30 fps，
mobile-ssd_v1 能到 64.51fps

你好，想问一下：
1，这个数据是用原生的caffe 或者tensorflow 跑出来的，还是用RKNN API 跑出来的？
2，直接用原生的caffe 或者tensorflow 是否可以用到NPU来加速？

多谢！

只看该作者 · 发表于 2019-2-25 15:15:42

someone9388 发表于 2019-2-25 14:29
你好，想问一下：
1，这个数据是用原生的caffe 或者tensorflow 跑出来的，还是用RKNN API 跑出来的？
2 ...

这边给出的数据应该就是用RKNN跑出来的。
原生的caffe和TensorFlow肯定没办法用NPU加速，都要调RKNN API。
不过之前的直播上面好像有说Android NN API官方有在实现利用NPU加速。

只看该作者 · 发表于 2019-3-11 03:35:56

jefferyzhang 发表于 2019-2-22 18:08
据我们不完全测试：
yolov3 能到 30 fps，
mobile-ssd_v1 能到 64.51fps

Yolov3 should be replaced with tiny-yolov3 for 30fps. Yolov3 is only about 2~3fps. See my reply on the official yolo demo post for details.