Toybrick

标题: yolov5s TB-3399pro rknn1.7.0 部署测试 [打印本页]

作者: opencv_rkn 时间: 2021-10-27 11:27
标题: yolov5s TB-3399pro rknn1.7.0 部署测试
如题，目前已经在TB-3399pro上完成了yolov5s.onnx转yolov5s.rknn，并做了8bit量化。
但是实际推理的速度有点感人。单帧640*640的输入，inference就要超100ms。
请问这是不是正常速度？

作者: hhhjjjwww 时间: 2021-10-28 15:45
本帖最后由 hhhjjjwww 于 2021-10-28 15:53 编辑

请问你的rknn.init_runtime()设置什么参数，我也是跟你的情况差不多，不知道跟这个rknn.init_runtime()设置有没有关系

作者: jefferyzhang 时间: 2021-10-28 15:59
看下rknntoolkit里带的优化文档，参考优化建议优化原始网络结构、剪枝等操作。
论坛也有很多高手做的很好，可以参考下他们做的。

作者: bob286 时间: 2021-11-25 14:07
不太正常，8bit应该在10ms以下，即使某些地方存在瓶颈也不该那么慢

欢迎光临 Toybrick (https://t.rock-chips.com/)