yolov5s TB-3399pro rknn1.7.0 部署测试

[复制链接] · 发表于 2021-10-27 11:27:28

如题，目前已经在TB-3399pro上完成了yolov5s.onnx转yolov5s.rknn，并做了8bit量化。
但是实际推理的速度有点感人。单帧640*640的输入，inference就要超100ms。
请问这是不是正常速度？

只看该作者 · 发表于 2021-10-28 15:45:12

本帖最后由 hhhjjjwww 于 2021-10-28 15:53 编辑

请问你的rknn.init_runtime()设置什么参数，我也是跟你的情况差不多，不知道跟这个rknn.init_runtime()设置有没有关系

只看该作者 · 发表于 2021-10-28 15:59:05

看下rknntoolkit里带的优化文档，参考优化建议优化原始网络结构、剪枝等操作。
论坛也有很多高手做的很好，可以参考下他们做的。

只看该作者 · 发表于 2021-11-25 14:07:59

不太正常，8bit应该在10ms以下，即使某些地方存在瓶颈也不该那么慢