Toybrick

yolov5s TB-3399pro rknn1.7.0 部署测试

opencv_rkn

新手上路

积分
33
发表于 2021-10-27 11:27:28    查看: 316|回复: 2 | [复制链接]    打印 | 显示全部楼层
如题,目前已经在TB-3399pro上完成了yolov5s.onnx转yolov5s.rknn,并做了8bit量化。
但是实际推理的速度有点感人。 单帧640*640的输入,inference就要超100ms。
请问这是不是正常速度?
回复

使用道具 举报

hhhjjjwww

注册会员

积分
189
发表于 2021-10-28 15:45:12 | 显示全部楼层
本帖最后由 hhhjjjwww 于 2021-10-28 15:53 编辑

请问你的rknn.init_runtime()设置什么参数,我也是跟你的情况差不多,不知道跟这个rknn.init_runtime()设置有没有关系
回复

使用道具 举报

jefferyzhang

论坛元老

积分
8910
发表于 2021-10-28 15:59:05 | 显示全部楼层
看下rknntoolkit里带的优化文档,参考优化建议优化原始网络结构、剪枝等操作。
论坛也有很多高手做的很好,可以参考下他们做的。
回复

使用道具 举报

bob286

注册会员

积分
133
发表于 2021-11-25 14:07:59 | 显示全部楼层
不太正常,8bit应该在10ms以下,即使某些地方存在瓶颈也不该那么慢
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表