Toybrick

零拷贝推理速度和结果异常

学校对面

注册会员

积分
60
楼主
发表于 2024-5-24 17:50:02    查看: 2163|回复: 1 | [复制链接]    打印 | 只看该作者
我的量化模型使用通用API时,推理时间大概在14ms,但是上下文传输时数据拷贝也差不多有10ms,因此想用零拷贝来做。
我目前是通过opencv读取图像后,再使用memcpy将img.data给inputs.men[0]->logical_addr,设备是rv1126。但是目前遇到了两个问题:
(1):如果我每一次拷贝数据时都使用rknn_set_io_mem(看文档是不需要的,仅首次设置即可),推理时间会变得特别长(15s);即便是仅设置一次的情况下,第一帧的推理时长也会到15s
(2):推理结果从outputs_mem[0]->logical_addr中拿出来时,结果全为0

请问产生这种现象的原因可能有哪些楠?网上找了很久都没找到类似的现象。。
谢谢!
回复

使用道具 举报

ggbond

新手上路

积分
22
沙发
发表于 2024-8-14 10:01:08 | 只看该作者
用外部的空间就要每次都rknn_set_io_mem ,不然每次都要把数据拷贝进来   我也遇到了这个问题.  用rknn_query查询 告诉我只用了15ms  但我时间测出来是150ms  不知道其中做了什么。我用他零拷贝demo里的模型就是没有这个问题  加载自己的模型就遇到了,还有就是rknn_set_io_mem本身的耗时问题,综合下来还不如我自己拷贝的时间短
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表