Toybrick

零拷贝推理速度和结果异常

学校对面

注册会员

积分
60
楼主
发表于 2024-5-24 17:50:02    查看: 691|回复: 0 | [复制链接]    打印 | 只看该作者
我的量化模型使用通用API时,推理时间大概在14ms,但是上下文传输时数据拷贝也差不多有10ms,因此想用零拷贝来做。
我目前是通过opencv读取图像后,再使用memcpy将img.data给inputs.men[0]->logical_addr,设备是rv1126。但是目前遇到了两个问题:
(1):如果我每一次拷贝数据时都使用rknn_set_io_mem(看文档是不需要的,仅首次设置即可),推理时间会变得特别长(15s);即便是仅设置一次的情况下,第一帧的推理时长也会到15s
(2):推理结果从outputs_mem[0]->logical_addr中拿出来时,结果全为0

请问产生这种现象的原因可能有哪些楠?网上找了很久都没找到类似的现象。。
谢谢!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表