Toybrick

标题: 零拷贝推理速度和结果异常 [打印本页]

作者: 学校对面 时间: 2024-5-24 17:50
标题: 零拷贝推理速度和结果异常
我的量化模型使用通用API时，推理时间大概在14ms，但是上下文传输时数据拷贝也差不多有10ms，因此想用零拷贝来做。
我目前是通过opencv读取图像后，再使用memcpy将img.data给inputs.men[0]->logical_addr，设备是rv1126。但是目前遇到了两个问题：
(1)：如果我每一次拷贝数据时都使用rknn_set_io_mem(看文档是不需要的，仅首次设置即可)，推理时间会变得特别长(15s)；即便是仅设置一次的情况下，第一帧的推理时长也会到15s
(2)：推理结果从outputs_mem[0]->logical_addr中拿出来时，结果全为0

请问产生这种现象的原因可能有哪些楠？网上找了很久都没找到类似的现象。。
谢谢！

作者: ggbond 时间: 2024-8-14 10:01
用外部的空间就要每次都rknn_set_io_mem ，不然每次都要把数据拷贝进来我也遇到了这个问题. 用rknn_query查询告诉我只用了15ms 但我时间测出来是150ms 不知道其中做了什么。我用他零拷贝demo里的模型就是没有这个问题加载自己的模型就遇到了，还有就是rknn_set_io_mem本身的耗时问题，综合下来还不如我自己拷贝的时间短

欢迎光临 Toybrick (https://t.rock-chips.com/)