|
我的量化模型使用通用API时,推理时间大概在14ms,但是上下文传输时数据拷贝也差不多有10ms,因此想用零拷贝来做。
我目前是通过opencv读取图像后,再使用memcpy将img.data给inputs.men[0]->logical_addr,设备是rv1126。但是目前遇到了两个问题:
(1):如果我每一次拷贝数据时都使用rknn_set_io_mem(看文档是不需要的,仅首次设置即可),推理时间会变得特别长(15s);即便是仅设置一次的情况下,第一帧的推理时长也会到15s
(2):推理结果从outputs_mem[0]->logical_addr中拿出来时,结果全为0
请问产生这种现象的原因可能有哪些楠?网上找了很久都没找到类似的现象。。
谢谢!
|
|