RKNN内存分配与I/O时间疑问

[复制链接] · 发表于 2019-6-6 19:09:39

1. 调用内存查询可以看到网络所用内存，NPU memory 和 System memory是独立还是共用？大小是否可调？======================================================
         Memory Profile Info Dump
======================================================
System memory:
maximum allocation : 167.06 MiB
total allocation : 184.52 MiB
NPU memory:
maximum allocation : 38.08 MiB
total allocation : 48.97 MiB

Total memory:
maximum allocation : 205.14 MiB
total allocation : 233.50 MiB

INFO: When evaluating memory usage, we need consider
the size of model, current model size is: 6.62 MiB
======================================================

2. 对8-bit量化caffe检测model进行C++实验得到1000帧处理时间的平均值

1) `rknn_inputs_set` : 5.6ms
2) `rknn_run` : 0.6ms
3) `rknn_outputs_get` : 8.7ms

用RKNN_QUERY_PERF_RUN得到其中网络运行时间为1.8ms，那么rknn_outputs_get内部还做了什么工作？rknn_inputs_set内部做了什么工作？

只看该作者 · 发表于 2019-6-10 09:04:35

非公用，NPU有自己独立的2G的DDR

只看该作者 · 发表于 2019-6-10 14:46:29

jefferyzhang 发表于 2019-6-10 09:04
非公用，NPU有自己独立的2G的DDR

对8-bit量化caffe检测model进行C++实验得到1000帧处理时间的平均值. 用RKNN_QUERY_PERF_RUN得到其中网络运行时间为1.8ms, 那么rknn_outputs_get 8.7ms内部还做了什么工作？rknn_inputs_set 5.6ms内部做了什么工作？

只看该作者 · 发表于 2019-6-10 16:39:04

longsheng 发表于 2019-6-10 14:46
对8-bit量化caffe检测model进行C++实验得到1000帧处理时间的平均值. 用RKNN_QUERY_PERF_RUN得到其中网络 ...

从NPU到3399 DDR的时间，和从3399DDR到NPU的时间。
这和GPU独显原理是一样的，有个数据交互的拷贝过程。

只看该作者 · 发表于 2019-8-13 12:46:09

请问Memory Profile Info Dump是如何调出来的？