Toybrick

标题: RKNN内存分配与I/O时间疑问 [打印本页]

作者: longsheng 时间: 2019-6-6 19:09
标题: RKNN内存分配与I/O时间疑问
1. 调用内存查询可以看到网络所用内存，NPU memory 和 System memory是独立还是共用？大小是否可调？======================================================
         Memory Profile Info Dump
======================================================
System memory:
maximum allocation : 167.06 MiB
total allocation : 184.52 MiB
NPU memory:
maximum allocation : 38.08 MiB
total allocation : 48.97 MiB

Total memory:
maximum allocation : 205.14 MiB
total allocation : 233.50 MiB

INFO: When evaluating memory usage, we need consider
the size of model, current model size is: 6.62 MiB
======================================================

2. 对8-bit量化caffe检测model进行C++实验得到1000帧处理时间的平均值

1) `rknn_inputs_set` : 5.6ms
2) `rknn_run` : 0.6ms
3) `rknn_outputs_get` : 8.7ms

用RKNN_QUERY_PERF_RUN得到其中网络运行时间为1.8ms，那么rknn_outputs_get内部还做了什么工作？rknn_inputs_set内部做了什么工作？

作者: jefferyzhang 时间: 2019-6-10 09:04
非公用，NPU有自己独立的2G的DDR

作者: longsheng 时间: 2019-6-10 14:46

jefferyzhang 发表于 2019-6-10 09:04
非公用，NPU有自己独立的2G的DDR

对8-bit量化caffe检测model进行C++实验得到1000帧处理时间的平均值. 用RKNN_QUERY_PERF_RUN得到其中网络运行时间为1.8ms, 那么rknn_outputs_get 8.7ms内部还做了什么工作？rknn_inputs_set 5.6ms内部做了什么工作？

作者: jefferyzhang 时间: 2019-6-10 16:39

longsheng 发表于 2019-6-10 14:46
对8-bit量化caffe检测model进行C++实验得到1000帧处理时间的平均值. 用RKNN_QUERY_PERF_RUN得到其中网络 ...

从NPU到3399 DDR的时间，和从3399DDR到NPU的时间。
这和GPU独显原理是一样的，有个数据交互的拷贝过程。

作者: ldol31627 时间: 2019-8-13 12:46
请问Memory Profile Info Dump是如何调出来的？

欢迎光临 Toybrick (https://t.rock-chips.com/)