rknn.eval_perf测出来的时间跟我实际时间差距很大

[复制链接] · 发表于 2020-5-2 20:45:04

========================================================================
                           Performance
========================================================================
Layer ID Name                                        Time(us)
195       convolution.relu.pooling.layer2_2          932
1          leakyrelu.layer_3                         1847
196       convolution.relu.pooling.layer2_3          3524
3          leakyrelu.layer_3                         980
197       convolution.relu.pooling.layer2_2          497
5          leakyrelu.layer_3                         370
198       convolution.relu.pooling.layer2_2          589
7          leakyrelu.layer_3                         736
270       convolution.relu.pooling.layer2_2          1129
199       convolution.relu.pooling.layer2_3          2073
10       leakyrelu.layer_3                         492
200       convolution.relu.pooling.layer2_2          253
12       leakyrelu.layer_3                         187
201       convolution.relu.pooling.layer2_2          484
14       leakyrelu.layer_3                         370
271       convolution.relu.pooling.layer2_2          756
202       convolution.relu.pooling.layer2_2          253
17       leakyrelu.layer_3                         187
203       convolution.relu.pooling.layer2_2          473
19       leakyrelu.layer_3                         370
272       convolution.relu.pooling.layer2_2          512
204       convolution.relu.pooling.layer2_3          1946
22       leakyrelu.layer_3                         187
205       convolution.relu.pooling.layer2_2          157
24       leakyrelu.layer_3                         95
206       convolution.relu.pooling.layer2_2          429
26       leakyrelu.layer_3                         187
273       convolution.relu.pooling.layer2_2          140
207       convolution.relu.pooling.layer2_2          157
29       leakyrelu.layer_3                         95
208       convolution.relu.pooling.layer2_2          514
31       leakyrelu.layer_3                         187
274       convolution.relu.pooling.layer2_2          140
209       convolution.relu.pooling.layer2_2          157
34       leakyrelu.layer_3                         95
210       convolution.relu.pooling.layer2_2          493
36       leakyrelu.layer_3                         187
275       convolution.relu.pooling.layer2_2          140
211       convolution.relu.pooling.layer2_2          157
39       leakyrelu.layer_3                         95
212       convolution.relu.pooling.layer2_2          488
41       leakyrelu.layer_3                         187
276       convolution.relu.pooling.layer2_2          140
213       convolution.relu.pooling.layer2_2          157
44       leakyrelu.layer_3                         95
214       convolution.relu.pooling.layer2_2          508
46       leakyrelu.layer_3                         187
277       convolution.relu.pooling.layer2_2          140
215       convolution.relu.pooling.layer2_2          157
49       leakyrelu.layer_3                         95
216       convolution.relu.pooling.layer2_2          493
51       leakyrelu.layer_3                         187
278       convolution.relu.pooling.layer2_2          140
217       convolution.relu.pooling.layer2_2          157
54       leakyrelu.layer_3                         95
218       convolution.relu.pooling.layer2_2          523
56       leakyrelu.layer_3                         187
279       convolution.relu.pooling.layer2_2          140
219       convolution.relu.pooling.layer2_2          157
59       leakyrelu.layer_3                         95
220       convolution.relu.pooling.layer2_2          494
61       leakyrelu.layer_3                         187
280       convolution.relu.pooling.layer2_2          135
221       convolution.relu.pooling.layer2_3          2310
64       leakyrelu.layer_3                         95
222       convolution.relu.pooling.layer2_2          197
66       leakyrelu.layer_3                         50
223       convolution.relu.pooling.layer2_2          460
68       leakyrelu.layer_3                         95
281       convolution.relu.pooling.layer2_2          72
224       convolution.relu.pooling.layer2_2          197
71       leakyrelu.layer_3                         50
225       convolution.relu.pooling.layer2_2          650
73       leakyrelu.layer_3                         95
282       convolution.relu.pooling.layer2_2          72
226       convolution.relu.pooling.layer2_2          197
76       leakyrelu.layer_3                         50
227       convolution.relu.pooling.layer2_2          667
78       leakyrelu.layer_3                         95
283       convolution.relu.pooling.layer2_2          72
228       convolution.relu.pooling.layer2_2          197
81       leakyrelu.layer_3                         50
229       convolution.relu.pooling.layer2_2          682
83       leakyrelu.layer_3                         95
284       convolution.relu.pooling.layer2_2          72
230       convolution.relu.pooling.layer2_2          197
86       leakyrelu.layer_3                         50
231       convolution.relu.pooling.layer2_2          654
88       leakyrelu.layer_3                         95
285       convolution.relu.pooling.layer2_2          72
232       convolution.relu.pooling.layer2_2          197
91       leakyrelu.layer_3                         50
233       convolution.relu.pooling.layer2_2          702
93       leakyrelu.layer_3                         95
286       convolution.relu.pooling.layer2_2          72
234       convolution.relu.pooling.layer2_2          197
96       leakyrelu.layer_3                         50
235       convolution.relu.pooling.layer2_2          639
98       leakyrelu.layer_3                         95
287       convolution.relu.pooling.layer2_2          72
236       convolution.relu.pooling.layer2_2          197
101       leakyrelu.layer_3                         50
237       convolution.relu.pooling.layer2_2          692
103       leakyrelu.layer_3                         95
288       convolution.relu.pooling.layer2_2          69
238       convolution.relu.pooling.layer2_3          2644
106       leakyrelu.layer_3                         50
239       convolution.relu.pooling.layer2_2          235
108       leakyrelu.layer_3                         27
240       convolution.relu.pooling.layer2_2          1330
110       leakyrelu.layer_3                         50
289       convolution.relu.pooling.layer2_2          37
241       convolution.relu.pooling.layer2_2          235
113       leakyrelu.layer_3                         27
242       convolution.relu.pooling.layer2_2          1428
115       leakyrelu.layer_3                         50
290       convolution.relu.pooling.layer2_2          37
243       convolution.relu.pooling.layer2_2          235
118       leakyrelu.layer_3                         27
244       convolution.relu.pooling.layer2_2          1326
120       leakyrelu.layer_3                         50
291       convolution.relu.pooling.layer2_2          37
245       convolution.relu.pooling.layer2_2          235
123       leakyrelu.layer_3                         27
246       convolution.relu.pooling.layer2_2          1428
125       leakyrelu.layer_3                         50
292       convolution.relu.pooling.layer2_2          37
247       convolution.relu.pooling.layer2_2          235
128       leakyrelu.layer_3                         27
248       convolution.relu.pooling.layer2_2          1428
130       leakyrelu.layer_3                         50
249       convolution.relu.pooling.layer2_2          235
132       leakyrelu.layer_3                         27
250       convolution.relu.pooling.layer2_2          1428
134       leakyrelu.layer_3                         50
251       convolution.relu.pooling.layer2_2          235
136       leakyrelu.layer_3                         27
252       convolution.relu.pooling.layer2_2          1428
139       leakyrelu.layer_3                         50
254       convolution.relu.pooling.layer2_2          130
253       convolution.relu.pooling.layer2_2          66
140       leakyrelu.layer_3                         15
255       convolution.relu.pooling.layer2_2          321
144       leakyrelu.layer_3                         50
256       convolution.relu.pooling.layer2_2          719
146       leakyrelu.layer_3                         95
257       convolution.relu.pooling.layer2_2          197
148       leakyrelu.layer_3                         50
258       convolution.relu.pooling.layer2_2          719
150       leakyrelu.layer_3                         95
259       convolution.relu.pooling.layer2_2          197
152       leakyrelu.layer_3                         50
260       convolution.relu.pooling.layer2_2          718
155       leakyrelu.layer_3                         95
262       convolution.relu.pooling.layer2_2          212
261       convolution.relu.pooling.layer2_2          51
156       leakyrelu.layer_3                         27
263       convolution.relu.pooling.layer2_2          240
160       leakyrelu.layer_3                         95
162       leakyrelu.layer_3                         187
265       convolution.relu.pooling.layer2_2          157
164       leakyrelu.layer_3                         95
266       convolution.relu.pooling.layer2_2          541
166       leakyrelu.layer_3                         187
267       convolution.relu.pooling.layer2_2          157
168       leakyrelu.layer_3                         95
268       convolution.relu.pooling.layer2_2          540
170       leakyrelu.layer_3                         187
269       convolution.relu.pooling.layer2_2          372
Total Time(us): 60058
FPS(800MHz): 16.65

只看该作者 · 发表于 2020-5-2 20:46:46

实际上跑了10多分钟

只看该作者 · 发表于 2020-5-2 21:59:14

你不会把初始化环境和装载模型时间也算进去了把？
这里计算的只是模型推理时间，和实际运行时间会有差，但不至于差这么多

只看该作者 · 发表于 2020-5-3 10:37:06

jefferyzhang 发表于 2020-5-2 21:59
你不会把初始化环境和装载模型时间也算进去了把？
这里计算的只是模型推理时间，和实际运行时间会有差，但 ...

我是在pc上模拟的，板子在实验室，这学期估计回不了实验室了，现在在家里只能模拟，时间是我是统计得推理时间，也就是如果我拿到板子之后，在板子上运行这个模型，应该与eval_perf差不多吗？

只看该作者 · 发表于 2020-5-3 10:39:58

wu_ 发表于 2020-5-3 10:37
我是在pc上模拟的，板子在实验室，这学期估计回不了实验室了，现在在家里只能模拟，时间是我是统计得推理 ...

差不会很多，这个只是推理时间，你自己代码传输前后处理耗时是不包括在内的。

只看该作者 · 发表于 2020-5-3 10:54:18

jefferyzhang 发表于 2020-5-3 10:39
差不会很多，这个只是推理时间，你自己代码传输前后处理耗时是不包括在内的。
...

多谢了，也就是我论文里可以用这个数据做参考了

只看该作者 · 发表于 2020-5-3 11:12:14

wu_ 发表于 2020-5-3 10:54
多谢了，也就是我论文里可以用这个数据做参考了