速度测量似乎不准

          在rk3399pro 上运行，我分别用time.time() 和eval_perf测量运行时间，发现两者相差很大。
           time 测量是80ms, 而eval_perf 是43.5 ms，差距比较大。

D RKNNAPI: ==============================================
D RKNNAPI: RKNN VERSION:
D RKNNAPI:   API: 0.9.5 (c12de8a build: 2019-05-06 20:18:39)
D RKNNAPI:   DRV: 0.9.6 (c12de8a build: 2019-05-06 20:10:17)
D RKNNAPI: ==============================================
done
rknn only 117 ms
rknn only 78 ms
total 96 ms
--> Begin evaluate model performance
========================================================================
                               Performance                              
========================================================================
Total Time(us): 43505
FPS: 22.99
========================================================================

测试用的代码如下：
  

1. img = img_preprocess(imgBGR)
   
2. 
   
3.     print('--> load rknn model')
   
4.     ret = rknn.load_rknn('./rknn/efficient_b2.rknn')
   
5.     if ret != 0:
   
6.         print('load rknn  failed')
   
7.         exit(ret)
   
8.     print('done')
   
9. 
   
10.     print('--> Init runtime environment')
    
11.     ret = rknn.init_runtime()
    
12.     if ret != 0:
    
13.         print('Init runtime environment failed')
    
14.         exit(ret)
    
15.     print('done')
    
16. 
    
17. 
    
18.     ########## warm up
    
19.     ########## warm up
    
20.     # sdk_version = rknn.get_sdk_version()
    
21.     # print(sdk_version)
    
22. 
    
23.     # Inference
    
24.     start = time.time()
    
25.     #print('--> Running model ')
    
26.     outputs = rknn.inference(inputs=[img])
    
27.     #show_outputs(outputs)
    
28.     #print(outputs)
    
29.     end = time.time()
    
30.     print('rknn only %.f ms' % ((end - start) * 1000))
    
31. 
    
32.     # Inference
    
33.     start = time.time()
    
34.     #print('--> Running model ')
    
35.     outputs = rknn.inference(inputs=[img])
    
36.     # show_outputs(outputs)
    
37.     # print(outputs)
    
38.     end = time.time()
    
39.     print('rknn only %.f ms' % ((end - start) * 1000))
    
40. 
    
41.     out = get_multi_detect(anchors,outputs[2],outputs[0],outputs[1])
    
42.     end = time.time()
    
43.     print('total %.f ms' % ((end - start) * 1000))
    
44.     #print(out)
    
45. 
    
46. 
    
47.     #imshow_boxes_p8(imgBGR,out)
    
48.     #perf
    
49.     print('--> Begin evaluate model performance')
    
50.     perf_results = rknn.eval_perf(inputs=[img])
    
51.     print('done')
    
52. 
    
53.     rknn.release()

复制代码

eval_perf出来的是在npu的时间，不包括传输过程和其他时间损耗。实际时间是会比eval_perf的时间偏大些。

偏大可以理解，但是偏得有点多了。