多个计算棒问题

我在PC Ubuntu 16.04 上接了2个1808计算棒，预想是让它们同时处理2张图片，但是通过输出的日志来看，感觉是串行并不是并行的。有没有人做过相关的设计的，可以一起探讨下。

下面是我的测试代码，其实就是例程mobilenet_v1稍微改写了一点：

1. import numpy as np
   
2. import cv2
   
3. import time
   
4. from multiprocessing import Process
   
5. from rknn.api import RKNN
   
6. 
   
7. def get_time_stamp():
   
8.     ct = time.time()
   
9.     local_time = time.localtime(ct)
   
10.     data_head = time.strftime("%Y-%m-%d %H:%M:%S", local_time)
    
11.     data_secs = (ct - int(ct)) * 1000
    
12.     time_stamp = "%s.%03d" % (data_head, data_secs)
    
13.     return time_stamp
    
14. 
    
15. def show_outputs(outputs):
    
16.     output = outputs[0][0]
    
17.     output_sorted = sorted(output, reverse=True)
    
18.     top5_str = 'mobilenet_v1\n-----TOP 5-----\n'
    
19.     for i in range(5):
    
20.         value = output_sorted[i]
    
21.         index = np.where(output == value)
    
22.         for j in range(len(index)):
    
23.             if (i + j) >= 5:
    
24.                 break
    
25.             if value > 0:
    
26.                 topi = '{}: {}\n'.format(index[j], value)
    
27.             else:
    
28.                 topi = '-1: 0.0\n'
    
29.             top5_str += topi
    
30.     print(top5_str)
    
31. 
    
32. def show_perfs(perfs):
    
33.     perfs = 'perfs: {}\n'.format(outputs)
    
34.     print(perfs)
    
35. 
    
36. def infer_rknn(img_name, device_id):
    
37.     rknn = RKNN()
    
38.    
    
39.     # pre-process config
    
40.     print('--> config model')
    
41.     rknn.config(channel_mean_value='103.94 116.78 123.68 58.82', reorder_channel='0 1 2')
    
42.     print('done')
    
43. 
    
44.     rknn.load_rknn('./mobilenet_v1.rknn')
    
45.     ret = rknn.init_runtime(target='rk1808', device_id = device_id )
    
46.     if ret != 0:
    
47.         print('Init runtime environment failed')
    
48.         exit(ret)
    
49.    
    
50.     img = cv2.imread(img_name)
    
51.     img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    
52. 
    
53. 
    
54.     print(device_id + '--> Running model')
    
55.     smp = get_time_stamp()
    
56.     print(device_id +':'+ smp)
    
57.    
    
58.     outputs = rknn.inference(inputs=[img])
    
59.     show_outputs(outputs)
    
60.         
    
61.     smp = get_time_stamp()
    
62.     print(device_id +':'+ smp)
    
63.             
    
64. 
    
65. if __name__ == '__main__':
    
66.     p_infer1 = Process(target=infer_rknn, args=('dog1.jpg', 'TS018080190600023'))
    
67.     p_infer2 = Process(target=infer_rknn, args=('dog2.jpg', 'TS018080190600068'))
    
68.    
    
69.     p_infer1.start()
    
70.     p_infer2.start()

复制代码结果显示：
TS018080190600068--> Running model
TS018080190600068:2019-08-14 15:47:26.514
mobilenet_v1
-----TOP 5-----
[156]: 0.8837890625
[155]: 0.0677490234375
[188 205]: 0.00867462158203125
[188 205]: 0.00867462158203125
[263]: 0.0057525634765625

TS018080190600068:2019-08-14 15:47:26.592
TS018080190600023--> Running model
TS018080190600023:2019-08-14 15:47:26.819
mobilenet_v1
-----TOP 5-----
[156]: 0.8837890625
[155]: 0.0677490234375
[188 205]: 0.00867462158203125
[188 205]: 0.00867462158203125
[263]: 0.0057525634765625

TS018080190600023:2019-08-14 15:47:26.885



如果按预期的话，编号23和68的计算棒应该是差不过同步的吧？但实际显示在推理这边还是按先后顺序来的，是我的测试方法有问题还是？

两根计算棒，模型加载和推理都是多线程进行，没有所谓的先后顺序。
你看到的log先后打印是由于RKNN-toolkit把打印输出重定向导致的，其实npu的推理都是异步的。

bobby_jiang 发表于 2019-8-15 09:32
两根计算棒，模型加载和推理都是多线程进行，没有所谓的先后顺序。
你看到的log先后打印是由于RKNN-toolkit ...

谢谢，那我对比下两根计算棒和单独一个跑60张图的时间，这样的话应该不会受到log影响

bobby_jiang 发表于 2019-8-15 09:32
两根计算棒，模型加载和推理都是多线程进行，没有所谓的先后顺序。
你看到的log先后打印是由于RKNN-toolkit ...

我用一个pro+1808,可是跑出来也是发现是串行的.