Toybrick

标题: 多个计算棒问题 [打印本页]
作者: WuKing    时间: 2019-8-14 16:01
标题: 多个计算棒问题
我在PC Ubuntu 16.04 上接了2个1808计算棒，预想是让它们同时处理2张图片，但是通过输出的日志来看，感觉是串行并不是并行的。有没有人做过相关的设计的，可以一起探讨下。

下面是我的测试代码，其实就是例程mobilenet_v1稍微改写了一点：
  1. import numpy as np
  2. import cv2
  3. import time
  4. from multiprocessing import Process
  5. from rknn.api import RKNN

  7. def get_time_stamp():
  8.     ct = time.time()
  9.     local_time = time.localtime(ct)
  10.     data_head = time.strftime("%Y-%m-%d %H:%M:%S", local_time)
  11.     data_secs = (ct - int(ct)) * 1000
  12.     time_stamp = "%s.%03d" % (data_head, data_secs)
  13.     return time_stamp

  15. def show_outputs(outputs):
  16.     output = outputs[0][0]
  17.     output_sorted = sorted(output, reverse=True)
  18.     top5_str = 'mobilenet_v1\n-----TOP 5-----\n'
  19.     for i in range(5):
  20.         value = output_sorted[i]
  21.         index = np.where(output == value)
  22.         for j in range(len(index)):
  23.             if (i + j) >= 5:
  24.                 break
  25.             if value > 0:
  26.                 topi = '{}: {}\n'.format(index[j], value)
  27.             else:
  28.                 topi = '-1: 0.0\n'
  29.             top5_str += topi
  30.     print(top5_str)

  32. def show_perfs(perfs):
  33.     perfs = 'perfs: {}\n'.format(outputs)
  34.     print(perfs)

  36. def infer_rknn(img_name, device_id):
  37.     rknn = RKNN()
  38.    
  39.     # pre-process config
  40.     print('--> config model')
  41.     rknn.config(channel_mean_value='103.94 116.78 123.68 58.82', reorder_channel='0 1 2')
  42.     print('done')

  44.     rknn.load_rknn('./mobilenet_v1.rknn')
  45.     ret = rknn.init_runtime(target='rk1808', device_id = device_id )
  46.     if ret != 0:
  47.         print('Init runtime environment failed')
  48.         exit(ret)
  49.    
  50.     img = cv2.imread(img_name)
  51.     img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)


  54.     print(device_id + '--> Running model')
  55.     smp = get_time_stamp()
  56.     print(device_id +':'+ smp)
  57.    
  58.     outputs = rknn.inference(inputs=[img])
  59.     show_outputs(outputs)
  60.         
  61.     smp = get_time_stamp()
  62.     print(device_id +':'+ smp)
  63.             

  65. if __name__ == '__main__':
  66.     p_infer1 = Process(target=infer_rknn, args=('dog1.jpg', 'TS018080190600023'))
  67.     p_infer2 = Process(target=infer_rknn, args=('dog2.jpg', 'TS018080190600068'))
  68.    
  69.     p_infer1.start()
  70.     p_infer2.start()
复制代码结果显示：
TS018080190600068--> Running model
TS018080190600068:2019-08-14 15:47:26.514
mobilenet_v1
-----TOP 5-----
[156]: 0.8837890625
[155]: 0.0677490234375
[188 205]: 0.00867462158203125
[188 205]: 0.00867462158203125
[263]: 0.0057525634765625

TS018080190600068:2019-08-14 15:47:26.592
TS018080190600023--> Running model
TS018080190600023:2019-08-14 15:47:26.819
mobilenet_v1
-----TOP 5-----
[156]: 0.8837890625
[155]: 0.0677490234375
[188 205]: 0.00867462158203125
[188 205]: 0.00867462158203125
[263]: 0.0057525634765625

TS018080190600023:2019-08-14 15:47:26.885



如果按预期的话，编号23和68的计算棒应该是差不过同步的吧？但实际显示在推理这边还是按先后顺序来的，是我的测试方法有问题还是？
作者: bobby_jiang    时间: 2019-8-15 09:32
两根计算棒，模型加载和推理都是多线程进行，没有所谓的先后顺序。
你看到的log先后打印是由于RKNN-toolkit把打印输出重定向导致的，其实npu的推理都是异步的。
作者: WuKing    时间: 2019-8-15 09:50
bobby_jiang 发表于 2019-8-15 09:32
两根计算棒，模型加载和推理都是多线程进行，没有所谓的先后顺序。
你看到的log先后打印是由于RKNN-toolkit ...

谢谢，那我对比下两根计算棒和单独一个跑60张图的时间，这样的话应该不会受到log影响
作者: xiaqing10    时间: 2019-8-27 11:16
bobby_jiang 发表于 2019-8-15 09:32
两根计算棒，模型加载和推理都是多线程进行，没有所谓的先后顺序。
你看到的log先后打印是由于RKNN-toolkit ...

我用一个pro+1808,可是跑出来也是发现是串行的.




欢迎光临 Toybrick (https://t.rock-chips.com/) Powered by Discuz! X3.3