关于裁剪后的mobilenet ssd模型转换问题

你好，
       我对自己裁剪后的网络运行咱们的test.py时遇到这个问题，请问这个是什么原因或者怎么调试呢？
       谢谢！




问题已解决。
http://t.rock-chips.com/forum.php?mod=viewthread&tid=1275&page=1&extra=#pid8967

1. 首先你自己这个网络能不能被tf正常推理
2. 其次转换脚本里输入输出是不是变了，配置对了没

jefferyzhang 发表于 2020-6-2 09:57
1. 首先你自己这个网络能不能被tf正常推理
2. 其次转换脚本里输入输出是不是变了，配置对了没 ...

   你好，
1.我用的是caffe模型，自己测试检测没有问题的。
2.输入大小确实有改变，mobilenet裁剪了一半的卷积，ssd裁剪了一半的金字塔层。
3.输出是仿照原始ssd的，是detection_out

jefferyzhang 发表于 2020-6-2 09:57
1. 首先你自己这个网络能不能被tf正常推理
2. 其次转换脚本里输入输出是不是变了，配置对了没 ...

你好，请问咱们的测试demo中的priorbox.txt是如何产生的呢？

ylc123 发表于 2020-6-2 11:56
你好，请问咱们的测试demo中的priorbox.txt是如何产生的呢？

训练时候是啥，这里就是啥啊，算出来的anchor boxes啊。

   你好，又有问题了-.-1.我是在示例的caffe目录里新建了一个自己的mobilenet ssd文件夹，但为什么输出的是TensorFlow，如图箭头1和2。
2.自己去掉detectionout层，然后根据论坛里的https://github.com/Pinnh/NPU_CaffeSSD网址提取出pribox，并保存，运行时出现了输入不匹配问题，如箭头3所指，而且输出和模型实际输出不匹配，即为空（忘记resize图片大小为自己模型的大小，resize之后，input不匹配问题消失，但出现W Unhandle status: the input shape of reshape layer mbox_conf_reshape_165 is not 4-Ddone
--> Building model
W The target_platform is not set in config, using default target platform rk1808.）。
3.自己的理解是dataset.txt里面是测试图片的路径？那为什么代码里面还会有多处写读取测试图片？不是很理解。
4.代码如下，是根据咱们的vgg ssd中的套用的。
   谢谢解答。

1. import os
   
2. import math
   
3. import numpy as np
   
4. import cv2
   
5. from rknn.api import RKNN
   
6. 
   
7. import PIL.Image as Image
   
8. import PIL.ImageDraw as ImageDraw
   
9. import PIL.ImageFont as ImageFont
   
10. 
    
11. np.set_printoptions(threshold=np.inf)
    
12. 
    
13. CLASSES = ('background','head')
    
14.         
    
15. NUM_CLS = 2
    
16. 
    
17. CONF_THRESH = 0.5
    
18. NMS_THRESH = 0.45
    
19. 
    
20. def IntersectBBox(box1, box2):
    
21.     if box1[0]>box2[2] or box1[2]<box2[0] or box1[1]>box2[3] or box1[3]<box2[1]:
    
22.         return 0
    
23.     else:
    
24.         area1 = (box1[2] - box1[0]) * (box1[3] - box1[1])
    
25.         area2 = (box2[2] - box2[0]) * (box2[3] - box2[1])
    
26. 
    
27.         xx1 = max(box1[0], box2[0])
    
28.         yy1 = max(box1[1], box2[1])
    
29.         xx2 = min(box1[2], box2[2])
    
30.         yy2 = min(box1[3], box2[3])
    
31. 
    
32.         w = max(0, xx2-xx1)
    
33.         h = max(0, yy2-yy1)
    
34. 
    
35.         ovr = w*h / (area1 + area2 - w*h)
    
36.         return ovr
    
37. 
    
38. 
    
39. def ssd_post_process(conf_data, loc_data):
    
40. 
    
41.     prior_data = np.loadtxt('priorbox_ylc.txt', dtype = np.float32)
    
42. 
    
43.     prior_bboxes = prior_data[:len(loc_data)]
    
44.     prior_variances = prior_data[len(loc_data):]
    
45. 
    
46.     prior_num = int(len(loc_data) / 4) # 8732
    
47.    
    
48.     conf_data = conf_data.reshape(-1,2)
    
49.    
    
50.     idx_class_conf = []
    
51.     bboxes = []
    
52.    
    
53.     # conf
    
54.     for prior_idx in range(0,prior_num):
    
55.         max_val = np.max(conf_data[prior_idx])
    
56.         max_idx = np.argmax(conf_data[prior_idx])
    
57.         if max_val > CONF_THRESH and max_idx != 0:
    
58.             idx_class_conf.append([prior_idx, max_idx, max_val])
    
59.    
    
60.     #print(len(idx_class_conf))   
    
61.             
    
62.     # boxes
    
63.     for i in range(0,prior_num):
    
64.         prior_w = prior_bboxes[4*i+2] - prior_bboxes[4*i]
    
65.         prior_h = prior_bboxes[4*i+3] - prior_bboxes[4*i+1]
    
66.         prior_center_x = (prior_bboxes[4*i+2] + prior_bboxes[4*i]) / 2
    
67.         prior_center_y = (prior_bboxes[4*i+3] + prior_bboxes[4*i+1]) / 2
    
68.       
    
69.         bbox_center_x = prior_variances[4*i+0] * loc_data[4*i+0] * prior_w + prior_center_x
    
70.         bbox_center_y = prior_variances[4*i+1] * loc_data[4*i+1] * prior_h + prior_center_y
    
71.         bbox_w        = math.exp(prior_variances[4*i+2] * loc_data[4*i+2]) * prior_w
    
72.         bbox_h        = math.exp(prior_variances[4*i+3] * loc_data[4*i+3]) * prior_h
    
73.         
    
74.         tmp = []
    
75.         tmp.append(max(min(bbox_center_x - bbox_w / 2., 1), 0))
    
76.         tmp.append(max(min(bbox_center_y - bbox_h / 2., 1), 0))
    
77.         tmp.append(max(min(bbox_center_x + bbox_w / 2., 1), 0))
    
78.         tmp.append(max(min(bbox_center_y + bbox_h / 2., 1), 0))
    
79.         bboxes.append(tmp)
    
80.    
    
81.     print('idx_class_conf = ',len(idx_class_conf))
    
82.    
    
83.     #nms
    
84.     cur_class_num = 0
    
85.     idx_class_conf_ = []
    
86.     for i in range(0, len(idx_class_conf)):
    
87.         keep = True
    
88.         k = 0
    
89.         while k < cur_class_num:
    
90.             if keep:
    
91.                 ovr = IntersectBBox(bboxes[idx_class_conf[i][0]], bboxes[idx_class_conf_[k][0]])
    
92.                 if idx_class_conf_[k][1]==idx_class_conf[i][1] and ovr > NMS_THRESH:
    
93.                     if idx_class_conf_[k][2]<idx_class_conf[i][2]:
    
94.                         idx_class_conf_.pop(k)
    
95.                         idx_class_conf_.append(idx_class_conf[i])
    
96.                     keep = False
    
97.                     break
    
98.                 k += 1
    
99.             else:
    
100.                 break
     
101.         if keep:
     
102.             idx_class_conf_.append(idx_class_conf[i])
     
103.             cur_class_num += 1
     
104.                                                                   
     
105.     print(idx_class_conf_)
     
106.       
     
107.     box_class_score = []     
     
108.    
     
109.     for i in range(0, len(idx_class_conf_)):
     
110.         bboxes[idx_class_conf_[i][0]].append(idx_class_conf_[i][1])
     
111.         bboxes[idx_class_conf_[i][0]].append(idx_class_conf_[i][2])
     
112.         box_class_score.append( bboxes[idx_class_conf_[i][0]])
     
113.         
     
114.     img = cv2.imread('./123.jpg')
     
115.     img_pil = Image.fromarray(img)
     
116.     draw = ImageDraw.Draw(img_pil)
     
117. 
     
118.     font = ImageFont.load_default()
     
119.    
     
120.     for i in range(0, len(box_class_score)):
     
121.         x1 = int(box_class_score[i][0]*img.shape[1])
     
122.         y1 = int(box_class_score[i][1]*img.shape[0])
     
123.         x2 = int(box_class_score[i][2]*img.shape[1])
     
124.         y2 = int(box_class_score[i][3]*img.shape[0])
     
125.         color = (0, int(box_class_score[i][4]/20.0*255), 255)
     
126.         draw.line([(x1, y1), (x1, y2), (x2 , y2),
     
127.              (x2 , y1), (x1, y1)], width=2, fill=color)
     
128.         display_str = CLASSES[box_class_score[i][4]] +  ":" + str(box_class_score[i][5])
     
129.         display_str_height = np.ceil((1 + 2 * 0.05) * font.getsize(display_str)[1])+1
     
130.         
     
131.         if y1 > display_str_height:
     
132.             text_bottom = y1
     
133.         else:
     
134.             text_bottom = y1 + display_str_height
     
135.         
     
136.         text_width, text_height = font.getsize(display_str)
     
137.         margin = np.ceil(0.05 * text_height)
     
138.         draw.rectangle([(x1, text_bottom-text_height-2*margin), (x1+text_width, text_bottom)],fill=color)
     
139.         draw.text((x1+margin, text_bottom-text_height-margin), display_str, fill='black', font=font)
     
140. 
     
141.     np.copyto(img, np.array(img_pil))
     
142.     cv2.imwrite("result.jpg", img)
     
143. 
     
144. if __name__ == '__main__':
     
145. 
     
146. 
     
147.     # Create RKNN object
     
148.     rknn = RKNN(verbose=False)
     
149. 
     
150.     # pre-process config
     
151.     print('--> config model')
     
152.     rknn.config(channel_mean_value='103.94 116.78 123.68 1', reorder_channel='2 1 0')
     
153.     print('done')
     
154. 
     
155.     # Load tensorflow model
     
156.     print('--> Loading model')
     
157.     ret = rknn.load_caffe(model='./mobilenet_v2_ssd_truncated2.prototxt',
     
158.                           proto='caffe',
     
159.                           blobs='./mobilenet_iter_38200.caffemodel')
     
160.     if ret != 0:
     
161.         print("---------------------------------------------")
     
162.         print('Load model failed! Ret = {}'.format(ret))
     
163.         exit(ret)
     
164.     print('done')
     
165. 
     
166.     # Build model
     
167.     print('--> Building model')
     
168.     ret = rknn.build(do_quantization=False, dataset='./dataset.txt')
     
169.     if ret != 0:
     
170.         print('Build model failed!')
     
171.         exit(ret)
     
172.     print('done')
     
173. 
     
174.     # Export rknn model
     
175.     print('--> Export RKNN model')
     
176.     ret = rknn.export_rknn('./mobilenet_v2_ssd.rknn')
     
177.     if ret != 0:
     
178.         print('Export rknn failed!')
     
179.         exit(ret)
     
180.     print('done')
     
181. 
     
182.     # Set inputs
     
183.     img = cv2.imread('./123.jpg')
     
184.     img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
     
185. 
     
186.     print('--> Init runtime environment')
     
187.     ret = rknn.init_runtime()
     
188.     if ret != 0:
     
189.         print('Init runtime environment failed')
     
190.         exit(ret)
     
191.     print('done')
     
192. 
     
193.     # Inference
     
194.     print('--> Running model')
     
195.     outputs = rknn.inference(inputs=[img])
     
196.     print('outputs = ',len(outputs),type(outputs),len(outputs[0].reshape((-1, 1))),len(outputs[1].reshape((-1, 1))))
     
197.     print('done')
     
198. 
     
199.     outputs[0] = outputs[0].reshape((-1, 1))
     
200.     outputs[1] = outputs[1].reshape((-1, 1))
     
201.     ssd_post_process(outputs[1], outputs[0])
     
202. 
     
203.     rknn.release()

复制代码