rknn例子中ssd_mobilenet_v2修改ssd_mobilenet_v2.quantization.cfg的问题

运行完step1.py后需要修改配置文件

1. Please modify ssd_mobilenet_v2.quantization.cfg!
   
2. ==================================================================================================
   
3. Modify method:
   
4. 1. delete @FeatureExtractor/MobilenetV2/expanded_conv/depthwise/depthwise_227:weight and its value
   
5. 2. delete @FeatureExtractor/MobilenetV2/expanded_conv/depthwise/depthwise_227:bias and its value
   
6. 3. delete @FeatureExtractor/MobilenetV2/Conv/Relu6_228:out0 and its value
   
7. ==================================================================================================
   
8. Original quantization profile and modified quantization profile diff shows in file quantization_profile.diff
   

复制代码我的问题是：为什么要修改这些，这些层作用是啥
我用tensorflow的object detection API训练得到的pb文件，转换完成之后，quantization.cfg文件并没有这些层，我用Netron看了下例子中提供的ssd_mobilenet_v2.pb网络，网络结构与tensorflow API训练得到的模型并不一样，应该是你们做了修改，对于这种情况，需要修改quantization.cfg文件吗，应该如何修改。


我试着不修改quantization.cfg直接运行step3.py，出现如下错误

1. W [rknn_inputs_set:1271] warning: inputs[0] expected input len is 270000, but actual len is 921600!
   
2. ASSERT in NeuralNet.cpp.getNNInst(1471): (m_NnInst.outImageZeroPoint == 0x0) && "only UINT8 support tensor flow quantization\n"
   
3. terminate called after throwing an instance of 'bool'
   
4. Aborted (core dumped)

复制代码我将仿照ssd_mobilenet_v2.quantization.cfg将我自己模型生成的quantization.cfg文件倒数第二层删除，step3.py可以跑通，但是结果全错。

求大佬帮助啊，在文档里看到这个，但是不修改会报错。。求大佬教。。。

had_in 发表于 2020-5-12 11:39
求大佬帮助啊，在文档里看到这个，但是不修改会报错。。求大佬教。。。
...

精度没问题的情况下。你不需要修改文件。

大佬求教，我将tensorflow的ssd_mobilenet_v2_coco_2018_03_29模型转换成功并且也能够正常预测，但是基于这个模型训练的网络，同样的转换方式，发现结果并不正确，我发现输出的类别信息中，全部是背景类别，我的模型配置文件如下所示。

1. # SSD with Mobilenet v2, configured for egohands dataset.
   
2. # This file was extracted modified from 'pipeline.config' in
   
3. # http://download.tensorflow.org/models/object_detection/ssd_mobilenet_v2_coco_2018_03_29.tar.gz
   
4. 
   
5. model {
   
6.   ssd {
   
7.     num_classes: 2
   
8.     box_coder {
   
9.       faster_rcnn_box_coder {
   
10.         y_scale: 10.0
    
11.         x_scale: 10.0
    
12.         height_scale: 5.0
    
13.         width_scale: 5.0
    
14.       }
    
15.     }
    
16.     matcher {
    
17.       argmax_matcher {
    
18.         matched_threshold: 0.5
    
19.         unmatched_threshold: 0.5
    
20.         ignore_thresholds: false
    
21.         negatives_lower_than_unmatched: true
    
22.         force_match_for_each_row: true
    
23.       }
    
24.     }
    
25.     similarity_calculator {
    
26.       iou_similarity {
    
27.       }
    
28.     }
    
29.     anchor_generator {
    
30.       ssd_anchor_generator {
    
31.         num_layers: 6
    
32.         min_scale: 0.05
    
33.         max_scale: 0.95
    
34.         aspect_ratios: 1.0
    
35.         aspect_ratios: 2.0
    
36.         aspect_ratios: 0.5
    
37.         aspect_ratios: 3.0
    
38.         aspect_ratios: 0.3333
    
39.       }
    
40.     }
    
41.     image_resizer {
    
42.       fixed_shape_resizer {
    
43.         height: 300
    
44.         width: 300
    
45.       }
    
46.     }
    
47.     box_predictor {
    
48.       convolutional_box_predictor {
    
49.         min_depth: 0
    
50.         max_depth: 0
    
51.         num_layers_before_predictor: 0
    
52.         use_dropout: false
    
53.         dropout_keep_probability: 0.8
    
54.         kernel_size: 3
    
55.         box_code_size: 4
    
56.         apply_sigmoid_to_scores: false
    
57.         conv_hyperparams {
    
58.           activation: RELU_6
    
59.           regularizer {
    
60.             l2_regularizer {
    
61.               weight: 0.00004
    
62.             }
    
63.           }
    
64.           initializer {
    
65.             truncated_normal_initializer {
    
66.               stddev: 0.03
    
67.               mean: 0.0
    
68.             }
    
69.           }
    
70.           batch_norm {
    
71.             train: true
    
72.             scale: true
    
73.             center: true
    
74.             decay: 0.9997
    
75.             epsilon: 0.001
    
76.           }
    
77.         }
    
78.       }
    
79.     }
    
80.     feature_extractor {
    
81.       type: "ssd_mobilenet_v2"
    
82.       min_depth: 16
    
83.       depth_multiplier: 1.0
    
84.       conv_hyperparams {
    
85.         activation: RELU_6
    
86.         regularizer {
    
87.           l2_regularizer {
    
88.             weight: 4e-05
    
89.           }
    
90.         }
    
91.         initializer {
    
92.           truncated_normal_initializer {
    
93.             stddev: 0.03
    
94.             mean: 0.0
    
95.           }
    
96.         }
    
97.         batch_norm {
    
98.           train: true
    
99.           scale: true
    
100.           center: true
     
101.           decay: 0.9997
     
102.           epsilon: 0.001
     
103.         }
     
104.       }
     
105.       #batch_norm_trainable: true
     
106.       use_depthwise: true
     
107.     }
     
108.     loss {
     
109.       classification_loss {
     
110.         weighted_sigmoid {
     
111.         }
     
112.       }
     
113.       localization_loss {
     
114.         weighted_smooth_l1 {
     
115.         }
     
116.       }
     
117.       hard_example_miner {
     
118.         num_hard_examples: 3000
     
119.         iou_threshold: 0.99
     
120.         loss_type: CLASSIFICATION
     
121.         max_negatives_per_positive: 3
     
122.         min_negatives_per_image: 3
     
123.       }
     
124.       classification_weight: 1.0
     
125.       localization_weight: 1.0
     
126.     }
     
127.     normalize_loss_by_num_matches: true
     
128.     post_processing {
     
129.       batch_non_max_suppression {
     
130.         score_threshold: 1e-8
     
131.         iou_threshold: 0.6
     
132.         max_detections_per_class: 100
     
133.         max_total_detections: 100
     
134.       }
     
135.       score_converter: SIGMOID
     
136.     }
     
137.   }
     
138. }
     
139. 
     
140. train_config {
     
141.   batch_size: 24
     
142.   optimizer {
     
143.     rms_prop_optimizer {
     
144.       learning_rate {
     
145.         exponential_decay_learning_rate {
     
146.           initial_learning_rate: 0.004
     
147.           decay_steps: 1000
     
148.           decay_factor: 0.8
     
149.         }
     
150.       }
     
151.       momentum_optimizer_value: 0.9
     
152.       decay: 0.9
     
153.       epsilon: 1.0
     
154.     }
     
155.   }
     
156.   fine_tune_checkpoint: "ssd_mobilenet_v2_coco_2018_03_29/model.ckpt"
     
157.   fine_tune_checkpoint_type: "detection"
     
158.   num_steps: 20000
     
159.   data_augmentation_options {
     
160.     random_horizontal_flip {
     
161.     }
     
162.   }
     
163.   data_augmentation_options {
     
164.     ssd_random_crop {
     
165.     }
     
166.   }
     
167. }
     
168. 
     
169. train_input_reader {
     
170.   tf_record_input_reader {
     
171.     input_path: "data/pill_case.tfrecord"
     
172.   }
     
173.   label_map_path: "data/pill_case_label_map.txt"
     
174. }
     
175. 
     
176. eval_config {
     
177.   num_examples: 500
     
178.   max_evals: 10
     
179.   use_moving_averages: false
     
180. }
     
181. 
     
182. eval_input_reader {
     
183.   tf_record_input_reader {
     
184.     input_path: "data/pill_case.tfrecord"
     
185.   }
     
186.   label_map_path: "data/pill_case_label_map.txt"
     
187.   shuffle: false
     
188.   num_readers: 1
     
189. }
     

复制代码训练得到的模型我测试过，效果是正常的，但是转换完成之后，检测不出目标。在示例代码step1.py中有如下一行代码

1. rknn.config(channel_mean_value='127.5 127.5 127.5 128', reorder_channel='0 1 2', quantized_dtype='asymmetric_quantized-u8')

复制代码在测试ssd_mobilenet_v2_coco_2018_03_29模型时，我这个参数不变，转换完成后能够正常预测，但是换成自己训练的模型，转换完成后无法检测目标，我检查了下concat_1节点的输出信息，发现预测的类别信息中都是背景。
实际应用中我输入给模型的图片并不作归一化，所以我将上面的代码改成

1. rknn.config(channel_mean_value='0 0 0 1', reorder_channel='0 1 2', quantized_dtype='asymmetric_quantized-u8')

复制代码但是转换完成后，结果依旧不正确。

菜鸟已经不知路在何方，求大神指教该怎么调试。这里附上模型地址，求教。。。
https://pan.baidu.com/s/13k_uSwMMMll4TKCyueT03A
提取码：6ytn

had_in 发表于 2020-5-13 10:59
大佬求教，我将tensorflow的ssd_mobilenet_v2_coco_2018_03_29模型转换成功并且也能够正常预测，但是基于这 ...

1、你用tensorboard打开模型，看详细信息，FeatureExtractor/MobilenetV2/Conv/Conv2D这个节点之前做了什么操作，需要做对应的前处理。
2、如果网络有改动，box_priors.txt需要根据的你网络重新生成。