使用C语言在RV1126部署in8模型的问题

已经参考文档在RV1126上用C语言部署了uint8（asymmetric_quantized-u8量化）的模型，文档说对于有些量化模型而言，dynamic_fixed_point-i8 量化的精度比 asymmetric_quantized-u8 高。所以我用rknn-toolkit 1.7.3 转换了int8版本的模型，该int8模型用python测试推理结果是正确的。于是我参考uint8的C语言部署代码（RK没有给出int8的代码只给出了uint8的代码）编写了int8的推理代码，部署到板子上进行推理，结果是错误的（找到很多框框，没有一个框框是正确的）。


我感觉int8和uint8的推理代码差别主要是在量化和反量化上，以下是我们的量化和反量化的代码：

1. static int8_t qnt_f32_to_i8(float f32, int8_t fl)
   
2. {
   
3.     float dst_val = f32 * pow(2, fl);
   
4.     int8_t res = (int8_t)__clip(dst_val, -128, 127);
   
5.     return res;
   
6. }
   
7. 
   
8. static float deqnt_i8_affine_to_f32(int8_t qnt, int8_t fl)
   
9. {
   
10.     return (float)qnt / pow(2, fl);
    
11. }
    
12. 
    
13. static int process_i8(int8_t *input, int *anchor, int anchor_per_branch, int grid_h, int grid_w, int height, int width, int stride,
    
14.                    std::vector<float> &boxes, std::vector<float> &boxScores, std::vector<int> &classId,
    
15.                    float threshold, int8_t fl, MODEL_TYPE yolo)
    
16. {
    
17.     int validCount = 0;
    
18.     int grid_len = grid_h * grid_w;
    
19.     float thres = threshold;
    
20.     int8_t thres_i8 = qnt_f32_to_i8(thres, fl);
    
21.     // printf("threash %f\n", thres);
    
22.     // printf("thres_u8 %u\n", thres_u8);
    
23.     // printf("scale %f\n", scale);
    
24.     // printf("zp %u\n", zp);
    
25. 
    
26.     for (int a = 0; a < anchor_per_branch; a++)
    
27.     {
    
28.         for (int i = 0; i < grid_h; i++)
    
29.         {
    
30.             for (int j = 0; j < grid_w; j++)
    
31.             {
    
32.                 int8_t box_confidence = input[(PROP_BOX_SIZE * a + 4) * grid_len + i * grid_w + j];
    
33.                 if (box_confidence >= thres_i8)
    
34.                 {
    
35.                     // printf("box_conf %u, thres_u8 %u\n", box_confidence, thres_u8);
    
36.                     int offset = (PROP_BOX_SIZE * a) * grid_len + i * grid_w + j;
    
37.                     int8_t *in_ptr = input + offset;
    
38. 
    
39.                     int8_t maxClassProbs = in_ptr[5 * grid_len];
    
40.                     int maxClassId = 0;
    
41.                     for (int k = 1; k < OBJ_CLASS_NUM; ++k)
    
42.                     {
    
43.                         int8_t prob = in_ptr[(5 + k) * grid_len];
    
44.                         if (prob > maxClassProbs)
    
45.                         {
    
46.                             maxClassId = k;
    
47.                             maxClassProbs = prob;
    
48.                         }
    
49.                     }
    
50. 
    
51.                     float box_conf_f32 = deqnt_i8_affine_to_f32(box_confidence, fl);
    
52.                     float class_prob_f32 = deqnt_i8_affine_to_f32(maxClassProbs, fl);
    
53.                     float limit_score = 0;
    
54.                     limit_score = box_conf_f32* class_prob_f32;
    
55. 
    
56.                     // printf("limit score: %f\n", limit_score);
    
57.                     if (limit_score > threshold){
    
58.                         float box_x, box_y, box_w, box_h;
    
59.                         if(yolo == YOLOX){
    
60.                             box_x = deqnt_i8_affine_to_f32(*in_ptr, fl);
    
61.                             box_y = deqnt_i8_affine_to_f32(in_ptr[grid_len], fl);
    
62.                             box_w = deqnt_i8_affine_to_f32(in_ptr[2 * grid_len], fl);
    
63.                             box_h = deqnt_i8_affine_to_f32(in_ptr[3 * grid_len], fl);
    
64.                             box_w = exp(box_w)* stride;
    
65.                             box_h = exp(box_h)* stride;
    
66.                         }   
    
67.                         else{
    
68.                             box_x = deqnt_i8_affine_to_f32(*in_ptr, fl) * 2.0 - 0.5;
    
69.                             box_y = deqnt_i8_affine_to_f32(in_ptr[grid_len], fl) * 2.0 - 0.5;
    
70.                             box_w = deqnt_i8_affine_to_f32(in_ptr[2 * grid_len], fl) * 2.0;
    
71.                             box_h = deqnt_i8_affine_to_f32(in_ptr[3 * grid_len], fl) * 2.0;
    
72.                             box_w = box_w * box_w;
    
73.                             box_h = box_h * box_h;
    
74.                         }
    
75.                         box_x = (box_x + j) * (float)stride;
    
76.                         box_y = (box_y + i) * (float)stride;
    
77.                         box_w *= (float)anchor[a * 2];
    
78.                         box_h *= (float)anchor[a * 2 + 1];
    
79.                         box_x -= (box_w / 2.0);
    
80.                         box_y -= (box_h / 2.0);
    
81. 
    
82.                         boxes.push_back(box_x);
    
83.                         boxes.push_back(box_y);
    
84.                         boxes.push_back(box_w);
    
85.                         boxes.push_back(box_h);
    
86.                         boxScores.push_back(box_conf_f32* class_prob_f32);
    
87.                         classId.push_back(maxClassId);
    
88.                         validCount++;
    
89.                     }
    
90.                 }
    
91.             }
    
92.         }
    
93.     }
    
94.     return validCount;
    
95. }
    

复制代码
请问问题出在哪里？ 或者要怎么在RV1126板子上实现int8模型的C语言部署？  谢谢！