量化问题,运行结果不对,运行时间和非量化差不多

请问对于输入，rknn.config(batch_size=1, channel_mean_value='123 117 104 1', reorder_channel='0 1 2', epochs=100)
输入图片的数值没有归一化到0~1的时候，直接使用 rknn.build(do_quantization=True, dataset='dataset1.txt', rknn_batch_size=1)
而不是使用混合量化，是否可行，这样输入值的范围是 r:  [-123, 132], g:[-117, 138], b:[-104, 151]，这样如果不使用混合量化，是不是不可行？ 现在测试输出的结果不对。

另外，使用这种方式，怎么看出模型是不是量化的模型，build过程中有这样的信息输出：
D Quantize @Conv_79_24:bias to asymmetric_quantized.
D Quantize @Conv_79_24:weight to asymmetric_quantized.
D Packing Initializer_12_95 ...
D Packing Initializer_13_90 ...
I Build config finished.



模型转换的代码：

1. rknn = RKNN(verbose=True)
   
2. rknn.config(batch_size=1, channel_mean_value='123 117 104 1', reorder_channel='0 1 2', epochs=100)
   
3. model_file = 'detector.pth.tar_op-v9.onnx'
   
4. 
   
5. rknn.load_onnx(model=model_file)
   
6. 
   
7.     print('done')
   
8.     is_quantization = True
   
9. 
   
10.     # 创建解析pb模型
    
11.     # do_quantization=False指定不进行量化
    
12.     # 量化会减小模型的体积和提升运算速度，但是会有精度的丢失
    
13.     print('--> Building model')
    
14.     rknn.build(do_quantization=True, dataset='dataset1.txt', rknn_batch_size=1)
    
15.     print('done')
    
16. 
    
17.     # 导出保存rknn模型文件
    
18.     if is_quantization:
    
19.         quant_suff = '_quant'
    
20.     else:
    
21.         quant_suff = '_un-quant'
    
22. 
    
23.     rknn_file = model_file + quant_suff + '.rknn'
    
24.     print('export:', rknn_file, '...')
    
25.     rknn.export_rknn(rknn_file)
    
26. 
    
27.     # Release RKNN Context
    
28.     rknn.release()

复制代码

运行测试代码：
在预处理中先做了x-mean，通道顺序为RGB，  上一段build代码中开启量化能成功生成模型，但是推理的运行时间以下代码中使用onnx build 不量化应该是float16,和一段量化生成的.rknn模型运行差不多,甚至还多一点,这不应该啊，  在量化模型上传入的数据类型为float32，会不会有问题, ？ 有问题的话，请问这个场景应该使用使用什么方式？  对于量化模型,如果输入的tensor是float32的,rknn  runtime不会转换成需要的int8输入吗?

1. from PIL import Image
   
2. import numpy as np
   
3. import torch
   
4. import time
   
5. import os
   
6. from rknn.api import RKNN
   
7. 
   
8. def pre_process(image):
   
9.     """
   
10.     :param image: PIL numpy instance
    
11.     :return:
    
12.     """
    
13.     # device = torch.device("cuda")pe
    
14.     w, h = image.size
    
15.     if w != 1920 and h != 1080:
    
16.         image = image.resize((1920, 1080), Image.ANTIALIAS)
    
17. 
    
18.     img = np.int16(image)
    
19.     img -= (123, 117, 104)
    
20.     img = img.transpose(2, 0, 1)
    
21.     img = np.array(img, dtype=np.float32, order='C')
    
22.     return img
    
23. 
    
24. def load_images_tensor(path, suff='.jpg', max_num=0):
    
25.     print('load images @%s  %s ...' % (path, suff))
    
26.     img_files = os.listdir(path)
    
27.     rm_files = []
    
28.     for fn in img_files:
    
29.         if os.path.splitext(fn)[1] != suff:
    
30.             rm_files.append(fn)
    
31.     for fn in rm_files:
    
32.         img_files.remove(fn)
    
33. 
    
34.     n = len(img_files)
    
35.     if max_num <= 0:
    
36.         max_num = n
    
37.     n = min(max_num, n)
    
38.     images = []
    
39.     for i in range(n):
    
40.         f_name = img_files[i]
    
41.         f = path + f_name
    
42.         im = Image.open(f)
    
43.         im = pre_process(im)
    
44.         images.append(im)
    
45.     print('load images:', len(images))
    
46.     return images
    
47. 
    
48. if __name__ == '__main__':
    
49.     # 创建RKNN执行对象
    
50.     rknn = RKNN(verbose=True)
    
51.     #图像通道顺序不做调整
    
52.     rknn.config(batch_size=1, channel_mean_value='0 0 0 1', reorder_channel='0 1 2')  # , channel_mean_value='123 117 104 1', reorder_channel='2 0 1'
    
53. 
    
54.     use_rknn = True
    
55.     print('is rknn:', use_rknn)
    
56.     if not use_rknn:
    
57.         model_file = 'detector.pth.tar_op-v9.onnx'
    
58.         #model_file = 'conv1_op-v9.onnx'
    
59.         print('--> Loading model', model_file)
    
60.         rknn.load_onnx(model=model_file)
    
61.         print('--> Building model')
    
62.         rknn.build(do_quantization=False, dataset='dataset.txt', rknn_batch_size=1)
    
63.         print('done')
    
64. 
    
65.     else:
    
66.         model_file = 'XMC2-Det_student_detector.pth.tar_op-v9.onnx_quant.rknn'
    
67.         rknn.load_rknn(model_file, load_model_in_npu=True)  # , load_model_in_npu=True
    
68. 
    
69.     x_list = load_images_tensor('assets/images/', '.jpg', 20)
    
70.     num = len(x_list)
    
71.     run_cnt = num * 15
    
72.     x = x_list[0]
    
73.     t0 = time.time()
    
74.     for i in range(run_cnt):
    
75.         # idx = i % num
    
76.         # x = x_list[idx]
    
77.         outputs = rknn.inference(inputs=[x], data_type='float32', data_format='nchw')
    
78.     t1 = time.time()
    
79.     print(' times %d done: avg %.3f s' % (run_cnt, (t1 - t0) / run_cnt))
    
80. 
    
81.     # Release RKNN Context
    
82.     rknn.release()
    
83. 
    

复制代码