rknn.inference和pytorch的inference结果差距很大

1. import numpy as np
   
2. import cv2
   
3. from rknn.api import RKNN
   
4. import torchvision.models as models
   
5. import torch
   
6. 
   
7. if __name__ == '__main__':
   
8.     model = 'pt/feature.pt'
   
9.     input_size_list = [[3, 127, 127]]
   
10.     inp_z = np.ones(shape=[127, 127, 3], dtype=np.uint8)*255
    
11.     # rknn inference
    
12.     rknn = RKNN()
    
13.     rknn.config(reorder_channel='0 1 2')
    
14.     ret = rknn.load_pytorch(model=model, input_size_list=input_size_list)
    
15.     ret = rknn.build(do_quantization=False)
    
16.     ret = rknn.init_runtime()
    
17.     outputs = rknn.inference(inputs=[inp_z])
    
18.     rknn.release()
    
19.     # pytorch inference
    
20.     inp_z = np.ones([3, 127, 127], dtype=np.uint8)*255
    
21.     inp_z = torch.Tensor(inp_z).unsqueeze(0)
    
22.     module = torch.jit.load(model)
    
23.     out = module.forward(inp_z)
    
24.     out = out.data.cpu().numpy()
    
25.     # difference between rknn and pytorch
    
26.     print(np.sum(np.abs(out-outputs)))
    
27. WARNING: Token 'COMMENT' defined, but not used
    
28. WARNING: There is 1 unused token
    
29. W The target_platform is not set in config, using default target platform rk1808.
    
30. W [set_chip_platform_env:187]evaluate model on RK1808
    
31. 1459.6528

复制代码
环境：x86 pc,rknn-toolkit1.3.2,pytorch1.2
请问为什么同一个模型的输出结果差这么大？

这个需要debug的。。。
调试思路大概可以这样：
1. 先确认你API、DRV是不是最新的版本（1.3.2-1.3.3），每个版本都解决了很多op的bug。如果drv不匹配，很容易出现结果出错
2. 非量化非预编译是否正常，量化后是否正常 （这两个走的处理器不一样，不排除某个有bug）
3. Dump每一层输出，检查哪层计算错了

然后就可以报bug给我们，我们会提交给NPU部门处理。

jefferyzhang 发表于 2020-7-16 15:03
这个需要debug的。。。
调试思路大概可以这样：
1. 先确认你API、DRV是不是最新的版本（1.3.2-1.3.3），每 ...

谢谢，已经解决，是float32到float16的误差累计出来的，Tensor里每个元素的平均误差不是很大，还能接受。再次感谢！

遇到了同样的问题，本来想去dump每一层的输出，增加了环境变量后一直没有txt文件输出。想问下楼主是怎么找到问题所在的呢