rknn.inference和pytorch的inference结果差距很大

[复制链接] · 发表于 2020-7-16 12:38:35

import numpy as np

import cv2

from rknn.api import RKNN

import torchvision.models as models

import torch



if __name__ == '__main__':

    model = 'pt/feature.pt'

    input_size_list = [[3, 127, 127]]

    inp_z = np.ones(shape=[127, 127, 3], dtype=np.uint8)*255

    # rknn inference

    rknn = RKNN()

    rknn.config(reorder_channel='0 1 2')

    ret = rknn.load_pytorch(model=model, input_size_list=input_size_list)

    ret = rknn.build(do_quantization=False)

    ret = rknn.init_runtime()

    outputs = rknn.inference(inputs=[inp_z])

    rknn.release()

    # pytorch inference

    inp_z = np.ones([3, 127, 127], dtype=np.uint8)*255

    inp_z = torch.Tensor(inp_z).unsqueeze(0)

    module = torch.jit.load(model)

    out = module.forward(inp_z)

    out = out.data.cpu().numpy()

    # difference between rknn and pytorch

    print(np.sum(np.abs(out-outputs)))

WARNING: Token 'COMMENT' defined, but not used

WARNING: There is 1 unused token

W The target_platform is not set in config, using default target platform rk1808.

W [set_chip_platform_env:187]evaluate model on RK1808

1459.6528
复制代码

环境：x86 pc,rknn-toolkit1.3.2,pytorch1.2
请问为什么同一个模型的输出结果差这么大？

只看该作者 · 发表于 2020-7-16 15:03:36

这个需要debug的。。。
调试思路大概可以这样：
1. 先确认你API、DRV是不是最新的版本（1.3.2-1.3.3），每个版本都解决了很多op的bug。如果drv不匹配，很容易出现结果出错
2. 非量化非预编译是否正常，量化后是否正常（这两个走的处理器不一样，不排除某个有bug）
3. Dump每一层输出，检查哪层计算错了

然后就可以报bug给我们，我们会提交给NPU部门处理。

只看该作者 · 发表于 2020-7-16 16:17:53

jefferyzhang 发表于 2020-7-16 15:03
这个需要debug的。。。
调试思路大概可以这样：
1. 先确认你API、DRV是不是最新的版本（1.3.2-1.3.3），每 ...

谢谢，已经解决，是float32到float16的误差累计出来的，Tensor里每个元素的平均误差不是很大，还能接受。再次感谢！

只看该作者 · 发表于 2020-11-19 16:13:51

遇到了同样的问题，本来想去dump每一层的输出，增加了环境变量后一直没有txt文件输出。想问下楼主是怎么找到问题所在的呢