为什么 rknn.inference 模型输出的数组维度与原生模型不同

[复制链接] · 发表于 2019-3-20 20:54:25

原来的pb文件输出的是四维数组 [1, a, b, c] ，转换为rknn文件后，输出的维度是二维 [1,a*b*c]

只看该作者 · 发表于 2019-3-20 21:40:03

RKNN的维度格式是 BCHW （Batch, Channel, Height, Width），并且输出是摊平的。

output = rknn.inference(inputs=[input])

output = np.transpose(output.reshape((batch, channel, height, width)), (0, 2, 3, 1))
复制代码

只看该作者 · 发表于 2019-3-21 09:06:17

需要reshape的，因为对于硬件存储的数据来说，都只是一维数组指针而已，需要显式转化你所知道的输出形状。

只看该作者 · 发表于 2019-3-21 09:32:33

本帖最后由 kitedream 于 2019-3-21 11:11 编辑

jefferyzhang 发表于 2019-3-21 09:06
需要reshape的，因为对于硬件存储的数据来说，都只是一维数组指针而已，需要显式转化你所知道的输出形状。 ...

你好，请问 input_size_list 的尺寸，是按照维度顺序输入的吗？我目前在移植网上开源的openpose tensorflow 其中的mobile thin 版本，（https://github.com/alesolano/openpose_explained ），目前只卡在rknn输出结果和pb 文件输出结果在经过相同的处理后，pb文件结果正确，rknn输出结果经上述reshape后，结果完全错乱，其他的reshape方案都测试过。rknn模型我是在pc上编译的，尝试过多种尺寸。

    rknn.load_tensorflow(tf_pb='./models/mobilenet_thin/graph_opt.pb',

                         inputs=['image'],

                         outputs=['Openpose/concat_stage7'],

                         input_size_list=[[224,224, 3]])
复制代码

input_size_list=[[432,368, 3]]

input_size_list=[[224,224, 3]]

input_size_list=[[416,416, 3]]
复制代码

rknn.config(channel_mean_value='0 0 0 255', reorder_channel='0 1 2', batch_size=1)
复制代码

    # Build model

    print('--> Building model')

    rknn.build(do_quantization=True, dataset='./data.txt',pre_compile=False)

    # rknn.build(do_quantization=False)

    print('done')
复制代码

其中，quantization 的数据是我将一张图片resize到相应输入尺寸得到的。

只看该作者 · 发表于 2019-3-21 10:01:19

kitedream 发表于 2019-3-21 09:32
你好，请问 input_size_list 的尺寸，是按照维度顺序输入的吗？我目前在移植网上开源的openpose tensorfl ...

input size需要根据模型的第一个输入参数确认，不能随意写的。模型的输入shape是224你这里就只能输入224，否则就会出错

只看该作者 · 发表于 2019-3-21 11:09:41

本帖最后由 kitedream 于 2019-3-21 11:11 编辑

jefferyzhang 发表于 2019-3-21 10:01
input size需要根据模型的第一个输入参数确认，不能随意写的。模型的输入shape是224你这里就只能输入224 ...

你好，原pb模型是用432×368尺寸训练，输入为opencv的image图片，这样input_size_list=[[368,432,3]]
rknn转换输出如下信息

D [rknn_init:749] Input Tensors:

D [printRKNNTensor:662] index=0 name= n_dims=4 dims=[1 3 368 432] n_elems=476928 size=476928 fmt=NCHW type=UINT8 qnt_type=AFFINE fl=0 zp=0 scale=0.003922

D [rknn_init:762] Output Tensors:

D [printRKNNTensor:662] index=0 name= n_dims=4 dims=[1 57 46 54] n_elems=141588 size=141588 fmt=NCHW type=UINT8 qnt_type=AFFINE fl=6 zp=6 scale=0.004017
复制代码

然后我进行维度转换

        output=output.reshape(1, 57, 46, 54)

        output = np.transpose(output, (0, 2, 3, 1))
复制代码

试了一下，结果依然不正常
模型信息可见 https://github.com/ildoonet/tf-pose-estimation

只看该作者 · 发表于 2020-1-13 16:44:39

我也遇到同样的问题，结果一直不对，请问楼上解决了吗