[求助] 使用RKNN_API运行mtcnn模型的pnet结果不正确

问题：使用RKNN_API运行mtcnn模型的pnet结果不正确

1、使用python脚本将mtcnn中pnet的caffe模型转换为rknn模型
a. 模型转换脚本的配置：rknn.config(channel_mean_value='127.5 127.5 127.5 128', reorder_channel='0 1 2')
b. prototxt中，input的shape: {dim:1, dim:3, dim:72, dim: 96}
转换后得到det1.rknn

2、在开发板上运行编译好的测试例程
a. 输入图片w=480, h=640
b. 将图片转置为w=640, h=480，并转换为RGB格式
c. resize到wxh=96x72大小作为inputs[0]

模型的输入输出信息如下：
resized h:72, resized w:96, scale:0.1500
model_len:17352
input_output_num:
io_num.n_input:1
io_num.n_output:2
outputs_attr:
outputs_attr[0].dims:43,31,4,1
outputs_attr[0].n_elems:5332
outputs_attr[0].type:3
outputs_attr[0].fmt:0

outputs_attr[1].dims:43,31,2,1
outputs_attr[1].n_elems:2666
outputs_attr[1].type:1
outputs_attr[1].fmt:0

input_attr:
inputs_attr[0].index:0
inputs_attr[0].dims:96,72,3,1
inputs_attr[0].n_elems:20736
inputs_attr[0].type:3
inputs_attr[0].fmt:0

inputs[0].index:0
inputs[0].pass_through:0
inputs[0].type:3
inputs[0].fmt:0

pnet_boxes size :5
得到的proposals比较少，而且都偏离人脸，请教是哪里出了问题？非常感谢！

只有pnet？
在pc上运行结果呢？
大小尺寸缩放比率有作用在bounding box上么？

jefferyzhang 发表于 2019-3-1 16:14
只有pnet？
在pc上运行结果呢？
大小尺寸缩放比率有作用在bounding box上么？

是的，我正在做mtcnn的移植，先从pnet调起...我发现如果在模型转换的时候do_quantization设置为False，代码中输入改为：
inputs[0].type = RKNN_TENSOR_FLOAT32;       
inputs[0].fmt = RKNN_TENSOR_NHWC;  
得到的输出结果与PC上原有代码跑出的结果基本一致。但量化以后目前还得不到正确结果。

nevin007 发表于 2019-3-1 16:20
是的，我正在做mtcnn的移植，先从pnet调起...我发现如果在模型转换的时候do_quantization设置为False，代 ...

我觉得是因为量化给的样本不够多，你可以试着多弄几张你当前摄像头拍摄出来的图片作为量化使用。
然后再试试精度。

jefferyzhang 发表于 2019-3-1 17:11
我觉得是因为量化给的样本不够多，你可以试着多弄几张你当前摄像头拍摄出来的图片作为量化使用。
然后再 ...

问题已解决，非常感谢！
还有个小问题希望确认一下，模型转换的时候如果设置do_quantization=False，得到的rknn模型是fp16吗？是不是rknn不支持fp32？

nevin007 发表于 2019-3-2 15:13
问题已解决，非常感谢！
还有个小问题希望确认一下，模型转换的时候如果设置do_quantization=False，得到 ...

我仔细看了下文档，好像是的。。。

nevin007 发表于 2019-3-2 15:13
问题已解决，非常感谢！
还有个小问题希望确认一下，模型转换的时候如果设置do_quantization=False，得到 ...

我问过相关同事了，fp32是支持的。

jefferyzhang 发表于 2019-3-4 09:16
我问过相关同事了，fp32是支持的。

上面说到的rknn模型格式应该只有fp16和uint8，那是怎么支持fp32的啊

nevin007 发表于 2019-3-4 09:34
上面说到的rknn模型格式应该只有fp16和uint8，那是怎么支持fp32的啊

能否分享一下移植好的mtcnn代码？@nevin007

nevin007 发表于 2019-3-4 09:34
上面说到的rknn模型格式应该只有fp16和uint8，那是怎么支持fp32的啊

有些层精度要求比较高的时候会使用fp32