Toybrick
标题: 人工智能开发系列(5) MTCNN开发与实现 [打印本页]
作者: 395876134 时间: 2019-4-1 17:14
标题: 人工智能开发系列(5) MTCNN开发与实现
本帖最后由 395876134 于 2019-8-9 16:25 编辑
[attach]217[/attach]
本教程视频直播回看：
本教程基于RK3399pro开发板，使用fedora 28系统，另需usb鼠标、usb键盘、hdmi显示器、usb摄像头、串口线连接开发板
一. 搭建开发环境
安装rknn-toolkit及其依赖库，按照wiki教程安装环境
二、代码路径
原始代码：https://github.com/DuinoDu/mtcnn.git
本教程代码：https://github.com/chenshiqin/mtcnn.git
三、MTCNN算法流程
1、构建图像金字塔：首先将图像进行不同尺度的变换，构建图像金字塔，以适应不同大小的人脸的进行检测。
2、P-Net：全称为ProposalNetwork，通过浅层的CNN快速生成候选窗口，该网络全部由卷积层实现，获取到候选人脸窗和人脸窗的回归向量 (bounding box regression vectors)，基于人脸窗的回归向量对人脸窗进行校正，然后对所有人脸窗进行NMS（非极大值抑制），合并高度重叠的人脸窗。
3、R-Net：全称为Refine Network，其基本的构造是一个卷积神经网络，相对于第一层的P-Net来说，增加了一个全连接层，因此对于输入数据的筛选会更加严格。在图片经过P-Net后，会留下许多预测窗口，我们将所有的预测窗口送入R-Net，这个网络会滤除大量效果比较差的候选框，最后对选定的候选框进行校正和NMS，进一步优化预测结果
4、O-Net：全称为OutputNetwork，基本结构是一个较为复杂的卷积神经网络，相对于R-Net来说多了一个卷积层。O-Net的效果与R-Net的区别在于这一层结构会通过更多的监督来识别面部的区域，而且会对人的面部特征点进行回归，最终输出五个人脸面部特征点。
四、运用的主要公式
1、人脸检测这就是一个分类任务，使用交叉熵损失函数即可：
[attach]221[/attach]
2、Bounding box regression这是一个回归问题，使用平方和损失函数：
3、人脸特征点定位这也是一个回归问题，目标是5个特征点与标定好的数据的平方和损失：
4、多任务训练不是每个sample都要使用这三种损失函数的，比如对于背景只需要计算交叉熵损失，不需要计算别的损失，这样就需要引入一个指示值指示样本是否需要计算某一项损失。最终的训练目标函数是：
5、非极大抑制NMS
五、问题点介绍
1、MTCNN算法可以接受任意尺度的图片吗？为什么需要金字塔转换？
因为第一阶段的P-NET是一个全卷积网络（Fully Convolutional Networks）
卷积、池化、非线性激活都是一些可以接受任意尺度矩阵的运算，而全连接运算是需要规定输入。我们的P-net网络结构没有全连接层，因此图片尺度可以是任意的；
由于图片中的人脸的尺度有大有小，目标检测本质上来说是目标区域内特征与模板权重的点乘操作；那么如果模板尺度与目标尺度匹配，自然会有很高的检测效果。
2、设置合适的最小人脸尺寸和缩放因子为什么可以优化计算效率？
minsize是指你认为图片中需要识别的人脸的最小尺寸(单位：px)。factor是指每次对边缩放的倍数
我们已经知道，第一阶段会多次缩放原图得到图片金字塔，目的是为了让缩放后图片中的人脸与P-NET训练时候的图片尺度(12px * 12px)接近。怎么实现呢？先把原图等比缩放`12/minsize`，再按缩放因子`factor`(例如0.5)用上一次的缩放结果不断缩放，直至最短边接近12。根据上述算法，minsize越大，生成的“金字塔”层数越少，resize和pnet的计算量越小。
3、为什么缩放因子factor官方选择0.709？
图片金字塔缩放时，默认把宽，高都变为原来的1/2，缩放后面积变为原来的1/4；如果认为1/4的缩放幅度太大，你会怎么办？把面积缩放为原来的1/2。对的，这是很直观的想法，所以这里的缩放因子0.709 ≈ sqrt(2)/2，这样宽高变为原来的sqrt(2)/2，面积就变为原来的1/2。
4、 为什么把图片输入模型的时候要对每个像素做(x – 127.5)/128的操作？
归一化操作，加快收敛速度。由于图片每个像素点上是[0, 255]的数，都是非负数，对每个像素点做(x – 127.5)/128，可以把[0,255]映射为(-1, 1)。有正有负的输入，收敛速度更快。训练时候输入的图片需要先做这样的预处理，推断的时候也需要做这样的预处理才行。
5、有什么优化方案？
如图所示，三个模型中，P-NET所占用的时间最多，MTCNN的推断是CPU密集型运算，如果图片超过1080，生成图像金字塔的过程可能是流程中最耗时的过程。因为金字塔结构，第一阶段需要计算很多尺度的图片。但超过1080的图片中，你需要识别的最小人脸真的需要12*12吗？minsize是不是也变大了？另外，如果你事先已经知道图片中人脸的大小，是不是可以调整一下minsize？结合你的实践场景可以思考下。
以耗时最大的第一阶段为主要优化的关键点:
①、第一阶段受输入图片尺寸影响较大，可以让minsize随图片尺寸而改变，大图用大minsize
②、图片金字塔的生成过程，对上一次的resize结果进行resize而不是对全图resize
[attach]227[/attach]
③、网络越复杂，GPU相比CPU的提升越明显。MTCNN的三阶段都是很弱的网络，GPU的提升不太大。另外，MTCNN的第一阶段，图像金字塔会反反复复地很多次调用一个很浅层的P-NET网络，导致数据会反反复复地从内存COPY到显存，又从显存COPY到内存，而这个复制操作消耗很大，甚至比计算本身更耗时，可以考虑将第一个阶段用其它算法实现。
六、结果展示
七、通过RKNN转换时注意点
1、 rknn.config(channel_mean_value=‘127.5 127.5 127.5 128’, reorder_channel=‘2 1 0’，quantized_dtype='dynamic_fixed_point-8')
①、127.5 127.5 127.5 128是将rgb的数据归一化为[-1,1],此时通过rknn进行归一化处理，所以数据进入inference前不需要手动做归一化处理，dataset.txt里的图像也不需要归一化处理
②、如果rknn.config未做归一化处理，需要在inference前将数据进行归一化处理（ im_data =(img-127.5)*0.0078125 ），且需要将模型中需要的不同尺寸的图片进行归一化处理，并保存。
2、 rknn.build(do_quantization=True, dataset='./dataset.txt')
①、do_quantization=True，是rknn进行量化处理，实际运行时速度更快；如果设置为false，几乎不损失精度，但是速度偏慢。
②、进行量化处理的时候， dataset.txt最好多点相片，覆盖模型可能的输入类型。
3、 rknn.inference(inputs=[im_data], data_type=‘uint8’,data_format='nchw')
①、data_type默认为uint8，如果此时传入的数据是float类型，结果反而更差
②、 caffe 数据类型是data_format=‘nchw’，channel first，其他的模型一般是’nhwc’,channel last
4、因为目前rknn不支持不固定维度的模型（不能在运行过程中改变模型维度），而pnet网络需要构建图片金字塔，所以根据图片大小，构建了9个P-Net的rknn；R-Net和O-Net中需要将前一个模型的数据导入，rknn 目前不支持多图片输入，所以目前是循环输入，将结果拼接到数组中。
八、项目展望
1、深入研究RKNN函数对模型精度的影响
2、优化代码：通过rga进行图像转换；并行运算，加快运行速度。（新的github代码已经使用多线程处理，解决卡顿的问题）
3、优化模型：减少图片进出npu次数（新的github代码已经使用图像拼接，加快速度）。
4、根据对比前后图片相似度，解决框图会闪的问题（详见github代码）。
5、提高nms门限，删除rnet（详见github代码）。
作者: tof3d 时间: 2019-4-1 17:17
奶斯奶斯
作者: tof3d 时间: 2019-4-1 17:22
方便透露一下，你们的检测的速度吗，最小脸设置多大呢，多大图，你们测试的原作者张凯鹏的caffe 模型，matcaffe模型吗
作者: 395876134 时间: 2019-4-2 14:03
最小人脸设置为20*20，是caffe 模型。你可以看下源码！
作者: chuyee 时间: 2019-4-3 07:21
I can only get 3FPS with the github code. How to make it realtime?
作者: tof3d 时间: 2019-4-3 09:29
你们的模型是自己训练的吗，还是网上链接，可以给出地址吗
作者: 395876134 时间: 2019-4-3 10:37
开头就有给出源码地址了
作者: 395876134 时间: 2019-4-24 08:38
It's just a demo, and you can optimize it.
作者: yaowei 时间: 2019-6-17 13:38
本帖最后由 yaowei 于 2019-6-17 13:42 编辑
我看repo里量化类型为什么选择的dynamic_fixed_point-8呢，一般选择和默认选择都是asymmetric_quantized-u8的吧
作者: 395876134 时间: 2019-6-19 09:13
你可以试下，改成asymmetric_quantized-u8 效果如何
作者: paranoidai 时间: 2019-6-20 16:58
请问一下android版本的rga的动态库在哪里能找到呢?还是需要自己编译?
作者: linpanda 时间: 2019-10-10 21:52
mtcnn后来作者有补一个Lnet不知道有没有实现呢？我不进行量化直接转为rknn的模型跑出来的结果总是和原版不同
作者: jiajia1990 时间: 2019-11-2 12:01
这里的rknn是用最新的api转换的吗？怎么自己转换？
作者: skipjz 时间: 2019-11-7 22:13
运行demo出现以下错误，不知原因，求问，多谢
No XVisualInfo for format QSurfaceFormat（version2.0， option ......
....,profile QsurfaceFormat::OpenGLContextProfile(NoProfile))
Falling back to using screens root_visual.
Bus error(core dumped)
作者: GeorgeFan 时间: 2020-2-11 16:41
想问下有大佬做过项目展望里提到的三个模型融合在一起的那个mtcnn模型吗？有没有碰到load模型正常但是build模型失败的问题啊。
作者: zengwubin 时间: 2020-3-23 14:24
使用https://github.com/blaueck/tf-mtcnn 将三个模型融合在一起，减少与npu的交互时间
里面带的mtcnn.pb转换rknn时报错，请问你们有转换吗？怎么转换的？？
作者: zengwubin 时间: 2020-3-23 14:43
转换报错IndexError: list index out of range，
你有转换成功吗？？？
作者: GeorgeFan 时间: 2020-3-30 16:54
没有成功，在转换的时候生成meta file一直报错。
作者: sunkai 时间: 2021-3-30 15:45
请问一下，有c或者c++版本吗
作者: 漠漠黄沙 时间: 2023-7-13 16:48
请问mtcnn 有没有c++ 的demo
| 欢迎光临 Toybrick (https://t.rock-chips.com/) |
Powered by Discuz! X3.3 |