Toybrick

人工智能开发系列(3) YOLOV3开发与实现

hisping

注册会员

积分
151
发表于 2019-2-28 16:57:01    查看: 6305|回复: 42 | [复制链接]    打印 | 显示全部楼层



本教程视频直播回看:

本教程基于RK3399pro开发板,使用fedora 28系统,另需usb鼠标、usb键盘、hdmi显示器、usb摄像头、网线连接开发板

1. 搭建开发环境
1.安装rknn-toolkit及其依赖库,[url=http://t.rock-chips.com/wiki.php?mod=view&id=36]按照wiki教程安装环境


2.#切换到python 3.x,系统同时安装python 2.7和3.x版本时,默认使用3.x
  1. sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150
复制代码

3..验证模型转换、推理
  1. cd rknn-toolkit/example/mobilenet_v1
  2. python3 test.py
复制代码

4.安装matplotlib
  1. sudo dnf install freetype-devel pkg-config libpng-devel pkg-config
  2. pip3 install --user matplotlib
复制代码

5.此时应该可以正常显示图片及打开摄像头,但无法打开视频文件,需安装gstreamer
  1. sudo dnf install https://download1.rpmfusion.org/free/fedora/rpmfusion-free-release-$(rpm -E %fedora).noarch.rpm
  2. sudo dnf install gstreamer1-libav
复制代码


2.快速上手,运行yolov3 rknn模型
1.下载附件,解压并拷贝到板子
2.#进入yolov3_demo目录
cd yolov3_demo
#从darknet官网下载权重
wget https://pjreddie.com/media/files/yolov3-tiny.weights
wget https://pjreddie.com/media/files/yolov3.weights
#resize data/目录下图片,用于后续模型转化
python rknn_resize.py
#转为rknn模型,得到yolov3.rknn和yolov3_tiny.rknn,转化非常消耗内存,请先设置swap虚拟内存(建议大于2g),转化比较慢,请耐心等待
python rknn_transform.py
python rknn_transform_tiny.py
#预测一张图片
python rknn_picture.py
python rknn_picture_tiny.py
#打开摄像头,预测视频,若没有摄像头也可以修改脚本打开视频文件
python rknn_camera.py
python rknn_camera_tiny.py
#上诉脚本使用单线程预测,所以帧数只有十几帧,耗时为前处理耗时10ms,npu耗时20ms,后处理耗时26-35ms,显示7ms;
#所以用户可以修改脚本为多线程,让npu与cpu同时运行,可以轻松达到30fps以上,理论上最高可以达到50fps

#之前一直忙其他项目没空搞多线程,论坛上有人发多进程版本跑20帧,我在其基础上做了优化,光线充足条件下可以跑到30帧,昏暗条件下稍慢这是摄像头曝光的原因,与模型无关;感谢该开发者分享代码,也希望论坛能有更多这样的开发者


#yolov3_demo中跑的是yolov3-608, 若客户想跑yolov3-416可以按照以下步骤修改脚本
1. 修改yolov3.cfg文件中width=416 height=416
2. 修改rknn_transform.py中dataset='./dataset.txt',指向416x416x3的图片进行量化
3. python3 rknn_transform.py重新转化模型
4. 修改rknn_picture.py和rknn_camera.py中resize图片为416x416, 修改GRID0 = 13 GRID1 = 26 GRID2 = 52

#若客户想跑yolov3-320可以按照以下步骤修改脚本
1. 客户自行获取320x320x3的图片用于量化,也可以修改rknn_resize.py获取
2. 修改yolov3.cfg文件中width=320 height=320
3. 修改rknn_transform.py中dataset='./dataset_320x320.txt',指向320x320x3的图片进行量化
4. python3 rknn_transform.py重新转化模型
5. 修改rknn_picture.py和rknn_camera.py中resize图片为320x320, 修改GRID0 = 10 GRID1 = 20 GRID2 = 40

3.训练自己的数据
1.训练建议在用户pc机上训练,请先下载编译安装darknet工程,详见官网https://pjreddie.com/darknet/yolo/
2.下载附件,解压并拷贝到darknet/目录下

3.#进入train_my_data目录
cd train_my_data
#下载权重数据
wget https://pjreddie.com/media/files/yolov3-tiny.weights
拷贝你的图片到train_images目录和validate_images目录
#下载编译安装打标签工具,该工具用于给你的图片打标签
git clone https://github.com/tzutalin/labelImg
cd labelImg
    sudo apt-get install pyqt5-dev-tools
    sudo pip3 install -r requirements/requirements-linux-python3.txt
    make qt5py3
    python3 labelImg.py
    使用工具给你的图片打标签,并把标签保存到train_imageXML目录和validate_imageXML目录
cd ..
#遍历train_images目录和validate_images目录下所有图片,得到trainImageId.txt和validateImageId.txt文件
python list_image_files.py
#得到图片路径生成trainImagePath.txt和validateImagePath.txt文件,并把train_imageXML目录和validate_imageXML目录下的标签转成.txt格式存在train_labels和validate_labels目录下
python trans.py
#修改voc.names文件,写入你要训练的物体名称
vi voc.names
    class_1
    class_2
    class_3
#修改voc.data文件,N是你训练的物体种类
vi voc.data
    classes = N      # N is your class num
    train = /home/XXX/darknet/train_my_data/trainImagePath.txt
    valid = /home/XXX/darknet/train_my_data/validateImagePath.txt
    names = train_my_data/voc.names
    backup = train_my_data/backup
#修改yolov3-tiny-modify.cfg,修改所有yolo层的classes参数,修改yolo层前一层的filters参数
vi yolov3-tiny-modify.cfg
    1. modify classes = N in [yolo] layer
    2. modify filters = 3*(N+1+4) ahead [yolo] layer
    3. modify max_batches = your-max-train-times

cd ..
#提取卷积层数据
./darknet partial train_my_data/yolov3-tiny.cfg train_my_data/yolov3-tiny.weights train_my_data/yolov3-tiny.conv.15 15
#开始训练
./darknet detector train train_my_data/voc.data train_my_data/yolov3-tiny-modify.cfg train_my_data/yolov3-tiny.conv.15
#验证训练
./darknet detector test train_my_data/voc.data train_my_data/yolov3-tiny-modify.cfg train_my_data/backup/yolov3-tiny-modify_900.weights train_my_data/train_images/000937.jpg -thresh 0.1
4.拷贝你自己训练的.weight文件和yolov3-tiny-modify.cfg文件到rk3399pro开发板,修改rknn_transform_tiny.py,转成rknn模型
5.修改rknn_picture_tiny.py文件中数据,N是物体种类
    LISTSIZE=85        =>        LISTSIZE=(N+5)
    NUM_CLS=80        =>        NUM_CLS=N
    CLASSES{...}        =>        CLASSES{“class_1”, “class_2”, “class_3”}

4.YOLOV3理论分析
1.YOLO的全名是:You Only Look Once.
YOLO算法的基本思想是:首先将输入图像分成S*S个格子,如果某个预测对象的中心坐标落在某个格子中,那么就由该格子来预测该对象,每个格子都会预测B个边界框,每个边界框输出为(5+C)长度参数
SxS: 在yolov3-416中会切割成13x13, 26x26, 52x52
B: 在yolov3中该值为3, 由anchors决定
C: 模型可预测分类, VOC数据集为20,coco数据集为80,也可以自己训练
5: bounding box边界框的中心坐标,长宽,对象置信度




2.YOLOV3神经网络图

yolov3-416: 输入参数416x416x3, 输出3个数组13x13x(3x(5+80))          26x26x(3x(5+80)) 52x52x(3x(5+80))
yolov3-608: 输入参数608x608x3, 输出3个数组19x19x(3x(5+80))          38x38x(3x(5+80)) 76x76x(3x(5+80))
tiny-yolov3: 输入参数416x416x3, 输出2个数组13x13x(3x(5+80))  26x26x(3x(5+80))

3.Yolov3后处理

对数空间变换:

tx, ty, tw, th为模型输出
cx, cy是物体中心所在格子索引
6()是sigmoid函数,变量映射到(0, 1)
pw, ph为对应anchors box的宽高

基于对象置信度的阈值,首先,我们根据对象分数过滤框。 通常,具有低于阈值分数的框被忽略


非最大抑制(NMS)
    NMS打算解决同一图像的多重检测问题。
     A、B、C、D、E、F
从最大概率矩形框F开始,分别判断A~E与F的重叠度IOU是否大于某个设定的阈值;
假设B、D与F的重叠度超过阈值,那么就扔掉B、D;并标记第一个矩形框F,是我们保留下来的。
从剩下的矩形框A、C、E中,选择概率最大的E,然后判断E与A、C的重叠度,重叠度大于一定的阈值,那么就扔掉;并标记E是我们保留下来的第二个矩形框。












本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

qiaoqiang126

中级会员

积分
222
发表于 2019-2-28 17:57:32 | 显示全部楼层
608*608 的yolov3不能在Android上跑吗?
回复

使用道具 举报

chuyee

中级会员

积分
352
发表于 2019-3-1 08:37:23 | 显示全部楼层
rknn_inference 20ms is for 416x416 tiny-yolov3, right? I measured 608x608 yolov3 inference time is about 440ms. Is the number correct? That's only 2.5 FPS.
回复

使用道具 举报

hisping

注册会员

积分
151
 楼主| 发表于 2019-3-1 09:17:40 | 显示全部楼层
chuyee 发表于 2019-3-1 08:37
rknn_inference 20ms is for 416x416 tiny-yolov3, right? I measured 608x608 yolov3 inference time is a ...

是的,yolov3-608耗时比较长,在移动设备端还是建议使用tiny-yolov3对视频进行检查。你可以使用tiny-yolov3检查视频,当检查到重点对象时,可以把这一帧数据发给yolov3-608再检测以提高精度
回复

使用道具 举报

qiaoqiang126

中级会员

积分
222
发表于 2019-3-1 14:07:03 | 显示全部楼层
opencv-python>=3.4.3.18无法安装,找不到包怎么办?
回复

使用道具 举报

chuyee

中级会员

积分
352
发表于 2019-3-1 14:28:42 | 显示全部楼层
hisping 发表于 2019-3-1 09:17
是的,yolov3-608耗时比较长,在移动设备端还是建议使用tiny-yolov3对视频进行检查。你可以使用tiny-yolo ...

试了一下608x608的Yolov2,rknn_inference()可以达到80ms。同样大小的Yolov3为什么会慢5倍这么多呢?是不是有些Yolov3的算子还没有优化好啊?
回复

使用道具 举报

someone9388

注册会员

积分
66
发表于 2019-3-1 15:47:10 | 显示全部楼层
qiaoqiang126 发表于 2019-3-1 14:07
opencv-python>=3.4.3.18无法安装,找不到包怎么办?

同问,
如果是安装在板子上,是否因该安装opencv-python-aarch64,但是pip 中的whl 只有3.3.0.1 的。这个包是否可以?
回复

使用道具 举报

chuyee

中级会员

积分
352
发表于 2019-3-1 16:14:26 | 显示全部楼层
someone9388 发表于 2019-3-1 15:47
同问,
如果是安装在板子上,是否因该安装opencv-python-aarch64,但是pip 中的whl 只有3.3.0.1 的。这个 ...
sudo dnf install -y python3-devel python3-opencv python3-numpy-f2py python3-scipy python3-h5py python3-lmdb opencv-devel


Use dnf instead of pip. See the original post.
回复

使用道具 举报

someone9388

注册会员

积分
66
发表于 2019-3-1 16:46:02 | 显示全部楼层
chuyee 发表于 2019-3-1 16:14
Use dnf instead of pip. See the original post.

是的 ,多谢!
回复

使用道具 举报

chuyee

中级会员

积分
352
发表于 2019-3-1 17:13:49 | 显示全部楼层
Tried Yolov3 416. All my results are as follow. Do they algin with RK's internal testing?

Yolov3 608: 440ms
Yolov3 416: 210ms
Yolov2 608: 80ms
Yolov3 tiny: 20ms

BTW, I met below warnings during running rknn_tranform.py. Does it mean the rknn model is not best optimized (i.e. some high efficiency OP's are ignored due to accuracy loss)?

--> Building model
W extend add_13 to add will cause accuracy loss, do not extend.
W extend add_23 to add will cause accuracy loss, do not extend.
W extend add_30 to add will cause accuracy loss, do not extend.
W extend add_40 to add will cause accuracy loss, do not extend.
W extend add_47 to add will cause accuracy loss, do not extend.
W extend add_54 to add will cause accuracy loss, do not extend.
W extend add_61 to add will cause accuracy loss, do not extend.
W extend add_68 to add will cause accuracy loss, do not extend.
W extend add_75 to add will cause accuracy loss, do not extend.
W extend add_82 to add will cause accuracy loss, do not extend.
W extend add_89 to add will cause accuracy loss, do not extend.
W extend add_99 to add will cause accuracy loss, do not extend.
W extend add_106 to add will cause accuracy loss, do not extend.
W extend add_113 to add will cause accuracy loss, do not extend.
W extend add_120 to add will cause accuracy loss, do not extend.
W extend add_127 to add will cause accuracy loss, do not extend.
W extend add_134 to add will cause accuracy loss, do not extend.
W extend add_141 to add will cause accuracy loss, do not extend.
W extend add_148 to add will cause accuracy loss, do not extend.
W extend add_158 to add will cause accuracy loss, do not extend.
W extend add_165 to add will cause accuracy loss, do not extend.
W extend add_172 to add will cause accuracy loss, do not extend.
W extend add_179 to add will cause accuracy loss, do not extend.
done
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 关于Toybrick


快速回复 返回顶部 返回列表