人工智能开发系列(2) 车牌识别开发与实现

本教程视频直播回看：

[/url]

1 快速上手

Ø 准备3399pro开发板一块，键盘，鼠标，显示屏

Ø git clone [url=https://github.com/zr940326/CarLicense.git]https://github.com/zr940326/CarLicense.git

Ø 下载，在CarLicense打入补丁

Ø 下载附件到CarLicense目录

Ø unzip rknn_test.zip解压文件

Ø python3 train-license-digits.py train训练生成用于数字和字母识别的pb文件

Ø python3 train-license-province.py train训练生成用于省份识别的pb文件

Ø pb模型训练完成之后，进入rknn_test目录，执行python3 rknn_transfer.py转换成rknn模型

Ø 安装matplotlib

1. sudo dnf install freetype-devel pkg-config libpng-devel pkg-config
   
2. pip3 install --user matplotlib

复制代码

Ø 执行python3 rknn_picture.py进行车牌识别测试

车牌提取：https://github.com/wzh191920/License-Plate-Recognition

车牌识别：https://github.com/zr940326/CarLicense

识别结果如下：

2 概述

一个简单的AI开发sample

Ø Github开源的车牌识别，CNN模型，6个省份，10个数字， 24个字母（I和O不属于车牌）

Ø 类LeNet-5，两个卷积层，两个池化层，一个全连接层，一个Softmax输出层

3 车牌定位和分割原理

3.1 HSV颜色空间介绍

3.2 原始图像

3.3 边缘提取

将图像自适应阈值进行二值化处理

1. if blur > 0:
   
2.    img = cv2.GaussianBlur(img, (blur, blur), 0)#图片分辨率调整
   
3. oldimg = img
   
4. img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
   
5. kernel = np.ones((20, 20), np.uint8)
   
6. img_opening = cv2.morphologyEx(img, cv2.MORPH_OPEN, kernel)
   
7. img_opening = cv2.addWeighted(img, 1, img_opening, -1, 0);
   
8. ret, img_thresh = cv2.threshold(img_opening, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)
   

复制代码

使用canny算子进行边缘提取

1. img_edge = cv2.Canny(img_thresh, 100, 200)

复制代码

3.4 轮廓查找

进行闭操作，去除字符间的空洞

进行开操作，去除多余的干扰点

1. kernel = np.ones((morphologyr, morphologyc), np.uint8)
   
2. 
   
3. img_edge1 = cv2.morphologyEx(img_edge, cv2.MORPH_CLOSE, kernel)
   
4. 
   
5. img_edge2 = cv2.morphologyEx(img_edge1, cv2.MORPH_OPEN, kernel)

复制代码

3.5 颜色识别

1. 统计各种颜色点的数量
   
2. 
   
3. H, S, V = cv2.split(card_img_hsv)
   
4. 
   
5. #筛选对应颜色的图像数据，并进行二值化
   
6. 
   
7. yellow_area = np.where((H > 11) & (H <= 34) & (S > 34), 1, 0)
   
8. 
   
9. green_area = np.where((H > 35) & (H <= 99) & (S > 34), 1, 0)
   
10. 
    
11. blue_area = np.where((H > 99) & (H <= 124) & (S > 34), 1, 0)
    
12. 
    
13. black_area = np.where((H > 0) & (H <= 180) & (S > 0) & (S < 255) & (V > 0) & (V < 46), 1, 0)
    
14. 
    
15. white_area = np.where((H > 0) & (H <= 180) & (S > 0) & (S < 43) & (V > 221) & (V < 225), 1, 0)
    
16. 
    
17. 
    
18. 
    
19. #对二值化的数据进行求和，得到点的个数
    
20. 
    
21. yellow = np.sum(yellow_area)
    
22. 
    
23. green = np.sum(green_area)
    
24. 
    
25. blue = np.sum(blue_area)
    
26. 
    
27. black = np.sum(black_area)
    
28. 
    
29. white = np.sum(white_area)

复制代码

3.6 精确定位

精确定位使用的是线扫的方式，统计行和列上对应颜色的数量，数量过少则相应的行或列进行丢弃

3.7 字符分割

4 RKNN使用解析

Rknn运行相关的源码集中在rknn_test下，目录结构如下所示：

rknn_test/

|-- lpr_digits_predict.rknn  //转换之后用于数字和字母预测的rknn模型

|-- lpr_locate.py         //车牌定位分割算法        

|-- lpr_province_predict.rknn //转换之后用于省份预测的rknn模型

|-- predict-lpr-pb.py      //使用TensorFlow和pb模型进行车牌识别

|-- rknn_picture.py        //使用RKNN和rknn模型进行车牌识别

|-- rknn_transfer.py       //将pb模型转换成rknn模型

`-- 京Q73Y60.jpg         //测试用的图片

RKNN使用部分可以参考中文手势识别的帖子和查看源码，都有比较详细的注释，这里不再赘述。

qiaoqiang126 发表于 2019-2-14 15:25
整个系统在UBUNTU上可以跑通，但是在3399pro Linux下面模型可以转换成.rknn  运行rknn_picture   报错
OSEr ...

可以在init_runtime里面加入参数init_runtime(host='rk3399pro')，你的ToolKit版本应该是0.9.7.0，需要指定host为rk3399pro才会运行在npu之上。UBUNTU可以，是因为运行在ToolKit的模拟器上。
我的ToolKit版本是0.9.7.1 init_runtime已经取消了host参数，会自动判断。

15875649641 发表于 2019-5-24 08:32
版主，请问有没有测试过识别一张图片大概需要多长时间呢？
我这边有个需求是对多路高清摄像头进行RKNN识别 ...

这个demo只是用来演示调用过程的，精度和实时度并没有做优化

yxtest 发表于 2019-6-14 14:34
通过你们提供的 predict-lpr-pb.py 可运行且可识别出来结果。为什么 执行了rknn_transfer.py和rknn_predict ...

demo编写的时候，rknntoolkit还处于早期版本，当前RknnToolKit稳定版本跟之前相比，接口还有其他方面变化较大，适配性可能不是很好。

Ryan_zdst 发表于 2019-10-17 17:55
RockX中的车牌识别和这个demo是一样的嘛

不一样，rockx的识别准确率高很多

pogeba 发表于 2019-10-18 15:30
版主你好，请问from rknn.api import RKNN怎么导入？需要安装什么包吗？

需要安装我们的rknn-toolkit，wiki里面有详细说明，建议先看下wiki。

xindongzhang 发表于 2020-7-20 14:17
版主好，rockx采用的是end2end的方式做的车牌识别吗？还是采用车牌摆正、字符分割、字符识别的流程呢？ ...

你可以看一下车牌的识别代码，从代码中可以看到，创建了三个模型，车牌检测，车牌矫正，车牌识别，一共进行了三个流程。

diaw 发表于 2020-7-28 19:56
楼主你整个跑过去花了多长时间呢

你是指哪个过程，训练还是推理。你说的训练卡在98%的情况我没遇到过，这个训练是github上别人写的仓库，已经两年没更新过了，因此有可能是TensorFlow版本兼容性的问题，可以看一下这方面。
如果你想只是想学习训练的过程，使用我们开发系列1的中文手势识别也是可以的。

shaojia 发表于 2021-1-7 10:56
我也遇到这个问题 请问你解决了吗

该demo仅用于演示，现在已经没有维护了，最新的rknn接口也发生很大变化，没有去做适配。

Jimbob 发表于 2021-11-11 14:45
您好，请问有这个可以在rk3568上面运行吗？有没有rk3568相关的的项目外放呢？谢谢！
...

这个demo时间已经比较久，可能不适配当前的RKNN版本了。项目在RKNN的SDK里面都有带，有Python的也有C语言的。如果想快速上手，还有RockX的库可以用，封装了一些常用的项目，调用非常简单。