Toybrick

树莓派3b+上使用RK1808人工智能计算棒(主动模式)实现物体识别

troy

版主

积分
2376
发表于 2020-3-20 17:59:14    查看: 61867|回复: 23 | [复制链接]    打印 | 显示全部楼层
本帖最后由 troy 于 2021-4-14 14:58 编辑

1. 主动模式介绍
主动模式的上位机可以是任何带有USB接口的平台及任何操作系统,包括了x86/x64/arm32/arm64的linux/windows/mac os及单片机、树莓派等等。
本教程以树莓派为例讲述主动模式的单计算棒部署流程。


  • 1808计算棒插入树莓派后,会被虚拟成网卡设备
  • 进行虚拟网卡配置,保证上位机和1808中间的网络连接正常
  • 计算棒默认IP为192.168.180.8,账号密码皆为toybrick
  • 计算棒端运行server服务程序,用来接收上位机的连接请求,并调用RKNN进行处理,再返回结果
  • 上位机运行client程序,连接server成功之后,发送推理请求,从1808端获取返回结果

2. 硬件组成
  • raspberrypi 3b+
  • 1808人工智能计算棒
  • 键盘、鼠标
  • USB camera
  • 显示屏
  • HDMI数据线
  • USB HUB
  • 网线用于连接因特网
  • micro USB供电



3. 树莓派网络配置
网络配置的目的,是为了使树莓派和计算棒之间能够通过网络进行通信。
3.1 虚拟网卡配置
1808计算棒插入树莓派后,会被虚拟成网卡设备,树莓派会自动生成网卡节点eth1。我们需要使用nmcli 工具删除eth1,再重新进行虚拟网卡配置。
  1. sudo apt-get install network-manager
  2. sudo nmcli con delete eth1
  3. sudo nmcli connection add con-name toybrick type ethernet ifname eth1 autoconnect yes ip4 192.168.180.1/24
复制代码

使用ifconfig命令,可以看到eth1的地址以及被设置成192.168.180.1

完成以上配置后,上位机即可与1808计算棒正常通信,可以ping通或者ssh登录到192.168.180.8
注意:
  • 以上配置完成一次即可。
  • 此时1808暂时还不能访问外网,1808上还无法安装软件包。

3.2 NAT网络配置
如果计算棒需要访问外网进行软件包安装,或者软件升级,则需要进行此步骤,本步骤关机后需要重新配置。
  1. sudo sysctl   -w net.ipv4.ip_forward=1
  2. sudo iptables -F
  3. sudo iptables -t nat -F
  4. sudo  iptables  -t  nat  -A POSTROUTING -o eth0 -j MASQUERADE
复制代码


4. 主动模式C语言开发
demo下载地址:https://eyun.baidu.com/s/3htJNFwS
下载源码到树莓派用户根目录,并解压源码
  1. tar -xvf master_mobilenet_ssd.tar
复制代码

4.1 1808计算棒部署

1、拷贝解压目录中的1808目录至计算棒,并重命名为mobilenet_ssd

  1. scp -r ~/master_mobilenet_ssd/1808 toybrick@192.168.180.8:/home/toybrick/mobilenet_ssd/
复制代码

2、ssh进入计算棒,账号密码均为toybrick

  1. ssh  toybrick@192.168.180.8
复制代码

3、安装依赖包(确保3.2 NAT网络配置完成,可以尝试在1808上sudo ping www.baidu.com确认是否可以访问外网)

1808计算棒默认已安装rknn_api库。

  1. sudo dnf clean all
  2. sudo dnf install -y cmake make
复制代码

4、编译

  1. cd mobilenet_ssd
  2. mkdir build && cd build
  3. cmake ..
  4. make -j4
复制代码

5、开机自启动,在/usr/local/bin/tb.local.after中加入以下代码,重启后,1808将会自动运行mobilenet_ssd服务程序
  1. cd /home/toybrick/mobilenet_ssd
  2. sudo -u toybrick /home/toybrick/mobilenet_ssd/boot.sh
复制代码

4.2 树莓派部署
opencv仅为方便demo效果演示使用,非主动模式必须。
1、树莓派开发环境安装
  1. sudo apt-get install -y make cmake libopencv-dev
复制代码

2、编译
  1. cd ~/master_mobilenet_ssd/host
复制代码

3、运行demo。在4.1中,我们已经在1808上完成mobilenet_ssd的sever程序的自动启动。
  1. ./ssd_demo
复制代码
可以在屏幕上看到mobilenet_ssd的推理画面,按ESC退出。


5. 主动模式Python开发
从github上克隆源码到树莓派用户根目录,树莓派默认已安装git。
  1. cd ~
  2. git clone https://github.com/rockchip-toybrick/master_rockx_demo.git
复制代码

5.1 1808计算棒部署

1、拷贝1808目录至计算棒,并重命名为rockx

  1. scp -r ~/master_rockx_demo/1808 toybrick@192.168.180.8:/home/toybrick/rockx/
复制代码


2、ssh进入计算棒,账号密码均为toybrick

  1. ssh  toybrick@192.168.180.8
复制代码

3、系统升级,目的在于保证驱动一致性,升级完成后需要重启。(确保3.2 NAT网络配置完成,可以尝试在1808上sudo ping www.baidu.com确认是否可以访问外网)
  1. sudo dnf update
复制代码


4、python环境包安装(确保2.2 NAT网络配置完成,可以尝试在1808上sudo ping www.baidu.com确认是否可以访问外网)
opencv仅为方便demo效果演示使用,非主动模式必须(本demo在传输过程中会使用opencv对图像进行编码和解码)。
rockx封装了一些常用的模型,可以简化编程,非主动模式必须。
TMPDIR必须设置,否则由于系统tmp目录过小,会导致安装Python包失败。
  1. mkdir /home/toybrick/tmp
  2. export TMPDIR=/home/toybrick/tmp
  3. sudo dnf install -y python3-opencv
  4. pip3 install --user rockx
复制代码

5、开机自启动开机自启动,在/usr/local/bin/tb.local.after中加入以下代码,重启后,1808将会自动运行mobilenet_ssd服务程序。/usr/local/bin/tb.local.after将会在系统启动之后自动加载,我们在其中调用我们自己的boot.sh,完成启动server程序的操作。
  1. cd /home/toybrick/rockx
  2. sudo -u toybrick /home/toybrick/rockx/boot.sh
复制代码

至此,我们在1808端启动了3个模型的server程序。其中端口号在代码中指定,可以自行修改。
face_landmark_sever.py    监听端口8001
object_server.py                监听端口8002
pose_server.py                  监听端口8003

5.2 树莓派部署
opencv仅为方便demo效果演示使用,非主动模式必须。
1、安装opencv
  1. pip3 install --user opencv-python
复制代码

2、由于树莓派在opencv存在BUG,如果进行以下操作才能正常import cv2。在~/.bashrc中最后添加以下内容
  1. export LD_PRELOAD=$LD_PRELOAD:/usr/lib/arm-linux-gnueabihf/libatomic.so.1.2.0
复制代码

3、执行以下命令生效改动
  1. source ~/.bashrc
复制代码

4、运行demo。在5.1中,我们已经在1808上完成mobilenet_ssd的sever程序的自动启动。
face_landmark.py、object.py、pose.py三个demo均可以正常运行,此处以object.py运行为例。
  1. python3 object.py
复制代码
可以在屏幕上看到mobilenet_ssd的推理画面,按ESC退出。


编程建议(重要:请认真阅读
  • opencv非主动模式所必须,C语言和Python的demo用到opencv库,仅为方便图像的采集、显示和编解码操作,用户可以自行选择是否使用opencv
  • 本帖所用到的两个demo,C语言版本运行帧率会比Python版本低,主要是因为Python版demo中,传输图像时使用了JPEG编解码,传输数据量变少,减少了传输时间。C语言也可以同样通过类似方法自行实现进行优化。
  • 将数据采集,数据传输,结果显示并行处理,可以显著提高帧率。
  • 当前主动模式的瓶颈主要在网络数据传输耗时,提高帧率可以从数据传输量下手。
  • 上位机对输入数据进行压缩编码后,再传输给1808计算棒进行解码
  • 输出后处理可以在1808上进行,只保留最终结果发送给上位机。

编程指引:
一、单计算棒多模型:
  • 给不同的模型分配不同port端口
  • 在计算棒上同时自动启动多个模型的服务程序
  • 上位机的程序可以通过不同的port端口连接到计算棒上。

二、多计算棒多模型:
    参考http://t.rock-chips.com/wiki.php?mod=view&id=116





























本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

liuwenhua

中级会员

积分
378
发表于 2020-3-26 10:26:42 | 显示全部楼层
在进行主动模式Python开发时,启动sever.py程序时,报错
--> Init runtime environment
E Connect to Device Failure (-1)
E Catch exception when init runtime!
T Traceback (most recent call last):
T   File "rknn/api/rknn_base.py", line 769, in rknn.api.rknn_base.RKNNBase.init_runtime
T   File "rknn/api/rknn_runtime.py", line 142, in rknn.api.rknn_runtime.RKNNRuntime.__init__
T   File "rknn/api/rknn_platform_utils.py", line 271, in rknn.api.rknn_platform_utils.start_ntp_or_adb
T Exception: Init runtime environment failed!
T Current device id is: None
T Devices connected:
T []
Init runtime environment failed
回复

使用道具 举报

troy

版主

积分
2376
 楼主| 发表于 2020-3-27 14:21:04 | 显示全部楼层
liuwenhua 发表于 2020-3-26 10:26
在进行主动模式Python开发时,启动sever.py程序时,报错
--> Init runtime environment
E Connect to Devic ...

1808上运行出现的log?
回复

使用道具 举报

liuwenhua

中级会员

积分
378
发表于 2020-3-27 17:23:23 | 显示全部楼层
troy 发表于 2020-3-27 14:21
1808上运行出现的log?

已经解决,谢谢
回复

使用道具 举报

gao

注册会员

积分
76
发表于 2020-4-24 19:16:21 | 显示全部楼层

请问如何解决的?
回复

使用道具 举报

liuwenhua

中级会员

积分
378
发表于 2020-4-26 08:55:25 | 显示全部楼层
gao 发表于 2020-4-24 19:16
请问如何解决的?

我安装的toolkit包不正确
回复

使用道具 举报

troy

版主

积分
2376
 楼主| 发表于 2020-4-26 22:56:41 | 显示全部楼层
liuwenhua 发表于 2020-4-26 08:55
我安装的toolkit包不正确

不需要安装toolkit,计算棒本身已经自带了,你是指哪步出错。
回复

使用道具 举报

simon

新手上路

积分
18
发表于 2020-7-7 15:26:36 | 显示全部楼层
1808计算棒插入树莓派后,未看到网卡设备,请问这是什么原因啊
回复

使用道具 举报

troy

版主

积分
2376
 楼主| 发表于 2020-7-7 17:08:26 | 显示全部楼层
simon 发表于 2020-7-7 15:26
1808计算棒插入树莓派后,未看到网卡设备,请问这是什么原因啊

哪个版本的树莓派,要看下是否支持RNDIS网卡,固件是否有裁剪,我用的3b+是可以的。另外可以在树莓派上执行lsusb看下有没有计算棒的usb节点。
回复

使用道具 举报

chinaflys

注册会员

积分
166
发表于 2020-7-23 16:16:01 | 显示全部楼层
你好,我的系统ubntu16.04系统,如何让计算棒能够上网啊?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表