Toybrick

标题: 树莓派3b+上使用RK1808人工智能计算棒(主动模式)实现物体识别 [打印本页]

作者: troy    时间: 2020-3-20 17:59
标题: 树莓派3b+上使用RK1808人工智能计算棒(主动模式)实现物体识别
本帖最后由 troy 于 2020-3-26 09:44 编辑

1. 主动模式介绍
主动模式的上位机可以是任何带有USB接口的平台及任何操作系统,包括了x86/x64/arm32/arm64的linux/windows/mac os及单片机、树莓派等等。
本教程以树莓派为例讲述主动模式的单计算棒部署流程。

[attach]918[/attach]

2. 硬件组成
[attach]934[/attach]

3. 树莓派网络配置
网络配置的目的,是为了使树莓派和计算棒之间能够通过网络进行通信。
3.1 虚拟网卡配置
1808计算棒插入树莓派后,会被虚拟成网卡设备,树莓派会自动生成网卡节点eth1。我们需要使用nmcli 工具删除eth1,再重新进行虚拟网卡配置。
  1. sudo apt-get install network-manager
  2. sudo nmcli con delete eth1
  3. sudo nmcli connection add con-name toybrick type ethernet ifname eth1 autoconnect yes ip4 192.168.180.1/24
复制代码

使用ifconfig命令,可以看到eth1的地址以及被设置成192.168.180.1
[attach]911[/attach]
完成以上配置后,上位机即可与1808计算棒正常通信,可以ping通或者ssh登录到192.168.180.8
注意:

3.2 NAT网络配置
如果计算棒需要访问外网进行软件包安装,或者软件升级,则需要进行此步骤,本步骤关机后需要重新配置。
  1. sudo sysctl   -w net.ipv4.ip_forward=1
  2. sudo iptables -F
  3. sudo iptables -t nat -F
  4. sudo  iptables  -t  nat  -A POSTROUTING -o eth0 -j MASQUERADE
复制代码


4. 主动模式C语言开发
demo下载地址:https://eyun.baidu.com/s/3htJNFwS
下载源码到树莓派用户根目录,并解压源码
  1. tar -xvf master_mobilenet_ssd.tar
复制代码

4.1 1808计算棒部署

1、拷贝解压目录中的1808目录至计算棒,并重命名为mobilenet_ssd

  1. scp -r ~/master_mobilenet_ssd/1808 toybrick@192.168.180.8:/home/toybrick/mobilenet_ssd/
复制代码

2、ssh进入计算棒,账号密码均为toybrick

  1. ssh  toybrick@192.168.180.8
复制代码

3、安装依赖包(确保3.2 NAT网络配置完成,可以尝试在1808上sudo ping www.baidu.com确认是否可以访问外网)

1808计算棒默认已安装rknn_api库。

  1. sudo dnf clean all
  2. sudo dnf install -y cmake make
复制代码

4、编译

  1. cd mobilenet_ssd
  2. mkdir build && cd build
  3. cmake ..
  4. make -j4
复制代码

5、开机自启动,在/usr/local/bin/tb.local.after中加入以下代码,重启后,1808将会自动运行mobilenet_ssd服务程序
  1. cd /home/toybrick/mobilenet_ssd
  2. sudo -u toybrick /home/toybrick/mobilenet_ssd/boot.sh
复制代码

4.2 树莓派部署
opencv仅为方便demo效果演示使用,非主动模式必须。
1、树莓派开发环境安装
  1. sudo apt-get install -y make cmake libopencv-dev
复制代码

2、编译
  1. cd ~/master_mobilenet_ssd/host
复制代码

3、运行demo。在4.1中,我们已经在1808上完成mobilenet_ssd的sever程序的自动启动。
  1. ./ssd_demo
复制代码
可以在屏幕上看到mobilenet_ssd的推理画面,按ESC退出。
[attach]914[/attach]

5. 主动模式Python开发
从github上克隆源码到树莓派用户根目录,树莓派默认已安装git。
  1. cd ~
  2. git clone https://github.com/rockchip-toybrick/master_rockx_demo.git
复制代码

5.1 1808计算棒部署

1、拷贝1808目录至计算棒,并重命名为rockx

  1. scp -r ~/master_rockx_demo/1808 toybrick@192.168.180.8:/home/toybrick/rockx/
复制代码


2、ssh进入计算棒,账号密码均为toybrick

  1. ssh  toybrick@192.168.180.8
复制代码

3、系统升级,目的在于保证驱动一致性,升级完成后需要重启。(确保3.2 NAT网络配置完成,可以尝试在1808上sudo ping www.baidu.com确认是否可以访问外网)
  1. sudo apt-get update
复制代码

4、python环境包安装(确保2.2 NAT网络配置完成,可以尝试在1808上sudo ping www.baidu.com确认是否可以访问外网)
opencv仅为方便demo效果演示使用,非主动模式必须。
rockx封装了一些常用的模型,可以简化编程,非主动模式必须。
TMPDIR必须设置,否则由于系统tmp目录过小,会导致安装Python包失败。
  1. cd ~ && mkdir tmp
复制代码

5、开机自启动开机自启动,在/usr/local/bin/tb.local.after中加入以下代码,重启后,1808将会自动运行mobilenet_ssd服务程序。/usr/local/bin/tb.local.after将会在系统启动之后自动加载,我们在其中调用我们自己的boot.sh,完成启动server程序的操作。
  1. cd /home/toybrick/rockx
  2. sudo -u toybrick /home/toybrick/rockx/boot.sh
复制代码

至此,我们在1808端启动了3个模型的server程序。其中端口号在代码中指定,可以自行修改。
face_landmark_sever.py    监听端口8001
object_server.py                监听端口8002
pose_server.py                  监听端口8003

5.2 树莓派部署
opencv仅为方便demo效果演示使用,非主动模式必须。
1、安装opencv
  1. pip3 install --user opencv-python
复制代码

2、由于树莓派在opencv存在BUG,如果进行以下操作才能正常import cv2。在~/.bashrc中最后添加以下内容
  1. export LD_PRELOAD=$LD_PRELOAD:/usr/lib/arm-linux-gnueabihf/libatomic.so.1.2.0
复制代码

3、执行以下命令生效改动
  1. source ~/.bashrc
复制代码

4、运行demo。在5.1中,我们已经在1808上完成mobilenet_ssd的sever程序的自动启动。
face_landmark.py、object.py、pose.py三个demo均可以正常运行,此处以object.py运行为例。
  1. python3 object.py
复制代码
可以在屏幕上看到mobilenet_ssd的推理画面,按ESC退出。
[attach]915[/attach]

编程建议(重要:请认真阅读
编程指引:
一、单计算棒多模型:
二、多计算棒多模型:
    参考http://t.rock-chips.com/wiki.php?mod=view&id=116
























作者: liuwenhua    时间: 2020-3-26 10:26
在进行主动模式Python开发时,启动sever.py程序时,报错
--> Init runtime environment
E Connect to Device Failure (-1)
E Catch exception when init runtime!
T Traceback (most recent call last):
T   File "rknn/api/rknn_base.py", line 769, in rknn.api.rknn_base.RKNNBase.init_runtime
T   File "rknn/api/rknn_runtime.py", line 142, in rknn.api.rknn_runtime.RKNNRuntime.__init__
T   File "rknn/api/rknn_platform_utils.py", line 271, in rknn.api.rknn_platform_utils.start_ntp_or_adb
T Exception: Init runtime environment failed!
T Current device id is: None
T Devices connected:
T []
Init runtime environment failed

作者: troy    时间: 2020-3-27 14:21
liuwenhua 发表于 2020-3-26 10:26
在进行主动模式Python开发时,启动sever.py程序时,报错
--> Init runtime environment
E Connect to Devic ...

1808上运行出现的log?
作者: liuwenhua    时间: 2020-3-27 17:23
troy 发表于 2020-3-27 14:21
1808上运行出现的log?

已经解决,谢谢




欢迎光临 Toybrick (http://t.rock-chips.com/) Powered by Discuz! X3.3