RK3399Pro入门教程（10）RTSP推流介绍

本教程讲解如何基于TB-RK3399proD开发板进行RTSP推流，并可在远程使用vlc进行播放

本教程demo为教学用例，进行3小时拷机测试正常，若用户想商用还需自行优化；用户也可以使用其他推流框架配合rockchip mpp编解码库进行RTSP推流

开发板：TB-RK3399proD

系统、固件：采用fedora28系统（固件v1.5测试通过），Debian10测试通过

推流框架：live555

编解码库：rockchip mpp编解码库

图像数据：usb摄像头

1. 环境安装

fedora28系统

1. sudo dnf install https://download1.rpmfusion.org/free/fedora/rpmfusion-free-release-$(rpm -E %fedora).noarch.rpm
   
2. sudo dnf install live555-devel
   
3. sudo dnf install ffmpeg-devel
   
4. 
   
5. sudo dnf install librockchip_mpp-devel
   
6. sudo dnf install librockchip_rga-devel

复制代码

Debian10系统

1. 第一次更新：
   
2. 1. 更新源：sudo apt update --fix-missing
   
3. 2. 升级软件包：sudo apt -y upgrade
   
4. 注意：升级过去中会有提示确认是否提供/etc/apt/sources.list.d/toybrick.list,请输入"Y"
   
5. 3. 再次更新源：sudo apt update
   
6. 
   
7. 后续更新：
   
8. sudo apt update
   
9. sudo apt upgrade
   
10. 
    
11. 安装依赖：
    
12. sudo apt install liblivemedia-dev
    
13. sudo apt install livemedia-utils
    
14. sudo apt install ffmpeg
    
15. sudo apt install libavcodec-dev
    
16. sudo apt install libswscale-dev
    
17. sudo apt install libavformat-dev
    
18. sudo apt install vlc
    
19. sudo apt install rockchip-mpp-dev
    
20. sudo apt install rockchip-rga-dev

复制代码

2.下载并解压附件 for fedora

for debian

3. 编译执行

1. cd IPCamera/
   
2. make clean
   
3. make
   
4. ./RTSPServer

复制代码运行时会打印URL地址，ip不固定，所以以实际打印为准，我这里是"rtsp://172.16.9.3:8554/h264ESVideoTest"，后续播放就使用该地址

4.使用vlc进行播放，我这里直接在板子上安装vlc，用户也可以在PC上使用vlc播放

1. sudo dnf install vlc
   
2. vlc

复制代码

"media"--"Open Network Stream"--"rtsp://172.16.9.3:8554/h264ESVideoTest"--"Play"

运行效果如下

代码分析

V4L2.cpp

1. void V4L2FramedSource::doGetNextFrame()
   
2. {
   
3.         long bigin = get_time();
   
4. 
   
5.           registerOutputInterest();
   
6. 
   
7.           while(fTotOfFrameToSend<fMaxOfFrameToSend)
   
8.           {
   
9.                     convernt_to_OutputBuffer();
   
10.           }
    
11.         long end = get_time();
    
12.         printf("V4L2FramedSource::doGetNextFrame use %d \n", end - bigin);
    
13.           //统计返回信息
    
14.           fFrameSize=fNumValidDataBytes;//一次一帧图像
    
15.          fNumTruncatedBytes = 0;
    
16. 
    
17.           reset();
    
18.         afterGetting(this);
    
19. }

复制代码从usb摄像头获取一帧数据，转化成NV12格式

StreamEncoder.cpp

1. void StreamEncoder::continueReadProcessing1(unsigned frameSize,unsigned numTruncatedBytes,
   
2.                                           struct timeval presentationTime,
   
3.                                           unsigned durationInMicroseconds){
   
4. 
   
5.           fNumTruncatedBytes = numTruncatedBytes;
   
6.           fPresentationTime = presentationTime;
   
7.           fDurationInMicroseconds = durationInMicroseconds;
   
8. 
   
9.           encoder_to_h264();
   
10. 
    
11.               if(fNumValidDataBytes+dstsize<fOutputBufferSize && fTotOfFrameToSend<fMaxOfFrameToSend)
    
12.               {
    
13.                 copy_to_outputbuffer();               
    
14.               }
    
15. 
    
16.         fFrameSize = fNumValidDataBytes;
    
17.         gettimeofday(&fPresentationTime, NULL);
    
18.         reset();
    
19.               FramedSource::afterGetting(this);         
    
20. }

复制代码使用rockchip mpp库进行h264编码

在局域网里，在PC 端口，通过opencv获取板子上的推流，PC上显示非常容易出现卡死。

非常不错，这个例子的关键应该是将相关开源库中的视频编码采用MPP中的硬件编码单元。
能否提供一个教程，介绍开源库 如何 适配rockchip MPP RGA等库。

你好，视频无法打开提示如下：
[root@localhost IPCamera]# ./RTSPServer

"h264ESVideoTest" stream, from the file "test.264"
Play this stream using the URL "rtsp://202.204.53.161:8554/h264ESVideoTest"

(We use port 80 for optional RTSP-over-HTTP tunneling.)

camera driver name is : uvcvideo
camera device name is : LRCP  USB2.0
camera bus information: usb-xhci-hcd.11.auto-1.4
Success in VIDIOC_S_FMT
Success in VIDIOC_G_FMT getSizeInfo()
fmt.fmt.pix.bytesperline:1280
format:YUYV
camera_width:640        ,camera_height:480
video_format:16  YUV 4:2:2

end open_camera
Success in VIDIOC_G_FMT getSizeInfo()
fmt.fmt.pix.bytesperline:1280
format:YUYV
camera_width:640        ,camera_height:480
video_format:16  YUV 4:2:2

end open_camera
creater
pictureSize=460800
SDP Info:a=fmtp:96 packetization-mode=1;profile-level-id=000000;sprop-parameter-sets=H264

__StreamEncoder::H264_encode_close__
closed the camera!

camera driver name is : uvcvideo
camera device name is : LRCP  USB2.0
camera bus information: usb-xhci-hcd.11.auto-1.4
Success in VIDIOC_S_FMT
Success in VIDIOC_G_FMT getSizeInfo()
fmt.fmt.pix.bytesperline:1280
format:YUYV
camera_width:640        ,camera_height:480
video_format:16  YUV 4:2:2

end open_camera
Success in VIDIOC_G_FMT getSizeInfo()
fmt.fmt.pix.bytesperline:1280
format:YUYV
camera_width:640        ,camera_height:480
video_format:16  YUV 4:2:2

end open_camera
creater
pictureSize=460800
__DD_H264VideoFileServerMediaSubsession::startStream__
StreamOn success!
Open file(/boot/toybrick-release) failed
rgaCreate error!

Open file(/boot/toybrick-release) failed
rgaCreate error!

Open file(/boot/toybrick-release) failed
rgaCreate error!

Open file(/boot/toybrick-release) failed
rgaCreate error!

you_big_father 发表于 2019-12-8 15:35
你好，视频无法打开提示如下：
[root@localhost IPCamera]# ./RTSPServer

我自己解决了，用直接安装的RGA会出问题，先到《RK3399Pro入门教程（5）图形加速引擎RGA的使用》里下载RGA源码，放到这个教程目录下，修改一下makefile就行了

我也遇到了同样的问题，

楼上能贴下是如何把rga的代码融合到这个工程里面的吗？
非常感谢

sjq_cyy 发表于 2019-12-9 15:58
我也遇到了同样的问题，

楼上能贴下是如何把rga的代码融合到这个工程里面的吗？

你好  我才看到你的问题。
就是将rga例程的“rockchip_rga”文件夹源码放到RTSP例程根目录下，头文件放到RTSP的include文件夹下，makefile文件里加上RGA源文件会生成的 .o 文件，再修改V4L2.H文件将“#include <rockchip/rockchip_rga.h>”的“rockchip/”去掉就行了。

今天也遇到了这个问题，最终发现是用dnf update更新了mpp、rga、drm几个库导致的，将这几个库降级到之前的版本就不会再报“Open file(/boot/toybrick-release) failed”了。

看到介绍里说RK3399pro是支持AFBC的，那请问要如何启用这个技术呢？需要手动启用吗？还是说系统会自己决定何时启用？

大佬，我想知道板子上是linux系统的话，操作步骤是怎样的