|
|
本帖最后由 jefferyzhang 于 2022-12-9 08:54 编辑
MPP库安装方式
1. dnf 安装（详见wiki）
- sudo dnf install librockchip_mpp-devel
2. 源码编译
MPP库源码下载地址
- https://github.com/rockchip-linux/mpp
- 或 https://github.com/HermanChen/mpp
MPP库简介
MPP库是Rockchip根据自己的硬编解码器开发的应用程序编解码库，如果想达到最好的效果，必须要通过librockchip_mpp来直接编码实现编解码。其他第三方库都会因为兼容api的原因，徒增几次无用的帧拷贝动作，并且使用的都是虚拟地址。在上一篇RGA的教学中，我们知道纯物理连续地址的硬件操作是非常快的，转到虚拟地址后效率就会降低。如果想榨干Toybrick的性能，开发最完美的代码，纯连续的物理Buffer、mpp+rga是离不开的。
Mpp的API思路其实跟目前绝大多数的编解码库是一致的，都是queue/dequeue的队列操作方式，先设置好编解码状态，然后不停的queue/dequeue input/output buffer就可以实现编解码控制了。
Mpp库自带的test基本可以带大家入手。
MPP编译
1. （没有交叉编译环境的建议还是直接放在板子上编译） cd 到build目录里对应平台的目录
2. 如果是交叉编译环境，需要修改该目录下编译链的配置。然后执行编译脚本。
MPP套路讲解
解码范例在mpp源码内：test/mpi_dec_test.c
编码范例在mpp源码内：test/mpi_enc_test.c
1. 创建 MPP context 和 MPP api 接口。 （注意，和RGA一样，多个线程多个实例需要多个独立的的context）
- ret = mpp_create(&ctx, &mpi);
- if (MPP_OK != ret) {
- mpp_err("mpp_create failed\n");
- goto MPP_TEST_OUT;
- }
2. 设置一些MPP的模式（这里设置的是 MPP_DEC_SET_PARSER_SPLIT_MODE）
- mpi_cmd = MPP_DEC_SET_PARSER_SPLIT_MODE;
- param = &need_split;
- ret = mpi->control(ctx, mpi_cmd, param);
- if (MPP_OK != ret) {
- mpp_err("mpi->control failed\n");
- goto MPP_TEST_OUT;
- }
常用设置的一些模式解释如下：（其余的可以看MPP自带的开发文档，在doc目录下有详细说明）
MPP_DEC_SET_PARSER_SPLIT_MODE ： （仅限解码）
自动拼包（建议开启），硬编解码器每次解码就是一个Frame，所以如果输入的数据不确定是不是一个Frame（例如可能是一个Slice、一个Nalu或者一个FU-A分包，甚至可能随意读的任意长度数据），那就必须把该模式打开，MPP会自动分包拼包成一个完整Frame送给硬解码器。
MPP_DEC_SET_IMMEDIATE_OUT： （仅限解码）
立即输出模式（不建议开启），如果未开立即输出模式，MPP会按预先设定的节奏间隔输出解码的帧（例如33ms输出一帧）。但是实际硬件解码过程并不是均匀输出的，有时候两帧间隔可能就1ms一下子输出2-3帧，有时候两帧间又会有较长的间隔。如果打开立即输出模式，MPP就会在解码成功后立即输出一帧，那后续处理显示的节奏就需要用户自己控制。该模式适用于一些对实时性要求比较高的客户产品，需要自己把握输出节奏。
MPP_SET_INPUT_BLOCK：
MPP_SET_INTPUT_BLOCK_TIMEOUT：
MPP_SET_OUTPUT_BLOCK：
MPP_SET_OUTPUT_BLOCK_TIMEOUT：
设置输入输出的block模式，如果block模式打开，喂数据时候会block住直到编解码成功入队列或者出队列或者达到TIMEOUT时间，才会返回。
3. 初始化 MPP
- ret = mpp_init(ctx, MPP_CTX_DEC, MppCodingType::MPP_VIDEO_CodingAVC);
- if (MPP_OK != ret) {
- mpp_err("mpp_init failed\n");
- goto MPP_TEST_OUT;
- }
初始化编码还是解码，以及编解码的格式。
MPP_CTX_DEC ： 解码
MPP_CTX_ENC ： 编码
MPP_VIDEO_CodingAVC ： H.264
MPP_VIDEO_CodingHEVC : H.265
MPP_VIDEO_CodingVP8 : VP8
MPP_VIDEO_CodingVP9 : VP9
MPP_VIDEO_CodingMJPEG : MJPEG
等等，详细参看rk_mpi.h定义
4. 解码的话到这里初始化就完成了，编码的话需要多设置一些参数
设置编码宽高、对齐后宽高参数
- mPrepCfg.change = MPP_ENC_PREP_CFG_CHANGE_INPUT | MPP_ENC_PREP_CFG_CHANGE_FORMAT;
- mPrepCfg.width = mWidth;
- mPrepCfg.height = mHeight;
- mPrepCfg.hor_stride = mHStride;
- mPrepCfg.ver_stride = mVStride;
- mPrepCfg.format = mFrameFormat;
- int ret = mMppApi->control(mMppCtx, MPP_ENC_SET_PREP_CFG, &mPrepCfg);
设置编码码率、质量、定码率变码率
- mRcCfg.change = MPP_ENC_RC_CFG_CHANGE_ALL;
- /*
- * rc_mode - rate control mode
- * Mpp balances quality and bit rate by the mode index
- * Mpp provide 5 level of balance mode of quality and bit rate
- * 1 - only quality mode: only quality parameter takes effect
- * 2 - more quality mode: quality parameter takes more effect
- * 3 - balance mode : balance quality and bitrate 50 to 50
- * 4 - more bitrate mode: bitrate parameter takes more effect
- * 5 - only bitrate mode: only bitrate parameter takes effect
- */
- if (mIsCBR) {
- mRcCfg.rc_mode = (MppEncRcMode) MPP_ENC_RC_MODE_CBR;
- } else {
- mRcCfg.rc_mode = (MppEncRcMode) MPP_ENC_RC_MODE_VBR;
- }
- /*
- * quality - quality parameter
- * mpp does not give the direct parameter in different protocol.
- * mpp provide total 5 quality level 1 ~ 5
- * 0 - auto
- * 1 - worst
- * 2 - worse
- * 3 - medium
- * 4 - better
- * 5 - best
- */
- if (mQuality > 4) {
- mRcCfg.quality = (MppEncRcQuality)MPP_ENC_RC_QUALITY_BEST;
- } else {
- mRcCfg.quality = (MppEncRcQuality)mQuality;
- }
- int bps = mBps;
- switch (mRcCfg.rc_mode) {
- case MPP_ENC_RC_MODE_CBR:
- // constant bitrate has very small bps range of 1/16 bps
- mRcCfg.bps_target = bps;
- mRcCfg.bps_max = bps * 17 / 16;
- mRcCfg.bps_min = bps * 15 / 16;
- break;
- case MPP_ENC_RC_MODE_VBR:
- // variable bitrate has large bps range
- mRcCfg.bps_target = bps;
- mRcCfg.bps_max = bps * 3 / 2;
- mRcCfg.bps_min = bps * 1 / 2;
- break;
- default:
- abort();
- }
- /* fix input / output frame rate */
- mRcCfg.fps_in_flex = 0;
- mRcCfg.fps_in_num = mFps;
- mRcCfg.fps_in_denorm = 1;
- mRcCfg.fps_out_flex = 0;
- mRcCfg.fps_out_num = mFps;
- mRcCfg.fps_out_denorm = 1;
- mRcCfg.gop = mIInterval; /* i frame interval */
- mRcCfg.skip_cnt = 0;
- int ret = mMppApi->control(mMppCtx, MPP_ENC_SET_RC_CFG, &mRcCfg);
设置264相关的其他编码参数
- mCodecCfg.h264.change = MPP_ENC_H264_CFG_CHANGE_PROFILE |
- MPP_ENC_H264_CFG_CHANGE_ENTROPY |
- MPP_ENC_H264_CFG_CHANGE_TRANS_8x8 |
- MPP_ENC_H264_CFG_CHANGE_QP_LIMIT;
- /*
- * H.264 profile_idc parameter
- * 66 - Baseline profile
- * 77 - Main profile
- * 100 - High profile
- */
- mCodecCfg.h264.profile = 100;
- /*
- * H.264 level_idc parameter
- * 10 / 11 / 12 / 13 - qcif@15fps / cif@7.5fps / cif@15fps / cif@30fps
- * 20 / 21 / 22 - cif@30fps / half-D1@@25fps / D1@12.5fps
- * 30 / 31 / 32 - D1@25fps / 720p@30fps / 720p@60fps
- * 40 / 41 / 42 - 1080p@30fps / 1080p@30fps / 1080p@60fps
- * 50 / 51 / 52 - 4K@30fps
- */
- mCodecCfg.h264.level = 40;
- mCodecCfg.h264.entropy_coding_mode = 1;
- mCodecCfg.h264.cabac_init_idc = 0;
- mCodecCfg.h264.transform8x8_mode = 1;
- if (mRcCfg.rc_mode == MPP_ENC_RC_MODE_CBR) {
- mCodecCfg.h264.qp_init = 10;
- mCodecCfg.h264.qp_min = 4;
- mCodecCfg.h264.qp_max = 30;
- mCodecCfg.h264.qp_max_step = 16;
- }
- int ret = mMppApi->control(mMppCtx, MPP_ENC_SET_CODEC_CFG, &mCodecCfg);
5. 接下来就是喂数据和拿输出数据的过程了，具体可以直接看sample代码，这里解释下一些基本概念，方便大家看Sample代码时候不懵逼。
MppPacket ： 存放编码数据，例如264、265数据
MppFrame ： 存放解码的数据，例如YUV、RGB数据
MppTask : 一次编码或者解码的session
编码就是喂MppFrame，输出MppPacket；
解码就是喂MppPacket，输出MppFrame；
MPI包含两套接口做编解码：
一套是简易接口， 类似 decode_put_packet / decode_get_frame 这样put/get即可
一套是高级接口， 类似 poll / enqueue/ dequeue 这样的对input output队列进行操作
解码得到的output buffer一般都拥有虚拟地址和物理地址的fd，紧接着就可以通过RGA做对应操作或者拷贝，速度是相当快的。
MPP时间打印和FAQ：
传送门 -> http://t.rock-chips.com/forum.php?mod=viewthread&tid=785&extra=page%3D1
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有帐号？立即注册
x
|
收藏
闽公网安备 35010202001061号