RK3399Pro入门教程（6）硬件编解码器MPP库的使用

显示全部楼层 · 发表于 2019-9-10 14:33:50

楼主好。我在Android环境下用java的MediaCodec API读取YUV编码h.264，然后demsg显示要20毫秒编码一帧，达不到同时两路1080p@30fps呢？

下面是编码的代码



public void encode(byte[] yuvFrame){

        int inputBufferIndex = codec.dequeueInputBuffer(-1);



        if (inputBufferIndex >= 0) {

            ByteBuffer inputBuffer;

            if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.LOLLIPOP) {

                inputBuffer = codec.getInputBuffer(inputBufferIndex);

            } else {

                inputBuffer = codec.getInputBuffers()[inputBufferIndex];

            }

            pts = computePresentationTime(generateIndex);

            if (inputBuffer != null) {

                inputBuffer.clear();

                inputBuffer.put(yuvFrame, 0, yuvFrame.length);

                codec.queueInputBuffer(inputBufferIndex, 0, yuvFrame.length, pts, 0);

            }

            generateIndex += 1;

        }

        MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();



        int outputBufferIndex = codec.dequeueOutputBuffer(bufferInfo, DEFAULT_TIMEOUT_US);



        while (outputBufferIndex >= 0) {

            ByteBuffer outputBuffer;

            if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.LOLLIPOP) {

                outputBuffer = codec.getOutputBuffer(outputBufferIndex);

            } else {

                outputBuffer = codec.getOutputBuffers()[outputBufferIndex];

            }

            if (outputBuffer != null) {

                byte[] outData = new byte[bufferInfo.size];

                outputBuffer.get(outData);

                if (bufferInfo.flags == 2) {

                    configByte = outData;

                } else if (bufferInfo.flags == 1) {

                    byte[] keyframe = new byte[bufferInfo.size + configByte.length];

                    System.arraycopy(configByte, 0, keyframe, 0, configByte.length);

                    System.arraycopy(outData, 0, keyframe, configByte.length, outData.length);



                    if (null != callback) {

                        callback.onFrame(this, keyframe);

                    }

                } else {

                    if (null != callback) {

                        callback.onFrame(this, outData);

                    }

                }



                codec.releaseOutputBuffer(outputBufferIndex, false);

            }

            outputBufferIndex = codec.dequeueOutputBuffer(bufferInfo, DEFAULT_TIMEOUT_US);

        }

    }



    /**

     * Generates the presentation time for frame N, in microseconds.

     */

    private long computePresentationTime(long frameIndex) {

        return frameIndex * 1000000 / FPS;

    }

复制代码

显示全部楼层 · 发表于 2019-9-12 15:54:24

jefferyzhang 发表于 2019-9-11 08:18
编码在VPU跑 300MHz情况下只能一路1080p30，
跑2路需要将频率提到400MHz或者更高 ...

那怎么提升VPU频率呢

显示全部楼层 · 发表于 2019-9-24 10:09:24

4. you can get demo about mpp applied to linux and android.
Liunx : https://github.com/WainDing/mpp_linux_cpp
Android : https://github.com/c-xh/MediaCodecDecodeMulti_h264

安卓的失效了，能重新放一个demo吗

显示全部楼层 · 发表于 2019-9-24 17:12:57

jefferyzhang 发表于 2019-9-24 10:38
https://github.com/c-xh/mediacodec_gl_decode_multi_h264_file

好的谢谢

显示全部楼层 · 发表于 2019-10-24 13:50:36

jefferyzhang 发表于 2019-5-17 11:05
mpp的build目录里有安卓编译。
我们的android也是自带libmpp的，无需编译。
android的media_codec默认就 ...

楼主，我现在想解码 Mjpeg，但是 mediacodec api 好像不支持 video/mjpeg。
应用层又无法通过 System.loadLibrary() 载入 libmpp (报错 E/linker: library "/vendor/lib/libmpp.so" ("/vendor/lib/libmpp.so") needed or dlopened by "/system/lib/libnativeloader.so" is not accessible for the namespace)。看起来android N开始应用层无法载入系统私有库。
所以要怎么测试解码mjpeg？

显示全部楼层 · 发表于 2019-10-30 11:20:52

jefferyzhang 发表于 2019-10-24 18:04
可以直接用安卓jpeg loader来读，底层我记得是对接过硬件的（大于多少像素会用VPU解），具体我也不是很清 ...

libmpp.so是armv7的？1.3固件。
我用v8a的库链接报错

显示全部楼层 · 发表于 2019-11-5 10:40:22

jefferyzhang 发表于 2019-10-30 11:43
toybrick里带的都是64bit的

我yuv编码jpeg出现 jpege_api: jpege: hardware return error status 40 。存下来的图底部是花的，是哪里出了问题？代码如下



void doCodec(){

    MppCtx ctx;

    MppApi *mpi;

    MpiCmd cmd = MPP_SET_OUTPUT_BLOCK;

    MppParam param      = NULL;

    MppPollType block   = MPP_POLL_BLOCK;

    MppCodingType type = MPP_VIDEO_CodingMJPEG;

    int MPI_ENC_LOOP_COUNT = 1;

    __android_log_print(ANDROID_LOG_DEBUG, "JNI","mpp_create");



    if(MPP_OK != mpp_create(&ctx, &mpi)){

        __android_log_print(ANDROID_LOG_DEBUG, "JNI","mpp_create failed");

        goto MPP_TEST_FAILED;

    }

    __android_log_print(ANDROID_LOG_DEBUG, "JNI","mpp_init");



    if(MPP_OK != mpp_init(ctx, MPP_CTX_ENC, type)){

        __android_log_print(ANDROID_LOG_DEBUG, "JNI","mpp_init failed");

        goto MPP_TEST_FAILED;

    }



    MppEncRcCfg rcCfg;





    __android_log_print(ANDROID_LOG_DEBUG, "JNI","rcCfg");



    rcCfg.change = MPP_ENC_RC_CFG_CHANGE_ALL;

    rcCfg.rc_mode = (MppEncRcMode) MPP_ENC_RC_MODE_CBR;

    rcCfg.quality = (MppEncRcQuality)MPP_ENC_RC_QUALITY_BEST;

    rcCfg.bps_target = bps;

    rcCfg.bps_max = bps * 17 / 16;

    rcCfg.bps_min = bps * 15 / 16;

    rcCfg.fps_in_flex      = 0;

    rcCfg.fps_in_num       = 24;

    rcCfg.fps_in_denorm    = 1;

    rcCfg.fps_out_flex     = 0;

    rcCfg.fps_out_num      = 24;

    rcCfg.fps_out_denorm   = 1;

    rcCfg.gop = 50;

    if(MPP_OK != mpi->control(ctx, MPP_ENC_SET_RC_CFG, &rcCfg)){

        __android_log_print(ANDROID_LOG_DEBUG, "JNI","rcCfg failed");

        goto MPP_TEST_FAILED;

    }



    __android_log_print(ANDROID_LOG_DEBUG, "JNI","prepCfg");



    MppEncPrepCfg prepCfg;

    prepCfg.change = MPP_ENC_PREP_CFG_CHANGE_INPUT | MPP_ENC_PREP_CFG_CHANGE_FORMAT;

    prepCfg.width = 1920;

    prepCfg.height = YUV_HEIGHT;

    prepCfg.hor_stride = MPP_ALIGN(1920, 8);

    prepCfg.ver_stride = MPP_ALIGN(YUV_HEIGHT, 8);

    prepCfg.format = MPP_FMT_YUV420P;



    if(MPP_OK != mpi->control(ctx, MPP_ENC_SET_PREP_CFG, &prepCfg)){

        __android_log_print(ANDROID_LOG_DEBUG, "JNI","rcCfg failed");

        goto MPP_TEST_FAILED;

    }

    

    __android_log_print(ANDROID_LOG_DEBUG, "JNI","codecCfg");

    MppEncCodecCfg codecCfg;





    if(MPP_OK != mpi->control(ctx, MPP_ENC_SET_CODEC_CFG, &codecCfg)){

        __android_log_print(ANDROID_LOG_DEBUG, "JNI","codecCfg failed");

        goto MPP_TEST_FAILED;

    }

    



    MppPacket enc_out;

    MppFrame enc_in;



    param = &block;



    MppBuffer frm_buf;

    unsigned char *buf2;

    mpp_buffer_get(NULL, &frm_buf, MPP_ALIGN(1920, 8) * MPP_ALIGN(YUV_HEIGHT, 8) * 3 / 2);





    FILE *file;

    file = fopen("/sdcard/single_frame.yuv", "rb");

    buf2 = (unsigned char *)malloc(YUV_SIZE);

    memset(buf2, 0, YUV_SIZE);



    fread(buf2, 1, YUV_SIZE, file);







    if(MPP_OK != mpi->control(ctx, MPP_SET_OUTPUT_BLOCK, param)){

        __android_log_print(ANDROID_LOG_DEBUG, "JNI","control failed");

        goto MPP_TEST_FAILED;

    }



    // interface with both input and output

    for (int i = 0; i < MPI_ENC_LOOP_COUNT; i++) {

        unsigned char *buf;

        buf = (unsigned char *)mpp_buffer_get_ptr(frm_buf);





        memcpy(buf, buf2, YUV_SIZE);





        mpp_frame_init(&enc_in);





        mpp_frame_set_width(enc_in, 1920);

        mpp_frame_set_height(enc_in, YUV_HEIGHT);

        mpp_frame_set_hor_stride(enc_in, MPP_ALIGN(1920, 8));

        mpp_frame_set_ver_stride(enc_in, MPP_ALIGN(YUV_HEIGHT, 8));

        mpp_frame_set_fmt(enc_in, MPP_FMT_YUV420P);

        mpp_frame_set_buffer(enc_in, frm_buf);

        mpp_frame_set_eos(enc_in, 0);











        if (MPP_OK != mpi->encode_put_frame(ctx, enc_in)) {

            __android_log_print(ANDROID_LOG_DEBUG, "JNI","encode_put_frame failed");

            goto MPP_TEST_FAILED;

        } else{



            if (MPP_OK != mpi->encode_get_packet(ctx, &enc_out)) {

                __android_log_print(ANDROID_LOG_DEBUG, "JNI","encode_get_packet failed");

                goto MPP_TEST_FAILED;

            } else{

                if(enc_out){

                    __android_log_print(ANDROID_LOG_DEBUG, "JNI","enc_out!");

                    void *ptr   = mpp_packet_get_pos(enc_out);

                    size_t len  = mpp_packet_get_length(enc_out);

                    RK_U32 eos = mpp_packet_get_eos(enc_out);

                    unsigned char* out_buf = new unsigned char[len];

                    memcpy(out_buf, ptr, len);



                    FILE *outfile = fopen("/sdcard/output.jpeg", "wb+");

                    fwrite(out_buf, 1, len, outfile);

                    fclose(outfile);



                    mpp_packet_deinit(&enc_out);

                }

            }

        }



        mpp_frame_deinit(&enc_in);

    }



    mpi->reset(ctx);



    if (enc_in){

        mpp_frame_deinit(&enc_in);



    }



    mpp_destroy(ctx);

    free(buf2);



    __android_log_print(ANDROID_LOG_DEBUG, "JNI","mpi_test success");





    return;



    MPP_TEST_FAILED:



    if (enc_in){

        mpp_frame_deinit(&enc_in);

    }

    if (ctx){

        mpp_destroy(ctx);

    }

    if (buf2){

        free(buf2);

    }





}
复制代码

显示全部楼层 · 发表于 2019-11-6 11:31:35

jefferyzhang 发表于 2019-10-30 11:43
toybrick里带的都是64bit的

你们固件里面libmpp.so确实是armv7的，我下载github上mpp的testcode编译出来armv8找不到libmpp.so，只有v7才能运行，而且输出也不正常……

显示全部楼层 · 发表于 2019-11-6 13:58:38

jefferyzhang 发表于 2019-11-6 12:52
你说的是安卓还是linux？

安卓字数补丁

显示全部楼层 · 发表于 2019-11-8 16:44:41

本帖最后由 swlmx 于 2019-11-8 16:54 编辑

jefferyzhang 发表于 2019-11-6 15:15
哦，安卓是v7 32bit的，因为安卓的框架mediacodec他是32 only的，所以mpp也必须是32才能被系统调用 ...

我用mpp demo里的decode_advanced代码循环300次平均每解码1帧1080p jpg要26ms，而且dmesg显示解码耗时很离谱。我另外测用jpegturbo解码平均才17ms。
另外demo里decode_simple解不了mjpeg……是不是有bug？

mpp流程循环中的伪代码：

mpp_packet_set_pos

mpp_packet_set_length

//input

mpi->poll

mpi->dequeue

mpp_task_meta_set_packet

mpp_task_meta_set_frame

mpi->enqueue

//output

mpi->poll

mpi->dequeue

mpp_task_meta_get_frame

mpi->enqueue
复制代码

dmesg里的log：

[83150.339427] rk_vcodec: vpu2_dec task: 1573200164298 ms

[83150.368903] rk_vcodec: vpu2_dec task: 1573200164327 ms

[83150.394374] rk_vcodec: vpu2_dec task: 1573200164353 ms

[83150.419830] rk_vcodec: vpu2_dec task: 1573200164378 ms

[83150.445152] rk_vcodec: vpu2_dec task: 1573200164404 ms

[83150.470661] rk_vcodec: vpu2_dec task: 1573200164429 ms

[83150.496018] rk_vcodec: vpu2_dec task: 1573200164455 ms

[83150.521544] rk_vcodec: vpu2_dec task: 1573200164480 ms

[83150.550334] rk_vcodec: vpu2_dec task: 1573200164509 ms

[83150.579556] rk_vcodec: vpu2_dec task: 1573200164538 ms

[83150.620477] rk_vcodec: vpu2_dec task: 1573200164579 ms

[83150.649453] rk_vcodec: vpu2_dec task: 1573200164608 ms

[83150.678954] rk_vcodec: vpu2_dec task: 1573200164637 ms

[83150.702283] rk_vcodec: vpu2_dec task: 1573200164661 ms
复制代码

感觉是把当前时间戳打出来了

RK3399Pro入门教程（6）硬件编解码器MPP库的使用

浏览过的版块