多线程双摄像头数据阻塞问题（C++小白求教）（已解决）

[复制链接] · 发表于 2019-10-18 10:28:08

本帖最后由 shopping 于 2019-10-25 17:01 编辑

因为公司以后要一个板子连接两个摄像头，而且对帧率有要求，所以考虑使用多线程。在看了这位老哥的( http://t.rock-chips.com/forum.php?mod=viewthread&tid=349 )demo 后，写了我的摄像头 + 双显示屏 demo 版本( V4L2 + OpenCV USB摄像头)，代码如下：

using namespace cv;

using namespace std;



mutex mtxQueueInput_1,mtxQueueInput_2;  // 两个全局变量，1对应第一个摄像头。2对应第二个摄像头。

queue<Mat> queueInput_1,queueInput_2;  // 同样，1显示第一个摄像头数据，2同理。



int get_video_1()

{

    char video[] = "/dev/video10" ;

    int cpuid = 0;  // 4个线程 4个函数 分别绑定到4个CPU上

    cpu_set_t mask;

    CPU_ZERO(&mask);

    CPU_SET(cpuid, &mask);



    if (pthread_setaffinity_np(pthread_self(), sizeof(mask), &mask) < 0)

    {

        printf("set thread affinity failed");

        return(FALSE);

    }

    printf("Bind CameraCapture process to CPU %d\n", cpuid);



    cv::Mat img( IMAGE_HEIGHT, IMAGE_WIDTH, CV_8UC(3),cv::Scalar(0,0,0));



    struct v4l2_buffer dequeue;

    dequeue.type = V4L2_BUF_TYPE_VIDEO_CAPTURE ;

    dequeue.memory = V4L2_MEMORY_MMAP ;



    BUF *buffers = (struct buffer *)malloc(COUNT*(sizeof (*buffers)));



    unsigned char *srcBuffer = (unsigned char*)malloc(sizeof(unsigned char) * BUFFER_SIZE_src);  // yuyv

    unsigned char *dstBuffer = (unsigned char*)malloc(sizeof(unsigned char) * BUFFER_SIZE_det);  // RGB



    /********************* function start *********************/

    buffers = v4l2(video,buffers) ;

    while(1)

    {

        srcBuffer = get_img(dequeue,buffers,srcBuffer);

        dstBuffer = yuyv2rgb24(srcBuffer,dstBuffer);

        img = unchar_to_Mat(dstBuffer,img);



        mtxQueueInput_1.lock();

        queueInput_1.push(img);

        if (queueInput_1.size() >= 30)

        {

            mtxQueueInput_1.unlock();

            printf("Img in queueInput is too much !");

            sleep(1);

            if (queueInput_1.size() >= 60)

            {

                printf("queue is full !\n");

                return(FALSE);

            }

        }else{

            mtxQueueInput_1.unlock();

        }

    }

    free(buffers);

    free(srcBuffer);

    free(dstBuffer);



    close_v4l2(buffers);

    return(TRUE);

}



int get_video_2()  // get_video_1 和 get_video_2  除了 摄像头、需要绑定的CPU  不一样外，其余都一样。displayImage_1 和 displayImage_2 的情况类似。
复制代码

每次执行这个文件，都要开个好几次才会显示出画面，即使有画面也坚持不了 1 min 。每次卡住都是因为队列里数据太多，所以休眠卡住，但图像还是没能继续显示，使得程序一直卡住，然后崩溃退出。

处于试验，我把这个程序拆分编译成两个可执行文件，即两个进程，每个进程调用一个摄像头做显示，每个进程里有两个线程，分别绑定不同CPU上，然后发现图像一点也不卡，非常流畅。不知道各位看了后有没有头绪，麻烦告知一下，谢谢。
怎么代码没了，再贴上：

int get_video_2()

{

    char video[] = "/dev/video12" ;

    int cpuid = 1;

    cpu_set_t mask;

    CPU_ZERO(&mask);

    CPU_SET(cpuid, &mask);



    if (pthread_setaffinity_np(pthread_self(), sizeof(mask), &mask) < 0)

    {

        printf("set thread affinity failed");

        return(FALSE);

    }

    printf("Bind CameraCapture process to CPU %d\n", cpuid);



    cv::Mat img( IMAGE_HEIGHT, IMAGE_WIDTH, CV_8UC(3),cv::Scalar(0,0,0));



    struct v4l2_buffer dequeue;

    dequeue.type = V4L2_BUF_TYPE_VIDEO_CAPTURE ;

    dequeue.memory = V4L2_MEMORY_MMAP ;



    BUF *buffers = (struct buffer *)malloc(COUNT*(sizeof (*buffers)));



    unsigned char *srcBuffer = (unsigned char*)malloc(sizeof(unsigned char) * BUFFER_SIZE_src);  // yuyv

    unsigned char *dstBuffer = (unsigned char*)malloc(sizeof(unsigned char) * BUFFER_SIZE_det);  // RGB



    /********************* function start *********************/

    buffers = v4l2(video,buffers) ;

    while(1)

    {

        srcBuffer = get_img(dequeue,buffers,srcBuffer);

        dstBuffer = yuyv2rgb24(srcBuffer,dstBuffer);

        img = unchar_to_Mat(dstBuffer,img);



        mtxQueueInput_2.lock();

        queueInput_2.push(img);

        if (queueInput_2.size() >= 30)

        {

            mtxQueueInput_2.unlock();

            printf("Img in queueInput is too much !");

            sleep(1);

            if (queueInput_2.size() >= 60)

            {

                printf("queue is full !\n");

                return(FALSE);

            }

        }else{

            mtxQueueInput_2.unlock();

        }

    }

    free(buffers);

    free(srcBuffer);

    free(dstBuffer);



    close_v4l2(buffers);

    return(TRUE);

}



int displayImage_1()

{

    int cpuid = 2;

    Mat img;

    cpu_set_t mask;

    CPU_ZERO(&mask);

    CPU_SET(cpuid, &mask);

    if (pthread_setaffinity_np(pthread_self(), sizeof(mask), &mask) < 0){

        cerr << "set thread affinity failed" << endl;

    }

    printf("Bind Display process to CPU %d\n", cpuid);

    while (1)

    {

        mtxQueueInput_1.lock();

        if (queueInput_1.empty())

        {

            mtxQueueInput_1.unlock();

            usleep(10);

        }

        else

        {

            img = queueInput_1.front();

            cv::imshow("image_10", img);  // display image

            queueInput_1.pop();

            mtxQueueInput_1.unlock();

        }

        if (waitKey(25) == 'Q') {

           break;

        }

    }

    return(TRUE);

}



int displayImage_2()

{

    int cpuid = 3;

    Mat img;

    cpu_set_t mask;

    CPU_ZERO(&mask);

    CPU_SET(cpuid, &mask);

    if (pthread_setaffinity_np(pthread_self(), sizeof(mask), &mask) < 0){

        cerr << "set thread affinity failed" << endl;

    }

    printf("Bind Display process to CPU %d\n", cpuid);

    while (1)

    {

        mtxQueueInput_2.lock();

        if (queueInput_2.empty())

        {

            mtxQueueInput_2.unlock();

            usleep(10);

        }

        else

        {

            img = queueInput_2.front();

            cv::imshow("image_12", img);  // display image

            queueInput_2.pop();

            mtxQueueInput_2.unlock();

        }

        if (waitKey(25) == 'Q') {

           break;

        }

    }

    return(TRUE);

}



int main()

{

    array<thread, 4> threads;

    threads = {thread(get_video_1),

               thread(displayImage_1),

               thread(get_video_2),

               thread(displayImage_2)};

    for (int i = 0; i < 4; i++){

        threads[i].join();

    }

    return(TRUE);

}
复制代码

只看该作者 · 发表于 2019-10-18 10:42:13

补充一下，其实 get_video_1 和 get_video_2 、 displayImage_1 和 displayImage_2 其实可以是一个函数，但是因为函数里的队列和互斥锁不一样，涉及到将队列和互斥锁作为参数传进函数里。可是互斥锁不可拷贝也不可移动，让我无法实现这个想法，才不得已拆分成四个函数。还是自己太菜。

只看该作者 · 发表于 2019-10-18 17:26:42

后来试验了一下，取消displayImage_1 和 displayImage_2函数，直接把 imshow 放get_video_1 和 get_video_2里面显示图片，结果还是会卡。本来怀疑是我 V4L2 + OpenCV 代码写的有问题，用opencv又写了一遍，双线程调用两个摄像头，分别绑定在2个CPU上，然后分别显示。让我无语的是，就连Opencv也会卡住。郁闷了，自闭了。

只看该作者 · 发表于 2019-10-21 10:32:03

通过观察，每次卡住都是图片播放卡住，导致最后程序崩溃，所以怀疑是 opencv 的显示导致。做了个试验，注释掉 imshow 函数，改为一个累加变量 int num ，num每500次打印看一下，用来判断程序是否在运行。结果是符合我怀疑的，图片不用 imshow 之后，程序确实正常运行。这么说问题出在图片显示上？

只看该作者 · 发表于 2019-10-22 09:15:03

后来又试验了一个版本：调用两个摄像头写在一个函数里，绑定到一个CPU上，作为一个线程运行；再把显示两个摄像头图像的代码写进一个函数里，再绑定到一个CPU上，作为一个线程运行。与一开始相比，少了两个线程，少了两个函数，目的还是没变，双摄 + 双显。最后运行时发现竟然能长时间运行，不会因卡住而崩溃，不过偶尔会有小停顿，据观察是数据队列存放太多，来不及显示而导致的卡顿，在这可以确定是显示问题。