8路解码RTSP码流，CPU占用高

我目前用RK3399PRO进行LINUX开发，目前遇到一个情况，用MPP解码8路1080P30的RTSP，H264码流。CPU占用率去到500%。我是用多线程异步，把RTSP客服端数据放进decode_put_packet进行解码，发现主要这个函数占用CPU比较高，请问是不是我的使用方式不对导致的？