4路1080P视频编解码RGA速度太慢

      每路编解码中用了三次RGA，先是对解码的图像进行格式转换和缩放（用于打框），然后再次缩放图像到RKNN模型所要求的尺寸（用于推理），推理和打框之后又用RGA转换了图像格式（用于保存），然后硬编码并保存视频文件。
      每路编解码都是一个独立的线程，我这里已经使用了多线程来处理多路视频了。解码的是25FPS的1080P的图像，保存的也是1080P。单路的情况单次RGA转换格式平均耗时15ms左右，4路单次RGA转换格式平均耗时60ms左右，丢帧严重，保存的视频帧率仅10FPS。是因为RGA分时复用的原因么？
       4路480P图像编解码的话则能保持25帧。
       请问有什么方法能让4路1080P视频编解码RGA的速度保存在40ms以下？