板子评估时间和实际运行时间差别很大。

环境:     TB-RK3399Pro Debian10 python3 rknn1.3.2
模型对比,前者是评估的fps，后者是实际运行的fps
    ssd_mobilenet_v1:  77  28
    ssd_inception_v2:   59  29
    mobilenet_v1:         195  50
    vgg(16):                   64  43
    yolo3_tiny:               147 50

    model1(自己搭建的一个小网络):                        140 47
    model2(自己搭建的一个大网络,rknn大小50M)   24   17
    model3(裁剪model2,rknn大小28M):               38  22
    model3_batch2 (model3的batch方式)      18 12


我的理解是，虽然eval的是推断时间，没有数据换入换出，但是理论上差别应该不是很大，如果差别很大，那么这个数据置换就是整个模型的瓶颈。
所以当自己的模型很小，eval很快，但是存在了数据的传输，最多也只能跑50fps(参考mobilenet_v1,yolo3_tiny)。 请问这个该怎么优化呢？另补充下，采用batch推断的方式也没有提高速度，参考model3_batch2

模型对比,前者是评估的fps，后者是实际运行的fps
    vgg(16):                   64  61
    yolo3_tiny:               147 115

    model2(自己搭建的一个大网络,rknn大小50M)   24   22
    model3(裁剪model2,rknn大小28M):               38  37
    model3_batch2 (model3的batch方式)      18 17

更正下，采用了异步模式后确认速度正常。是我没仔细看文档的问题