batch 推理速度

分时复用的，就一个NPU，你可以理解为单核，batch=8就是8倍的batch=1的时间。