请问RK1808S计算棒能够支持并行推理吗

显示全部楼层 · 发表于 2019-11-8 11:17:47

jefferyzhang 发表于 2019-11-8 10:54
还有就是batch_size需要提前知道，在转换模型时候就必须固定。

你好，请问后续会考虑加入动态batch_size支持吗，类似NNIE

显示全部楼层 · 发表于 2019-11-13 10:41:19

jefferyzhang 发表于 2019-11-8 14:17
理论上是不会支持的，加载模型时候需要知道参数和运算单元数量，并且客户也没有这种场景需求。
会变化bat ...

我们用的小模型在NPU上推理耗时 < 1ms，使用上输入的batch数是不确定的，当前NPU也是类似外挂的形式，使用batch也是为了减少数据拷贝时间