rk3399pro的npu支并行跑模型吗？

[复制链接] · 发表于 2019-2-13 10:55:34

像了解一下硬件层面的特性，比如cpu和gpu都是可以支持多线程同时跑模型，并且随着线程的增加，性能是有一定提升的。那么rk3399pro的npu是否也是支持多线程同时调用呢，性能是否也会随着线程的增加而有一定提升呢？

只看该作者 · 发表于 2019-2-13 15:55:06

可以支持多模型一起跑的。
性能上npu是异构运算，npu在执行时候cpu和gpu都是空闲的，可以优化你的代码结构，让cpu、gpu、npu形成固定流水线作业