给的模型能体现出npu的算力吗

[复制链接] · 发表于 2021-11-16 09:31:30

用的rk3399pro中rknn-tookit的example，其中的mobilenet-ssd，跑出来五十几fps，请问，通过这个怎么体现出npu的算力？

只看该作者 · 发表于 2021-11-17 09:22:16

应该很难体现出所有算力，毕竟有很多MAC运算单元是不可能刚好被你的模型同时使用的。
只要你按文档的优化建议优化你的模型，就能最大程度用满NPU算力

只看该作者 · 发表于 2021-11-18 17:10:39

mobilenet-ssd的计算量是2.3G个OP，而rk3399pro的标称计算力是3.0T OP/s，折算下来理论运算极限是1300FPS. 但是通常情况下瓶颈根本不在运算器件上，所以算力的利用率通常较低，你们跑到50+FPS，利用率约为1/25，已经处于一个不错的水平。根据我们对现有的十几个预训练小模型的测试，利用率达到1/20基本上已经是极限状态了。