模型中Transpose运行耗时的问题

[复制链接] · 发表于 2024-12-30 10:44:39

您好，下面的图是我的模型，转为rknn模型后，使用eval_perf，进行模型性能评估后的结果，其中Transpose的时间占了61.22%，而且是在cpu上运行了，请问下怎么降低Transpose这部分的耗时？

只看该作者 · 发表于 2024-12-30 15:43:36

这只能改模型，transpose转置在pc上也是非常慢的动作，改了对pc推理和npu推理都有很大速度提升。
先理解模型为什么有transpose，他在做什么，然后再思考能不能改掉他

只看该作者 · 发表于 2024-12-31 17:05:07

好的......

只看该作者 · 发表于 2025-1-2 11:29:57

transpose是不是指的是nhwc转为nchw？转换模型的时候可以试试设置force_builtin_perm,将转换放在npu里面做