Toybrick

标题: 模型中Transpose运行耗时的问题 [打印本页]

作者: lrzss 时间: 2024-12-30 10:44
标题: 模型中Transpose运行耗时的问题
您好，下面的图是我的模型，转为rknn模型后，使用eval_perf，进行模型性能评估后的结果，其中Transpose的时间占了61.22%，而且是在cpu上运行了，请问下怎么降低Transpose这部分的耗时？

作者: jefferyzhang 时间: 2024-12-30 15:43
这只能改模型，transpose转置在pc上也是非常慢的动作，改了对pc推理和npu推理都有很大速度提升。
先理解模型为什么有transpose，他在做什么，然后再思考能不能改掉他

作者: lrzss 时间: 2024-12-31 17:05
好的......

作者: piccolo 时间: 2025-1-2 11:29
transpose是不是指的是nhwc转为nchw？转换模型的时候可以试试设置force_builtin_perm,将转换放在npu里面做

欢迎光临 Toybrick (https://t.rock-chips.com/)