Toybrick

标题: 关于级联网络的推理中的格式转换问题 [打印本页]
作者: 萌虎龟来    时间: 2023-11-22 11:09
标题: 关于级联网络的推理中的格式转换问题
因为需要再RK3588部署一个单目标跟踪项目，众所周知，跟踪项目通常为两个模型，一个特征提取模型，一个特征融合模型
特征提取模型输入为cv Mat，输出为tensor，具体如下：
  1. [Instance branch]: INPUT_ATTR
  2. [TENSOR INDEX:            0]
  3. [TENSOR NAME:             input]
  4. [TENSOR N_DIMS:           4]
  5. [TENSOR DIMS:             [1, 255, 255, 3, ]]
  6. [TENSOR N_ELEMS:          195075]
  7. [TENSOR SIZE:             195075]
  8. [TENSOR W_STRIDE:         256]
  9. [TENSOR SIZE_WITH_STRIDE: 195840]
  10. [TENSOR FORMAT:           NHWC]
  11. [TENSOR TYPE:             INT8]
  12. [TENSOR QNT_TYPE:         AFFINE]
  13. [TENSOR ZP:               -128]
  14. [TENSOR SCALE:            1]

  16. [Instance branch]: OUTPUT_ATTR
  17. [TENSOR INDEX:            0]
  18. [TENSOR NAME:             output]
  19. [TENSOR N_DIMS:           4]
  20. [TENSOR DIMS:             [1, 48, 16, 16, ]]
  21. [TENSOR N_ELEMS:          12288]
  22. [TENSOR SIZE:             12288]
  23. [TENSOR W_STRIDE:         0]
  24. [TENSOR SIZE_WITH_STRIDE: 12288]
  25. [TENSOR FORMAT:           NCHW]
  26. [TENSOR TYPE:             INT8]
  27. [TENSOR QNT_TYPE:         AFFINE]
  28. [TENSOR ZP:               3]
  29. [TENSOR SCALE:            0.14404]
复制代码特征融合模型输入为tensor， 输出为tensor，具体如下：
  1. [Correlation branch]: INPUT_ATTR
  2. [TENSOR INDEX:            0]
  3. [TENSOR NAME:             input1]
  4. [TENSOR N_DIMS:           4]
  5. [TENSOR DIMS:             [1, 8, 8, 48, ]]
  6. [TENSOR N_ELEMS:          3072]
  7. [TENSOR SIZE:             3072]
  8. [TENSOR W_STRIDE:         8]
  9. [TENSOR SIZE_WITH_STRIDE: 3072]
  10. [TENSOR FORMAT:           NHWC]
  11. [TENSOR TYPE:             INT8]
  12. [TENSOR QNT_TYPE:         AFFINE]
  13. [TENSOR ZP:               -22]
  14. [TENSOR SCALE:            0.124435]

  16. [Correlation branch]: INPUT_ATTR
  17. [TENSOR INDEX:            1]
  18. [TENSOR NAME:             input2]
  19. [TENSOR N_DIMS:           4]
  20. [TENSOR DIMS:             [1, 16, 16, 48, ]]
  21. [TENSOR N_ELEMS:          12288]
  22. [TENSOR SIZE:             12288]
  23. [TENSOR W_STRIDE:         16]
  24. [TENSOR SIZE_WITH_STRIDE: 12288]
  25. [TENSOR FORMAT:           NHWC]
  26. [TENSOR TYPE:             INT8]
  27. [TENSOR QNT_TYPE:         AFFINE]
  28. [TENSOR ZP:               -4]
  29. [TENSOR SCALE:            0.189816]

  31. [Correlation branch]: OUTPUT_ATTR
  32. [TENSOR INDEX:            0]
  33. [TENSOR NAME:             output1]
  34. [TENSOR N_DIMS:           4]
  35. [TENSOR DIMS:             [1, 2, 16, 16, ]]
  36. [TENSOR N_ELEMS:          512]
  37. [TENSOR SIZE:             512]
  38. [TENSOR W_STRIDE:         0]
  39. [TENSOR SIZE_WITH_STRIDE: 4096]
  40. [TENSOR FORMAT:           NCHW]
  41. [TENSOR TYPE:             INT8]
  42. [TENSOR QNT_TYPE:         AFFINE]
  43. [TENSOR ZP:               -5]
  44. [TENSOR SCALE:            0.0481221]

  46. [Correlation branch]: OUTPUT_ATTR
  47. [TENSOR INDEX:            1]
  48. [TENSOR NAME:             output2]
  49. [TENSOR N_DIMS:           4]
  50. [TENSOR DIMS:             [1, 4, 16, 16, ]]
  51. [TENSOR N_ELEMS:          1024]
  52. [TENSOR SIZE:             1024]
  53. [TENSOR W_STRIDE:         0]
  54. [TENSOR SIZE_WITH_STRIDE: 4096]
  55. [TENSOR FORMAT:           NCHW]
  56. [TENSOR TYPE:             INT8]
  57. [TENSOR QNT_TYPE:         AFFINE]
  58. [TENSOR ZP:               -128]
  59. [TENSOR SCALE:            0.315689]
复制代码当前我采用的编程思路为特征提取模型采用零拷贝API
因为特征融合网络输入通道不为1，3，4，所以只能采用通用API
问题在于：
特征提取网络输出格式为NCHW，数据类型为INT8，特征融合网络输入NHWC，数据类型为INT8
我针对特征提取网络输出做了如下设置：
  1. attr_output_z.fmt = RKNN_TENSOR_NCHW;
  2.     attr_output_z.type = RKNN_TENSOR_FLOAT32;
  3.     ret = rknn_set_io_mem(ctx_z, mem_input_z, &attr_input_z);
复制代码对于特征融合网络如下设置：
  1. rknn_input input;
  2.     for (int i = 0; i < io_num.n_input; i++) {
  3.         input.index = i;
  4.         input.type = RKNN_TENSOR_FLOAT32;
  5.         input.size = attr_inputs[i].size * sizeof(float);
  6.         input.fmt = RKNN_TENSOR_NCHW;
  7.         input.pass_through = 0;

  9.         inputs.push_back(input);
  10.     }
复制代码两个模型之间的数据赋值，即特征提取网络结果作为特征融合模型输入代码如下：
  1. inputs[0].buf = mem_output_z->virt_addr;
复制代码

报错信息如下：
  1. E RKNN: [02:51:54.114] Meet unsupported src layout for normalize: 2
  2. E RKNN: [02:51:54.114] rknn_inputs_set, normalize error(-1) index=0
  3. E RKNN: [02:51:54.114] Meet unsupported src layout for normalize: 2
  4. E RKNN: [02:51:54.114] rknn_inputs_set, normalize error(-1) index=1
复制代码请问是思路有问题，比如统一使用通用API？还是需要手动将NCHW的输入转换为NHWC，在进行操作？




欢迎光临 Toybrick (https://t.rock-chips.com/) Powered by Discuz! X3.3