Toybrick

标题: rknn输出没有任何画框，onnx输出正常 [打印本页]
作者: 月夜留香    时间: 5 天前
标题: rknn输出没有任何画框，onnx输出正常
本帖最后由 月夜留香 于 2024-12-23 18:11 编辑

如标题，onnx模型输出画框正常转换为rknn之后输出没有任何画框。尝试调整阈值之后框出现了但是混乱
想问下这大概率是哪里出了问题呢



作者: 月夜留香    时间: 5 天前
本帖最后由 月夜留香 于 2024-12-23 18:15 编辑

onnx输出
作者: 月夜留香    时间: 5 天前
本帖最后由 月夜留香 于 2024-12-23 18:20 编辑
  1. from rknn.api import RKNN
  2. import os

  4. if __name__ == '__main__':
  5.     DATASET_PATH = "./car_dataset/car_subset_20.txt"
  6.     # modified_model.onnx remove Floor op
  7.     model_path = "../onnx/onnx_model_modify_replacefloor.onnx"
  8.     platform = "rk3588"
  9.     output_path = "./rk3588_modified_new.rknn"

  11.     # Create RKNN object
  12.     rknn = RKNN(verbose=False)

  14.     # Pre-process config
  15.     print('--> Config model')
  16.     rknn.config(target_platform=platform, quantized_dtype="asymmetric_quantized-8")
  17.     print('done')

  19.     # Load model
  20.     print('--> Loading model')
  21.     ret = rknn.load_onnx(model=model_path)
  22.     if ret != 0:
  23.         print('Load model failed!')
  24.         exit(ret)
  25.     print('done')

  27.     # Build model
  28.     print('--> Building model')
  29.     ret = rknn.build(do_quantization=True, dataset=DATASET_PATH)
  30.     if ret != 0:
  31.         print('Build model failed!')
  32.         exit(ret)
  33.     print('done')

  35.     # Export rknn model
  36.     print('--> Export rknn model')
  37.     ret = rknn.export_rknn(output_path)
  38.     if ret != 0:
  39.         print('Export rknn model failed!')
  40.         exit(ret)
  41.     print('done')

  43.     # Release
  44.     rknn.release()
复制代码
这是转换代码


作者: 月夜留香    时间: 5 天前
调整阈值之后的rknn输出
作者: jefferyzhang    时间: 3 天前
1. 是否量化
2. 量化后rknn模型输出是否和onnx一致
3. 不量化rknn模型输出是否和onnx一致
4. 如果不一致，请详细到哪一层出现差异

rknntoolkit文档有很详细调试手册，你问题这么笼统的发上来没人帮得了你。
作者: 月夜留香    时间: 前天 17:56
jefferyzhang 发表于 2024-12-25 09:57
1. 是否量化
2. 量化后rknn模型输出是否和onnx一致
3. 不量化rknn模型输出是否和onnx一致

谢谢你的回复，
1.无论是否量化结果跟onnx输出都有很大差异。
2.onnx中间层输出还在调试。
作者: 月夜留香    时间: 前天 18:01
jefferyzhang 发表于 2024-12-25 09:57
1. 是否量化
2. 量化后rknn模型输出是否和onnx一致
3. 不量化rknn模型输出是否和onnx一致

想请教下问题：
  1. import numpy as np
  2. from PIL import Image
  3. import onnx
  4. from onnx import helper, TensorProto
  5. import numpy as np
  6. import onnxruntime as ort

  8. image_path = '1.jpg'  # 你的图像路径
  9. image = Image.open(image_path)

  11. # 调整图像尺寸为模型输入要求的尺寸 (896, 448)
  12. image = image.resize((896, 448))  # (宽, 高)

  14. # 将图像转换为RGB（如果它是灰度图或者有其他颜色模式）
  15. image = image.convert('RGB')

  17. # 转换为numpy数组，并将数据类型设置为float32
  18. image_np = np.array(image).astype(np.float32)

  20. # 归一化：将像素值缩放到 [-1, 1]
  21. image_np = (image_np / 127.5) - 1.0  # 将 [0, 255] 范围的像素值归一化到 [-1, 1]

  23. # 调整形状为 (1, 3, 448, 896)
  24. image_np = np.transpose(image_np, (2, 0, 1))  # 转换为 (3, 448, 896) 形式
  25. image_np = np.expand_dims(image_np, axis=0)    # 增加批次维度，变为 (1, 3, 448, 896)

  27. print(image_np.shape)

  29. # load model
  30. model = onnx.load_model("model_nchw.onnx")
  31. new_model_name="model_nchw_output.onnx"

  33. input_shape=[1,12,224,448]

  35. # add output
  36. intermediate_layer_value_info = helper.make_tensor_value_info('Concat_41', TensorProto.FLOAT, input_shape)
  37. model.graph.output.extend([intermediate_layer_value_info])
  38. onnx.save(model, new_model_name)
  39. onnx.checker.check_model(model)


  42. # run model
  43. ort_session = ort.InferenceSession(new_model_name)
  44. input_name = ort_session.get_inputs()[0].name

  46. conf_onnx, boxes_onnx, tmp_onnx = ort_session.run(None, {input_name: image_np})

  48. ## ========================== Result Compare ===============================
  49. print('********************* Intermidiante Layer Number: %s *******************' % 'input')
  50. tmp_onnx = np.squeeze(tmp_onnx)
  51. tmp_onnx = tmp_onnx.reshape(-1,tmp_onnx.shape[-1])

  53. # for idx in range(tmp_onnx.shape[0],2):
  54. for idx in range(0,4):
  55.     print('********************* Onnx:%d ****************************' % idx)
  56.     print(tmp_onnx[idx,:20])

  58. total_weight = np.sum(np.abs(tmp_onnx))
  59. print('totoal-weight:', total_weight)
复制代码
输出为： Graph output 'Concat_41' is not an output of any node in graph.
请问这个代码哪里出现问题呢，或者说输出"Concat_41"结果无法通过这个方法实现？
作者: 月夜留香    时间: 前天 18:01
月夜留香 发表于 2024-12-26 18:01
想请教下问题：

输出为： Graph output 'Concat_41' is not an output of any node in graph.
在netron上是可以看到'Concat_41'节点的。



欢迎光临 Toybrick (https://t.rock-chips.com/) Powered by Discuz! X3.3