Toybrick

支持多模型进行推理吗?

zhangjie

注册会员

积分
75
楼主
发表于 2024-6-28 18:23:28    查看: 1434|回复: 1 | [复制链接]    打印 | 只看该作者
1.我在部署的时候,想进行多个模型一起推理,但是出现了问题,单个模型推理正常.(6, 1001)
--> Load RKNN model LSTM_CNN_35_bs1.rknn
done
[RKNN] Can not find libdrm.so
librknn_runtime version 1.7.3 (2e55827 build: 2022-08-25 10:45:32 base: 1131)
E [op_optimize:428]CONCAT, uid 8 must have same quantize parameter!
E [op_optimize:428]CONCAT, uid 13 must have same quantize parameter!
E [op_optimize:428]CONCAT, uid 13 must have same quantize parameter!
E [op_optimize:428]CONCAT, uid 8 must have same quantize parameter!

(10:0) : error : Error(0,10) : Cannot find the header file cl_viv_vx_ext.h.
(255:0) : error : Error(0,255) : Cannot find the header file cl_viv_vx_ext.h.
(27:0) : error : undefined identifier: 'COPY'
(55:0) : error : undefined identifier: 'COPY'
(258:0) : error : syntax error at 'VXC_512Bits'

ERROR: Failed to compile vx shader. (error: FFFFFFFF)
E [_gpu_register:476]Build program fail.
E [rknn_kernel_create_node:632]Register client kernel com.vivantecorp.extension.evis.gather_F16toF16 fail with -1.

done
[1]
done
done
[RKNN] Can not find libdrm.so
librknn_runtime version 1.7.3 (2e55827 build: 2022-08-25 10:45:32 base: 1131)
E [rknn_CreateTensorFromData:1275]Create tensor from data fail.
Segmentation fault



回复

使用道具 举报

jefferyzhang

版主

积分
13572
沙发
发表于 2024-6-29 10:13:56 | 只看该作者
1. 支持多模型推理。
2. 多模型每个都要有一个独立的context
3. 先把rknn版本更新到最新,避免已知问题
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表