Toybrick

楼主: qliu

init_runtime() 失败

jefferyzhang

版主

积分
13574
11#
发表于 2019-11-25 16:22:33 | 只看该作者
你把pb模型和转换代码一起发上来下,我试下
回复

使用道具 举报

feihu_h

新手上路

积分
46
12#
发表于 2019-11-25 16:31:44 | 只看该作者
qliu 发表于 2019-11-25 14:51
verbose 日志见附件

不知道楼主,模型中是否用到了,减法,如减去均值这样的操作,如果有的话去掉尽量放到模型外面操作,似乎这里不支持维度的广播机制,去掉后我的问题解决了
回复

使用道具 举报

qliu

注册会员

积分
162
13#
 楼主| 发表于 2019-11-25 19:56:51 | 只看该作者
jefferyzhang 发表于 2019-11-25 16:22
你把pb模型和转换代码一起发上来下,我试下

私信你了
回复

使用道具 举报

qliu

注册会员

积分
162
14#
 楼主| 发表于 2019-11-25 20:23:16 | 只看该作者
feihu_h 发表于 2019-11-25 16:31
不知道楼主,模型中是否用到了,减法,如减去均值这样的操作,如果有的话去掉尽量放到模型外面操作,似乎 ...

我们有挺多这种操作的。。。这种操作应该挺常见的啊
回复

使用道具 举报

jefferyzhang

版主

积分
13574
15#
发表于 2019-11-26 08:57:30 | 只看该作者
已经提交问题了,等待相关部门答复。

PS:
加减均值那些操作没问题的,NPU端除了神经网络专用IP外,还有通用的运算单元。
回复

使用道具 举报

feihu_h

新手上路

积分
46
16#
发表于 2019-11-26 12:38:44 | 只看该作者
jefferyzhang 发表于 2019-11-26 08:57
已经提交问题了,等待相关部门答复。

PS:

我们测试,感觉是有问题的,具体表现是不支持 维度广播  如维度1X5X5X3  - 向量 [2.00,3.2,4.1]  ;好像不支持
回复

使用道具 举报

jefferyzhang

版主

积分
13574
17#
发表于 2019-11-26 12:41:47 | 只看该作者
feihu_h 发表于 2019-11-26 12:38
我们测试,感觉是有问题的,具体表现是不支持 维度广播  如维度1X5X5X3  - 向量 [2.00,3.2,4.1]  ;好像 ...

不支持都当bug处理,模型和转换脚本一起发上来,我找人debug
回复

使用道具 举报

jefferyzhang

版主

积分
13574
18#
发表于 2019-11-27 08:13:31 | 只看该作者
相关部门回复:(新版本已修复)

这个模型在新版本驱动里(v1.3.0)可以跑,但是因为这个网络用了大量的Add/Mean/Pow/Sub/Sqrt/Div等操作,这些操作大部分无法量化,无法跑在专有加速器上,只能跑在通用Shader上,因此性能非常低,建议客户尽量把这种零散的操作放到模型外,或者用常用的tensorflow的op(如pooling)来替换这些Add/Mean/Pow/Sub/Sqrt/Div操作,才可以有效的将NPU的加速单元利用起来。

另外,这些 Add/Mean/Pow/Sub/Sqrt/Div 操作看起来视乎是BN的操作,可以用标准的BN层来代替,我们的硬件是支持标准的BN层的。
回复

使用道具 举报

奥古师弟

注册会员

积分
115
19#
发表于 2020-7-28 09:09:55 | 只看该作者
我也遇到了这个问题,仿真可以正常运行,但是C++接口的调用却失败(版本1.3.0)
回复

使用道具 举报

wutong

新手上路

积分
10
20#
发表于 2022-5-24 15:41:28 | 只看该作者
qliu 发表于 2019-11-25 14:16
我没有开量化啊。如果是模型有问题,能看到是因为因为什么算子导致的吗?我们可以改网络结构的。 ...

kunrao困扰我半个月了放弃了想问一下解决了?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表