Toybrick

求助,pytorch模型转换成功,但推理异常

Lee

注册会员

积分
187
发表于 2020-11-21 11:46:38    查看: 978|回复: 8 | [复制链接]    打印 | 显示全部楼层
硬件版本号:api:1.4.0,drv:1.3.1,最新的rknn-toolkit1.4.0.

输入为单通道图像,且是归一化的浮点数(减mean,除以std),config参数为空,未打开量化,模型转换成功,但inference异常,和直接torch.jit.load加载运行的结果相差很多,像是溢出值,大量的65504之类。

debug一下,将输入rknn模型的数据在进入网络第一层之前,直接return,打印出来的值,依然是大量类似65504的值。

是版本的问题嘛?求助,谢谢!

回复

使用道具 举报

jefferyzhang

超级版主

积分
7726
发表于 2020-11-22 12:09:40 | 显示全部楼层
pc仿真试下,仿真如果也是错的就是rknn问题,仿真对的开发版跑错的就是驱动版本问题
回复

使用道具 举报

Lee

注册会员

积分
187
 楼主| 发表于 2020-11-23 18:00:24 | 显示全部楼层
jefferyzhang 发表于 2020-11-22 12:09
pc仿真试下,仿真如果也是错的就是rknn问题,仿真对的开发版跑错的就是驱动版本问题 ...

已解决,确实是驱动问题,更新到最新的drv1.5就解决啦,多谢!
回复

使用道具 举报

Lee

注册会员

积分
187
 楼主| 发表于 2020-11-24 09:48:49 | 显示全部楼层
jefferyzhang 发表于 2020-11-22 12:09
pc仿真试下,仿真如果也是错的就是rknn问题,仿真对的开发版跑错的就是驱动版本问题 ...

版主,再请教个问题,你们芯片现在有针对傅立叶变换的特殊处理和优化吗?
回复

使用道具 举报

jefferyzhang

超级版主

积分
7726
发表于 2020-11-24 09:58:03 | 显示全部楼层
Lee 发表于 2020-11-24 09:48
版主,再请教个问题,你们芯片现在有针对傅立叶变换的特殊处理和优化吗? ...

没有。CPU GPU NPU都可以计算,为啥还需要一个需求量不大的IP去做这事
回复

使用道具 举报

Lee

注册会员

积分
187
 楼主| 发表于 2020-11-24 10:29:47 | 显示全部楼层
jefferyzhang 发表于 2020-11-24 09:58
没有。CPU GPU NPU都可以计算,为啥还需要一个需求量不大的IP去做这事

了解,那如何调用npu去进行一些复杂计算,有没有文档
回复

使用道具 举报

jefferyzhang

超级版主

积分
7726
发表于 2020-11-24 12:12:15 | 显示全部楼层
Lee 发表于 2020-11-24 10:29
了解,那如何调用npu去进行一些复杂计算,有没有文档

计算图啊,tf和pytorch又不仅仅是人工智能引擎,他是一个计算图引擎。
你能用pytorch、tf写出来的算法都能转rknn (只要op都支持)
回复

使用道具 举报

Lee

注册会员

积分
187
 楼主| 发表于 2020-11-24 13:58:16 | 显示全部楼层
jefferyzhang 发表于 2020-11-24 12:12
计算图啊,tf和pytorch又不仅仅是人工智能引擎,他是一个计算图引擎。
你能用pytorch、tf写出来的算法都 ...

了解,但是貌似目前支持的太少。之前pytorch试啦下,只支持基本的乘加操作,除法、开方、pow等基本操作都不支持。。。
回复

使用道具 举报

jefferyzhang

超级版主

积分
7726
发表于 2020-11-24 14:39:03 | 显示全部楼层
Lee 发表于 2020-11-24 13:58
了解,但是貌似目前支持的太少。之前pytorch试啦下,只支持基本的乘加操作,除法、开方、pow等基本操作都 ...

NPU本身就是MAC计算单元,就是做乘加快。。。其他速度一般般。。。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表