Toybrick

标题: 求助,pytorch模型转换成功,但推理异常 [打印本页]

作者: Lee    时间: 2020-11-21 11:46
标题: 求助,pytorch模型转换成功,但推理异常
硬件版本号:api:1.4.0,drv:1.3.1,最新的rknn-toolkit1.4.0.

输入为单通道图像,且是归一化的浮点数(减mean,除以std),config参数为空,未打开量化,模型转换成功,但inference异常,和直接torch.jit.load加载运行的结果相差很多,像是溢出值,大量的65504之类。

debug一下,将输入rknn模型的数据在进入网络第一层之前,直接return,打印出来的值,依然是大量类似65504的值。

是版本的问题嘛?求助,谢谢!


作者: jefferyzhang    时间: 2020-11-22 12:09
pc仿真试下,仿真如果也是错的就是rknn问题,仿真对的开发版跑错的就是驱动版本问题
作者: Lee    时间: 2020-11-23 18:00
jefferyzhang 发表于 2020-11-22 12:09
pc仿真试下,仿真如果也是错的就是rknn问题,仿真对的开发版跑错的就是驱动版本问题 ...

已解决,确实是驱动问题,更新到最新的drv1.5就解决啦,多谢!
作者: Lee    时间: 2020-11-24 09:48
jefferyzhang 发表于 2020-11-22 12:09
pc仿真试下,仿真如果也是错的就是rknn问题,仿真对的开发版跑错的就是驱动版本问题 ...

版主,再请教个问题,你们芯片现在有针对傅立叶变换的特殊处理和优化吗?
作者: jefferyzhang    时间: 2020-11-24 09:58
Lee 发表于 2020-11-24 09:48
版主,再请教个问题,你们芯片现在有针对傅立叶变换的特殊处理和优化吗? ...

没有。CPU GPU NPU都可以计算,为啥还需要一个需求量不大的IP去做这事
作者: Lee    时间: 2020-11-24 10:29
jefferyzhang 发表于 2020-11-24 09:58
没有。CPU GPU NPU都可以计算,为啥还需要一个需求量不大的IP去做这事

了解,那如何调用npu去进行一些复杂计算,有没有文档
作者: jefferyzhang    时间: 2020-11-24 12:12
Lee 发表于 2020-11-24 10:29
了解,那如何调用npu去进行一些复杂计算,有没有文档

计算图啊,tf和pytorch又不仅仅是人工智能引擎,他是一个计算图引擎。
你能用pytorch、tf写出来的算法都能转rknn (只要op都支持)
作者: Lee    时间: 2020-11-24 13:58
jefferyzhang 发表于 2020-11-24 12:12
计算图啊,tf和pytorch又不仅仅是人工智能引擎,他是一个计算图引擎。
你能用pytorch、tf写出来的算法都 ...

了解,但是貌似目前支持的太少。之前pytorch试啦下,只支持基本的乘加操作,除法、开方、pow等基本操作都不支持。。。
作者: jefferyzhang    时间: 2020-11-24 14:39
Lee 发表于 2020-11-24 13:58
了解,但是貌似目前支持的太少。之前pytorch试啦下,只支持基本的乘加操作,除法、开方、pow等基本操作都 ...

NPU本身就是MAC计算单元,就是做乘加快。。。其他速度一般般。。。




欢迎光临 Toybrick (http://t.rock-chips.com/) Powered by Discuz! X3.3