Toybrick

RV1126 NPU计算精度

ozgaga

注册会员

积分
63
楼主
发表于 2022-5-31 22:12:11    查看: 2086|回复: 1 | [复制链接]    打印 | 显示全部楼层
本帖最后由 ozgaga 于 2022-5-31 22:13 编辑

阅读Rockchip_User_Guide_RKNN_API_V1.7.0_CN这个文档(里面有介绍NPU的相关内容)后
我发现RKNN模型有个量化的过程,量化后的选择有以下三种:float32分别转“uint8”、“int8”和“int16”;不量化则是“float16”,共四种,NPU则按照这四种精度之一进行计算
意思是原始数据需要是float32数据类型,同时,NPU处理的最高精度是float16,是这样吗?
那pytorch模型中一般都是double64数据类型,rknn工具在模型转化的时候应该是会考虑到NPU精度的问题吧,不用修改pytorch模型中的计算精度吧
最后一个问题就是:NPU这样降低精度的计算,能保证和原来本地GPU上pytorch模型一样的结果吗,计算精度的下降会对结果产生影响吧
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表