Toybrick

自定义算子是否支持C API,以及量化问题

xsky

中级会员

积分
388
楼主
发表于 2020-6-3 20:27:20    查看: 6062|回复: 0 | [复制链接]    打印 | 只看该作者
本帖最后由 xsky 于 2020-6-4 10:04 编辑

请问
1、自定义算子实现后,是否可直接支持在目标板上直接C API调用?  文档没说明,如果支持,应如何操作,或者是模型成功转换后直接就可以调用C API运行?
2、自定义算子写的不支持量化,但是比如slice操作,并不需要实际计算,如果模型用RKNN量化,是否会发生自定义算子输入的上一层是可以量化的算子,NPU将其计算后会转为fp16?自定义算子进行slice操作后,框架还会将其转为INT8,再进行下一步的操作? 这样就相当于引于了两次无用的数据类型转换? 实际情况是这样吗? 如果是,目前是不是只能这样不能获取INT8 tensor?
谢谢!


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表