jefferyzhang 发表于 2020-5-21 08:50
3T int8
300G int16
100G fp16
liuwenzhen 发表于 2020-5-21 09:14
我的模型现在是float32,那这样速度会更慢.量化会导致精度下降吗?
jefferyzhang 发表于 2020-5-21 09:20
请先把所有文档通读一遍。。。
量化需要技巧,可以达到和原模型几乎一样的精度 ...
欢迎光临 Toybrick (https://t.rock-chips.com/) | Powered by Discuz! X3.3 |